文章目錄

• • @[toc]
  • • HDFS 1.0
    • • NameNode
      • • 維護文件系統命名空間
        • 存儲元數據
        • 解決NameNode單點問題
      • SecondaryNameNode
      • 機架感知
      • 數據完整性校驗
      • • 校驗和
        • 數據塊檢測程序DataBlockScanner
      • HDFS寫流程
      • HDFS讀流程
      • HDFS與MapReduce本地模式
      • Block大小
    • HDFS 2.0
    • • NameNode HA
      • NameNode Federation
      • HDFS Snapshot
      • 緩存
      • ACL
      • Block大小

個人主頁：丷從心·

系列專欄：大數據

---

HDFS 1.0

NameNode

維護文件系統命名空間

存儲元數據

• 元數據存儲在內存中
• 維護文件名$\to Block$、$Block\to DataNode$的映射關系
• 持久化元數據的文件是$fsimage$
• 所有對元數據的操作都保存在內存中并被持久化到文件$editlogs$中
• $editlogs$文件和$fsimage$文件會被$SecondaryNameNode$周期性地合并

解決NameNode單點問題

• 將$Hadoop$元數據寫入到本地文件系統的同時再實時同步到一個遠程掛載的網絡文件系統（$NFS$）中
• 當$NameNode$發生故障時$SecondaryNameNode$會通過自己合并的命名空間鏡像$fsimage$副本來恢復$NameNode$，但是$SecondaryNameNode$保存的狀態總是滯后于$NameNode$，難免會丟失部分數據

SecondaryNameNode

• $NameNode$在下次重啟時會使用新的$fsimage$文件，從而減少重啟時間

機架感知

• 機架感知是$Block$副本放置策略
• 第一個副本放在客戶端節點，如果客戶端是集群外的一臺機器，就隨機選擇節點，但是會避免挑選太滿或者太忙的節點
• 第二個副本放在不同機架的節點
• 第三個副本放在與第二個副本同機架但是不同節點上

數據完整性校驗

校驗和

• 在第一次進入系統時計算數據的校驗和，在通道傳輸后，如果新生成的校驗和不完全匹配原始的校驗和，那么數據就會被認為是損壞的

數據塊檢測程序DataBlockScanner

• 在$DataNode$節點上開啟一個后臺線程，來定期驗證存儲在它上的所有塊，防止物理介質出現損減而造成的數據損壞
• 一旦發現數據塊損壞，$DataNode$會接收到$NameNode$發送的$Block$修復指令

HDFS寫流程

• $FSDataOutputStream$將原始數據切分成數據塊并寫入一個隊列
• 數據弱一致性：第一個副本寫入后就立刻返回$ACK$

HDFS讀流程

HDFS與MapReduce本地模式

• 數據不移動，代碼邏輯移動

Block大小

• $HDFS1.0$默認$Block$大小為$64MB$

---

HDFS 2.0

NameNode HA

• 運行$ActiveNameNode$與$StandbyNameNode$的機器需要相同的硬件配置
• $JournalNode$本質是共享的網絡文件系統，由奇數個節點組成，用于存儲$editlogs$
• $FailoverController$本質是$ZooKeeper$的客戶端，監控$NameNode$狀態信息，實現故障轉移

NameNode Federation

• $NameNodeFederation$本質是命名空間的分離，解決了$NameNode$內存資源不足的問題
• 一個$Namespace$對應一個$BlockPool$，即一個$Namespace$下的所有$Block$的集合
• 通過視圖文件系統$ViewFS$管理全局$Namespace$

HDFS Snapshot

• $Snapshot$常用來作為數據備份
• $Snapshot$只記錄了文件系統元數據信息，并沒有進行數據的拷貝

緩存

• $HDFS2.0$支持集中式緩存，可以明確指定要緩存數據
• 支持對非遞歸目錄和文件的緩存

ACL

• $HDFS2.0$支持$ACL$管理

Block大小

• $HDFS2.0$默認$Block$大小為$128MB$

---