(1)NameNode的內存中保存了龐大的目錄樹結構,這個結構用來保存文件目錄結構和文件Block之間的映射,這種結構關系會固化在磁盤上,但是對樹的改動頻繁發生,什么時候將樹寫入磁盤呢?把每次操作應用到內存中的樹上,并把操作記錄成日志文件,每次操作不會改變固化在磁盤上的改動發生之前的目錄樹,適當的時候做一次固化操作并記錄時間。
(2)NameNode上面的磁盤目錄結構:
[hadoop@localhost dfs]$ ls -R name
name:
current??image??in_use.lock
name/current:
edits??fsimage??fstime??VERSION
name/image:
fsimage
in_use.lock的功能和DataNode的一致。fsimage保存的是文件系統的目錄樹,edits則是文件樹上的操作日志,fstime是上一次新打開一個操作日志的時間(long型)。NameNode成功載入一次fsimage就要把這個時刻記錄在fstime中,fstime表示edits第一條記錄開始記錄的時刻。saveImage的時候需要先寫入中間文件,防止中途斷電。
image/fsimage是一個保護文件,防止0.13以前的版本啟動(0.13以前版本將fsimage存放在name/image目錄下,如果用0.13版本啟動,顯然在讀fsimage會出錯J)。也就是說寫入fsimage要有兩份。
(3)管理NameNode磁盤目錄的是FSImage,也是繼承Storage類的,和DataStorage類似,有升級回退機制,暫時不考慮。
(4)FSImage需要支持參數-importCheckpoint,該參數用于在某一個checkpoint目錄里加載HDFS的目錄信息,并更新到當前系統,該參數的主要功能在方法doImportCheckpoint中。該方法很簡單,通過讀取配置的checkpoint目錄來加載fsimage文件和日志文件,然后利用saveFSImage(下面討論)保存到當前的工作目錄,完成導入。
(5)loadFSImage用來在多個目錄中選擇最新的fsimage和edit來載入,最新以及fsimage和edit的一致性由fstime保證,載入過程中對NameNode崩潰的處理要分析saveFSImage的過程在明白。
(6)saveFSImage()的功能正好相反,它將內存中的目錄樹持久化,很自然,目錄樹持久化后就可以把日志清空。saveFSImage()會創建edits.new,并把當前內存中的目錄樹持久化到fsimage.ckpt(fsimage現在還存在),然后重新打開日志文件edits和edits.new,這會導致日志文件edits和edits.new被清空。最后,saveFSImage()調用rollFSImage()方法。
rollFSImage()上來就把所有的edits.new都改為edits(經過了方法saveFSImage,它們都已經為空),然后再把fsimage.ckpt改為fsimage。
(7)saveFSImage和loadFSImage為了考慮NameNode突然崩潰的情況使磁盤固化操作得以回滾創建了中間狀態,中間狀態的描述方式就是在磁盤上建立臨時文件。