面試題來源:
《大數據面試題 V4.0》
大數據面試題V3.0,523道題,679頁,46w字
可回答:1)啟動Hadoop,都會有什么進程
參考答案:
1)NameNode:Master,它是一個主管、管理者
-
管理HDFS的名稱空間;
-
管理數據塊(Block)映射信息;
-
配置副本策略;
-
處理客戶端讀寫請求。
2)DataNode:Slave,NameNode下達命令,DataNode執行實際的操作
-
存儲實際的數據塊;
-
執行數據塊的讀/寫操作。
3)Secondary NameNode:并非NameNode的熱備。當NameNode掛掉的時候,它并不能馬上替換NameNode并提供服務
-
輔助NameNode,分擔其工作量;
-
定期合并Fsimage和Edits,并推送給NameNode;
-
在緊急情況下,可輔助恢復NameNode。
4)ResourceManager(JobTracker):
-
處理客戶端請求
-
監控NodeManager
-
啟動或監控ApplicationMaster
-
資源的分配與調度
5)NodeManager(TaskTracker):
-
管理單個節點上的資源
-
處理來自ResourceManager的命令
-
處理來自ApplicationMaster的命令
6)JobHistoryServer
-
負責管理MapReduce作業的歷史記錄和統計信息
7)HttpServer
-
Hadoop的Web服務器,用于顯示各種監控和管理信息
8)DFSZKFailoverController
-
高可用時它負責監控NN的狀態,并及時的把狀態信息寫入ZK。它通過一個獨立線程周期性的調用NN上的一個特定接口來獲取NN的健康狀態。FC也有選擇誰作為Active NN的權利,因為最多只有兩個節點,目前選擇策略還比較簡單(先到先得,輪換)。
9)JournalNode
-
高可用情況下存放namenode的editlog文件。