本節書摘來自華章計算機《深入理解Hadoop(原書第2版)》一書中的第2章,第2.6節,作者 [美]薩米爾·瓦德卡(Sameer Wadkar),馬杜·西德林埃(Madhu Siddalingaiah),杰森·文納(Jason Venner),譯 于博,馮傲風,更多章節內容可以訪問云棲社區“華章計算機”公眾號查看。
2.6本章小結
本章介紹了Hadoop系統的各種概念。從一個典型的單詞計數程序示例開始,一步步地介紹了Hadoop系統的各種特性。介紹了Hadoop分布式文件系統(HDFS),介紹了Hadoop1.x系統中是如何通過作業跟蹤器守護進程和任務跟蹤器守護進程來管理作業的。認識到了這些守護進程限制了系統的可擴展性之后,我們引入了YARN的講解。YARN是Hadoop2.x系統的重要特性,解決了系統擴展性的問題。最后,我們講解了高可用名稱節點。
下面的章節,我們會介紹Hadoop系統的安裝,還會教你編寫和執行自己的第一個MapReduce程序。