文章已收錄至https://lichong.work，轉載請注明原文鏈接。
ps：歡迎關注公眾號“Fun肆編程”或添加我的私人微信交流經驗🤝

Hadoop與大數據生態

（一）Hadoop是什么？

1）是Apache基金會開發的分布式系統基礎架構。
2）解決海量數據的存儲和計算問題。
3）廣義上講，Hadoop更是一個生態圈！

（二）Hadoop組成

1.x

• Common（輔助工具）
• HDFS（數據存儲）
• MapReduce（計算+資源調度）

2.x & 3.x

• Common（輔助工具）
• HDFS（數據存儲）
• MapReduce（計算）
• YARN（資源調度）

1. HDFS

1.1 NameNode（nn）

存儲文件的元數據，如文件名、文件目錄結構、文件屬性（生成時間、副本數、文件權限）、以及每個文件的塊列表和塊所在的DataNode等。

1.2 DataNode（dn）

在本地文件系統存儲文件塊數據，以及塊數據的校驗和。

1.3 Secondary NameNode（2nn）

用來監控HDFS狀態的輔助后臺程序，每隔一段時間獲取HDFS元數據的快照。

2.YARN

2.1 ResourceManager（RM）

1）處理客戶端請求
2）監控NodeManager
3）啟動或監控ApplicationMaster（對應執行Job）
4）資源的分配與調度

2.2 NodeManager（NM）

1）管理單個節點上的資源
2）處理來自ResourceManager的命令
3）處理來自ApplicationMaster的命令

2.3 ApplicationMaster（AM）

1）負責數據的切分
2）為應用程序申請資源并分配給內部的任務
3）任務的監控與容錯

2.4 Container

是YARN中的資源抽象，它封裝了某個節點上的多維度資源，如內存、CPU、磁盤、網絡等。

2.MapReduce

Map階段：并行處理輸入數據
Reduce階段：對Map結果進行匯總

（三）Hadoop發行版本

1. Apache

2006年推出
原始的基礎版本，對于入門學習最好。

2. Cloudera（CDH）-收費

2009年Hadoop創始人加入后推出，現在收費，更加穩定。

3. Hortonworks（HDP，現已被Cloudera收購，推出了CDP產品）

2011年成立，吸納Hadoop的雅虎程序員貢獻了80%的Hadoop代碼，文檔較好，Hortonworks Data Platform（HDP）還包括了Ambari（開源的安裝和管理系統）。

（四）Hadoop優勢

1. 高可靠性

底層有多個數據副本，即使存儲故障，也不會導致數據丟失

2. 高擴展性

可以動態增加服務器

3. 高效性

并行工作（MapReduce思想）

4. 高容錯性

可以自動把失敗任務重新分配

（五）大數據生態體系

文章已收錄至https://lichong.work，轉載請注明原文鏈接。
ps：歡迎關注公眾號“Fun肆編程”或添加我的私人微信交流經驗🤝

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~往期精選🪶~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

【Docker】入門教程-基本概念解讀
【前端-React Native】移動端原生開發整合React Native Elements教程-安卓示例
【前端-開發環境】使用NVM實現不同nodejs版本的自由切換（NVM完整安裝使用手冊）
【前端-NPM私服】內網使用verdaccio搭建私有npm服務器
【前端-IE兼容】Win10和Win11使用Edge調試前端兼容IE6、IE7、IE8、IE9、IE10、IE11問題
【前端-工程化】React項目工程化記錄-內置項目活文檔(老項目升級優化-集成Hosky/ESLint/Prettier-升級Webpack/Babel/NodeSass/React)
【工具-TWRP-frp-Termux】舊手機暴改成免費云服務器-MIUI刷TWRP安裝magisk獲取root
【工具-Shell腳本】java程序產品包模板-linux和windows通用shell啟動停止腳本(無需系統安裝Java運行環境)
【工具-Nginx】從入門安裝到高可用集群搭建
【工具-Nginx】Nginx高性能通用配置文件-注釋版-支持防刷限流、可控高并發、HTTP2、防XSS、Gzip、OCSP Stapling、負載、SSL
【工具-WireShark】網絡HTTP抓包使用教程
【后端-maven打包】通過profile標簽解決同時打jar包 war包需求
【架構-DDD】使用領域驅動設計-互聯網未來架構設計之道（一）
【后端-SpringCache】基于Spring Cache封裝一個能夠批量操作的Redis緩存記錄下踩坑歷程（pipeline或mget封裝）
【后端-SkyWalking】SkyWalking前后端開發環境搭建詳細教程步驟-6.x/7.x/8.x版本通用-插件二次開發利器（一）
【后端-Quartz】Springboot整合Quartz支持集群環境-設計業務與框架分離及實現定時任務調度

?歡迎為耿直少年點贊、關注、收藏！！！

👇👇👇