1.Hadoop的三大結構及各自的作用:
Hadoop是一個開源的分布式計算框架,它主要包括三大核心組件:HDFS(Hadoop Distributed File System)、YARN(Yet Another Resource Negotiator)和MapReduce。以下是這三大結構及其各自的作用:
1. HDFS(Hadoop Distributed File System)
作用:
-
高可靠性和容錯性
-
大規模數據存儲
-
高吞吐量的數據訪問
2. YARN(Yet Another Resource Negotiator)
作用:
-
資源管理?
-
作業調度
-
多框架支持。
3. MapReduce
作用:
-
分布式計算框架算效率。
-
數據處理?
-
易于編程?
(1)yarn
定義:是一個通用資源管理系統和調度平臺,可為上層應用提供統一的資源管理和調度
3.yarn的三大組件及各自作用
yarn的架構:
RM:集群中的重要角色,決定系統中的所有應用程序之間資源的分配權限
NM:負責管理機器上的計算資源
AM:用戶提交的每個應用程序都包含一個AM。
YARN(Yet Another Resource Negotiator)的三大核心組件是 ResourceManager、NodeManager 和 ApplicationMaster,以下是它們的各自作用:
1. ResourceManager(資源管理器)
-
資源調度
-
應用程序管理?
-
監控 NodeManager?
2. NodeManager(節點管理器)
-
節點資源管理?
-
Container 生命周期管理
-
任務執行?
3. ApplicationMaster(應用程序管理器)
-
資源申請
-
任務調度與管理?
-
狀態匯報?