2019獨角獸企業重金招聘Python工程師標準>>>
場景描述: 異步觸發和Crontab觸發
YARN(Yet Another Resource Negotiator)Hadoop 資源管理器
主要構成: RM(ResourceManager)是一個全局的資源管理器,負責整個系統的資源管理和分配。它主要由兩個組件構成:調度器(Scheduler)和應用程序管理器(Applications Manager,ASM)。 調度器根據容量、隊列等限制條件,將系統中的資源分配給各個正在運行的應用程序。 應用程序管理器負責管理整個系統中所有應用程序,包括應用程序提交、與調度器協商資源以啟動ApplicationMaster、監控ApplicationMaster運行狀態并在失敗時重新啟動它等。 NodeManager(NM)NM是每個節點上的資源和任務管理器,一方面,它會定時地向RM匯報本節點上的資源使用情況和各個Container的運行狀態;另一方面,它接收并處理來自AM的Container啟動/停止等各種請求。 Container Container是YARN中的資源抽象,它封裝了某個節點上的多維度資源,如內存、CPU、磁盤、網絡等。