Hadoop 目錄結構

• bin 目錄：包含了 Hadoop 的各種命令行工具，如hadoop、hdfs等，用于啟動和管理 Hadoop 集群，以及執行各種數據處理任務。
• etc 目錄：存放 Hadoop 的配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml等，這些配置文件用于設置 Hadoop 集群的各種參數，如文件系統的存儲路徑、節點信息、任務調度等。
• lib 目錄：包含了 Hadoop 運行時所需的各種 Java 庫文件，這些庫文件提供了 Hadoop 的核心功能，如文件系統操作、數據處理、網絡通信等。
• share 目錄：存放了 Hadoop 的一些示例程序和文檔，以及一些與 Hadoop 相關的第三方庫。

Hadoop 組成

• Hadoop 分布式文件系統（HDFS）：是 Hadoop 的核心組件之一，用于在集群環境下存儲大規模的數據。它具有高可靠性、高可擴展性和高容錯性等特點，能夠將數據分布存儲在多個節點上，并提供數據的讀寫操作。
• MapReduce：是 Hadoop 的另一個核心組件，用于處理大規模的數據。它將數據處理任務分解為多個 Map 任務和 Reduce 任務，在集群中的多個節點上并行執行，從而提高數據處理的效率。
• YARN（Yet Another Resource Negotiator）：是 Hadoop 的資源管理系統，用于管理集群中的計算資源，并為各種應用程序分配資源。它提供了一個統一的資源管理平臺，支持多種計算框架，如 MapReduce、Spark 等。
• Hadoop Common：為 Hadoop 的其他組件提供了公共的工具和庫，如文件系統操作、配置管理、網絡通信等。它是 Hadoop 的基礎組件，其他組件都依賴于它來實現各種功能。