本節需要修改的 YARN 配置文件保存在$HADOOP_HOME/etc/haoop 目錄下，需要修改的文件共有 7 個，分別是：core-site.xml, hadoop-env.sh, hdfs-site.xml, yarn-site.xml, yarn-env.sh, mapred-site.xml, slave. 這些文件的用途：

• core-site.xml:

  • 用途：包含 Hadoop 核心配置，例如文件系統的默認URI、Hadoop運行時環境的全局設置等。

  • 示例配置項：

    <configuration><property><!--指定默認的文件系統。在這里，它設置為 HDFS 的地址 hdfs://hadoop1:9000 --><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!-- 其他配置項 -->
    </configuration>
    

• hadoop-env.sh:

  • 用途：配置 Hadoop 環境變量，例如 Java 路徑、內存設置等。

  • 示例配置項：

    export JAVA_HOME=/path/to/java
    export HADOOP_HEAPSIZE=1024
    # 其他環境變量配置
    

• hdfs-site.xml:

  • 用途：包含 Hadoop 分布式文件系統（HDFS）的配置，如數據塊大小、復本數等。

  • 示例配置項：

    <configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop1:9001</value></property><property><!-- 指定數據塊的默認復制因子。在這里，設置為 3，表示每個數據塊會被復制到三個節點上--><name>dfs.replication</name><value>3</value></property><!-- 其他配置項 -->
    </configuration>
    

• yarn-site.xml:

  • 用途：包含 YARN（Yet Another Resource Negotiator）配置，例如 ResourceManager 地址、NodeManager 的資源配置等。

  • 示例配置項：

    <configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><!-- 其他配置項 -->
    </configuration>
    

• yarn-env.sh:

  • 用途：配置 YARN 環境變量，例如 Java 路徑、內存設置等。

  • 示例配置項：

    export JAVA_HOME=/path/to/java
    export YARN_HEAPSIZE=1024
    # 其他環境變量配置
    

• mapred-site.xml:

  • 用途：包含 MapReduce 配置，如 MapReduce 框架的運行模式、任務跟蹤器地址等。使用的時候可以先從模板中復制，然后再編輯。

  • 示例配置項：

    <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop1:19888</value></property>
    </configuration>
    

• slaves:

  • 用途：列出參與 Hadoop 集群的計算節點（DataNode、NodeManager）。每行一個節點。

  • 示例：

    hadoop1
    hadoop2
    hadoop3