在大數據處理領域，Apache Spark 憑借其卓越的性能和易用性廣受青睞。而 YARN（Yet Another Resource Negotiator）作為 Hadoop 的資源管理框架，能高效管理集群資源。將 Spark 與 YARN 結合，以 YARN 模式搭建集群，可充分發揮兩者優勢，實現高效的大數據處理。以下將詳細介紹搭建 Spark YARN 模式集群的全過程。
一、前期準備
在開始搭建 Spark YARN 模式集群之前，確保您的環境滿足以下要求：
-
硬件環境 ：準備多臺物理機或虛擬機，每臺配置滿足一定要求，如 CPU 至少 4 核、內存 8GB 及以上，確保有一定磁盤空間用于存儲數據和日志。
-
軟件基礎 ：確保所有節點安裝相同版本的 Linux 操作系統，如 CentOS 7。同時，安裝配置好 Java 運行環境，因為 Spark 和 Hadoop 均基于 Java 開發，Java 版本要與 Spark 和 Hadoop 的要求相匹配，一般建議 Java 8 或以上。
-
Hadoop 集群 ：預先搭建并運行穩定的 Hadoop 集群，Hadoop 版本選擇 2.x 及以上，且已完成 HDFS（Hadoop Distributed File System）和 YARN 的基礎配置，包括 NameNode、DataNode、ResourceManager、NodeManager 等角色的正確部署與啟動，可通過 Hadoop 提供的命令行工具驗證 HDFS 和 YARN 的基本功能是否正常，如使用
hdfs dfs -ls /查看 HDFS 根目錄內容，使用yarn node -list查看 YARN 中的節點狀態。
二、安裝配置 Spark
-
下載與解壓 ：從 Apache Spark 官方網站（https://spark.apache.org/downloads.html）下載與 Hadoop 版本兼容的 Spark 二進制包。通過
wget或curl命令下載，例如wget https://downloads.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.2.tgz（版本號根據實際需求選擇）。下載完成后，在各節點的合適目錄（如/opt/spark）下，使用tar -zxvf spark-3.3.0-bin-hadoop3.2.tgz命令解壓安裝包。 -
配置環境變量 ：在每臺節點的
~/.bashrc文件中添加 Spark 環境變量，如：-
export SPARK_HOME=/opt/spark/spark-3.3.0 -
export PATH=$SPARK_HOME/bin:$PATH執行source ~/.bashrc命令使環境變量生效，方便后續使用 Spark 命令。
-
三、配置 Spark 以適應 YARN 模式
-
修改
conf/spark-defaults.conf文件-
指定 YARN 作為資源管理器 ：添加
spark.master yarn，明確告知 Spark 使用 YARN 模式運行，這是關鍵配置之一，讓 Spark 能正確連接到 YARN 進行資源申請等操作。 -
設置 Hadoop 配置文件路徑 ：通過
spark.hadoop.fs.defaultFS hdfs://<namenode_host>:<port>指定 HDFS 的訪問地址，例如hdfs://nn.example.com:9000，讓 Spark 能訪問 HDFS 上的數據；同時，添加spark.yarn.dist.files等配置，可指定分發到各個節點的文件，如 Spark 應用所需的配置文件等。 -
資源相關配置 ：根據集群節點的硬件資源情況，合理設置
spark.executor.memory（每個 executor 的內存大小）、spark.executor.cores（每個 executor 使用的 CPU 核心數）、spark.driver.memory（driver 程序的內存大小）等參數，例如spark.executor.memory 4g、spark.executor.cores 2，以優化 Spark 應用的性能，充分利用集群資源。
-
-
修改
conf/spark-env.sh文件-
指定 Java 安裝路徑 ：添加
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk（根據實際 Java 安裝路徑修改），確保 Spark 使用正確的 Java 環境。 -
其他可選配置 ：如
export SPARK_DAEMON_MEMORY=2g可設置 Spark 守護進程的內存大小，根據集群規模和實際需求進行調整。
-
四、驗證 Spark YARN 模式集群
-
啟動 Spark 歷史服務器（可選但推薦） ：在一臺節點上執行
start-history-server.sh命令啟動 Spark 歷史服務器，它能記錄和展示 Spark 應用的歷史運行信息，便于后續分析和調試。確保該服務器能正常訪問 HDFS，因為歷史數據存儲在 HDFS 指定目錄下。 -
運行示例程序測試 ：進入 Spark 安裝目錄，在
bin目錄下運行spark-submit --master yarn --class org.apache.spark.examples.SparkPi --num-executors 2 --driver-memory 512m --executor-memory 512m --executor-cores 1 examples/jars/spark-examples_2.12-3.3.0.jar 100（具體參數根據實際情況調整）命令，提交一個 SparkPi 示例程序到 YARN 集群運行。觀察程序運行過程，通過 YARN 的資源管理界面（一般訪問http://<resourcemanager_host>:8088）查看該 Spark 應用是否正常申請到資源并運行，同時在 Spark 歷史服務器界面（若已啟動，訪問http://<historyserver_host>:18080）檢查該應用的歷史記錄是否正確顯示，從而驗證 Spark YARN 模式集群搭建是否成功。
五、維護與優化
-
性能監控與調優 ：利用 Spark 自帶的監控工具（如 Web UI，訪問
http://<driver_host>:4040）和 YARN 的監控功能，持續監控 Spark 應用的運行性能，如任務執行時間、資源利用率等。根據監控數據調整 Spark 配置參數，如增加 executor 內存、優化并行度等，以提升整體性能。 -
集群擴容與升級 ：隨著業務發展，可能需要對集群進行擴容，添加新的節點時，只需在新節點上按照上述步驟安裝配置 Spark，并確保其能正確接入 YARN 集群。同時，關注 Spark 和 YARN 的版本更新，適時進行升級，以獲取新功能和性能改進，但要注意升級過程中的兼容性問題，做好充分測試。
六、總結與展望
搭建 Spark YARN 模式集群為處理大規模大數據提供了強大的支持。通過合理的配置和優化，可以充分發揮 Spark 和 YARN 的優勢，實現高效、穩定的數據處理。在實際應用中，不斷探索和嘗試新的配置策略和優化方法，以適應不斷變化的業務需求。同時，隨著技術的發展，關注 Spark 和 YARN 的最新動態，及時引入新的特性和功能，進一步提升集群的性能和可靠性。
如果你在搭建過程中遇到任何問題，可以參考 Spark 和 Hadoop 的官方文檔，或者在相關的技術社區尋求幫助。希望這篇博客能為你搭建 Spark YARN 模式集群提供有價值的指導。
在撰寫這篇博客時，我主要參考了 Spark 和 Hadoop 的官方文檔，以及一些技術社區中關于集群搭建的經驗分享。這些資料為我提供了詳細的步驟和關鍵的配置要點，確保了博客內容的準確性和實用性。
如果你對 Spark YARN 模式集群的搭建有更深入的見解，或者在實踐過程中有獨特的經驗，歡迎在評論區分享，共同促進技術交流和進步。
