### 在 IntelliJ IDEA 中編寫和運行 Spark WordCount 程序
要使用 IntelliJ IDEA 編寫并運行 Spark 的 WordCount 程序，需按照以下流程逐步完成環境配置、代碼編寫以及任務提交。
---
#### 1. **安裝與配置 IntelliJ IDEA**
確保已正確安裝 IntelliJ IDEA，并啟用 Scala 插件以支持 Spark 開發。
- 如果尚未安裝，請參照官方文檔或社區指南完成安裝過程。
- 啟動 IDEA 后，在設置界面中確認 Scala 插件處于激活狀態。
---
#### 2. **創建 Maven 項目**
新建一個 Maven 項目用于管理依賴庫。
- 打開 IDEA，選擇 `File -> New Project`，接著選中 `Maven` 模板。
- 輸入項目的 GroupId 和 ArtifactId（如：GroupId=`com.example`, ArtifactId=`spark-wordcount`），繼續下一步直至完成初始化。
---
#### 3. **修改 POM 文件添加依賴**
編輯項目的 `pom.xml` 來引入 Spark 和 Scala 必需的庫文件。
```xml
<dependencies>
? ? <!-- Apache Spark Core -->
? ? <dependency>
? ? ? ? <groupId>org.apache.spark</groupId>
? ? ? ? <artifactId>spark-core_2.12</artifactId>
? ? ? ? <version>3.0.1</version>
? ? </dependency>
? ? <!-- Scala Library -->
? ? <dependency>
? ? ? ? <groupId>org.scala-lang</groupId>
? ? ? ? <artifactId>scala-library</artifactId>
? ? ? ? <version>2.12.10</version>
? ? </dependency>
</dependencies>
```
此處定義了 Spark 和 Scala 的具體版本號，建議依據實際需求調整至最新穩定版。
---
#### 4. **編寫 WordCount 程序**
在 src/main/scala 路徑下新增名為 `WordCount.scala` 的源碼文件，填入如下內容：
```scala
package com.example.wordcount
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
? def main(args: Array[String]): Unit = {
? ? if (args.length != 2) {
? ? ? println("Usage: WordCount <input-file-path> <output-directory>")
? ? ? System.exit(1)
? ? }
? ? val inputPath = args(0)
? ? val outputPath = args(1)
? ? // 初始化 Spark 配置對象
? ? val conf = new SparkConf()
? ? ? .setAppName("Word Count Application")
? ? ? .setMaster("local[*]") // 若部署到集群則改為 spark://master:7077
? ? val sc = new SparkContext(conf)
? ? try {
? ? ? // 加載文本文件作為 RDD
? ? ? val linesRDD = sc.textFile(inputPath)
? ? ? // 對每行拆分單詞并映射為(key-value)形式
? ? ? val wordsRDD = linesRDD.flatMap(_.split("\\s+")).map((_, 1))
? ? ? // 統計各單詞出現次數
? ? ? val countsRDD = wordsRDD.reduceByKey(_ + _)
? ? ? // 存儲結果到 HDFS 上指定目錄
? ? ? countsRDD.saveAsTextFile(outputPath)
? ? ??
? ? ? println(s"Results saved to $outputPath successfully.")
? ? } finally {
? ? ? sc.stop() // 關閉上下文資源釋放內存占用
? ? }
? }
}
```
該腳本實現了讀取輸入文件中的每一行字符串分割成單個詞語再計算各自頻次最后輸出存儲的功能。
---
#### 5. **構建 JAR 包**
通過 Maven 構建工具生成可執行 jar 文件以便后續提交給 Spark Cluster 處理。
- 移步至工程根目錄執行命令：
? ? ```bash
? ? mvn clean package -DskipTests=true
? ? ```
這一步驟將會清理舊有構件同時重新打包生成新版本jar包位于 target 文件夾內。
---
#### 6. **啟動服務與提交任務**
先保證本地已經開啟 HDFS 和 Spark Master Slave Services。
- 使用 shell 登錄服務器端口分別啟動 dfs 和 yarn/yarn-resourcemanager :
? ? ```bash
? ? start-dfs.sh && start-yarn.sh || jps # 查看進程列表驗證是否正常啟動
? ? ```
之后采用 spark-submit 方式遞交剛才制作好的 jar 至遠端節點解析運算得出結論存回分布式文件系統當中去:
```bash
../bin/spark-submit \
--class com.example.wordcount.WordCount \
--master spark://node141:7077 \
--executor-memory 1G \
--total-executor-cores 4 \
./target/spark-wordcount-1.0-SNAPSHOT.jar \
hdfs://node141:9000/input/wordcount.txt \
hdfs://node141:9000/output/
```
---
### 總結
以上步驟詳盡描述了從零開始直到成功運行一個簡單的大數據分析案例——即統計詞頻問題的整體解決方案。遵循本文檔指示能夠幫助初學者迅速掌握如何運用 IntelliJ IDEA 結合 Spark 實現高效的數據處理能力提升工作效率的同時也積累了寶貴經驗。
---
