本教程適用于零基礎、一臺剛裝好 Windows 的全新電腦開始,搭建能運行 Spark + Scala + IntelliJ 項目的開發環境。以下是超詳細、小白級別逐步教程,從“下載什么”到“點擊哪里”都幫你列清楚。
🎯 目標
- 操作系統:Windows10/11
- 工具:openJDK、Scala、Spark、sbt、IntelliJ IDEA、winutils
- 最終效果:在 IntelliJ 中運行你上傳的 Spark 程序(Explore.scala)
🧰 一、安裝開發工具(5 步)
? 1. 安裝 openJDK(Java)
📥 下載地址(華為鏡像):
👉 https://mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/windows/
🚀 安裝步驟:
- 雙擊安裝,點“下一步”即可。
- 修改設置或重寫JAVA_HOME變量,點擊下一步,完成安裝。
? 測試:
打開命令提示符(Win + R 輸入 cmd
):
輸入命令行:
java -version
? 2. 安裝 Scala
📥 下載地址(官網):
👉 https://www.scala-lang.org/download/2.12.20.html
🚀 安裝步驟:
- 雙擊
.msi
安裝 - 一路next
? 測試:
打開命令提示符(Win + R 輸入 cmd
):
scala -version
? 3. 安裝 Spark
📥 下載地址(Spark 3.5.6,清華源):
👉 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.6/
🚀 安裝步驟:
- 解壓縮
.tgz
文件到任意目錄(不要解壓在包含中文或空格的路徑下) - 得到目錄:
spark-3.5.6-bin-hadoop3
?? 配置環境變量:
打開「控制面板」→「系統」→「高級系統設置」→「環境變量」
- 找到 系統變量下的Path
- 添加
spark安裝目錄\bin
到Path
? 測試:
spark-shell --version
? 4. 安裝 Hadoop Winutils(適配 Windows)
📥 下載地址(Gitee):
👉 https://github.com/cdarlint/winutils/tree/master/hadoop-3.3.5/bin
下載:
winutils.exe
將 winutils.exe
復制到:(自己創建)
C:\hadoop\bin\
?? 配置環境變量:
- 添加
C:\hadoop\bin
到Path
? 測試:
winutils.exe
? 5. 安裝 sbt(Scala 構建工具)
📥 下載地址(官網):
👉 https://www.scala-sbt.org/download/
🚀 安裝步驟:
- 雙擊安裝,默認設置即可
? 測試:
sbt sbtVersion
💻 二、安裝 IntelliJ IDEA + 配置項目
? 1. 下載 IntelliJ IDEA 社區版(免費)
👉 官網:https://www.jetbrains.com/idea/download
下載安裝后,打開IDEA:
? 安裝插件:
- ? Scala(必須)
? 2. 創建新 Scala + sbt 項目
📁 項目結構(自動生成):
🚀 創建步驟:
-
打開 IntelliJ IDEA →
File > New > Project
-
左側選擇
Scala
→ 右側選sbt
-
配置:
- 項目名:
test
- Scala SDK:選擇
2.12.20
- sbt 版本:
1.11.1
- 項目名:
-
創建完成
? 3. 編輯 build.sbt
ThisBuild / version := "0.1.0-SNAPSHOT"ThisBuild / scalaVersion := "2.12.20"lazy val root = (project in file(".")).settings(name := "test")libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "3.5.6","org.apache.spark" %% "spark-sql" % "3.5.6","org.apache.spark" %% "spark-hive" % "3.5.6"
)
📄 三、運行你的代碼文件
在scala文件夾下新建Explore.scala文件
將你的代碼文件復制 Explore.scala
中:
sbt下載配置依賴:
代碼文件修改以下地方:
其中第三處文件位置填你自己csv文件存放的地址。
點擊綠色三角運行即可:
出現如下結果即代碼運行正常。