1、系統及環境版本
系統：Win7 旗艦版 64位 sp1
JDK：1.8.0
Spark：2.3.2
Hadoop：2.7
Scala：2.11.8
文章最后，有所有版本的下載鏈接，不用再去折騰版本之間的問題。
2、環境下載
2.1 Spark 下載
spark
2.2 hadooponwindos 下載
image.png
2.3 Hadoop 下載
image.png
2.4 JDK下載
略
2.5 IntelliJ IDEA
2.6 scala 下載
2.7 IntelliJ-scala plug 下載
image.png
至此，準備工作才算完成！
3、環境配置
安裝ideaIC-2017.3.5.exe。
除了scala-intelliJ-bin-2017.3.15不需要解壓外，其他能解壓的都需要解壓。
重要：配置之前，需要把2.2中的bin文件夾替換掉2.3中的bin文件夾
重要：配置之前，需要把2.2中的bin文件夾替換掉2.3中的bin文件夾
重要：配置之前，需要把2.2中的bin文件夾替換掉2.3中的bin文件夾
重要的事說三遍！
3.1 JAVA環境配置：
JAVA_HOME:java所在的目錄，注意不是bin目錄
PATH:%JAVA_HOME%\bin
ClassPath：%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
3.2 Hadoop環境配置
HADOOP_HOME:hadoop解壓的目錄
Path:%HADOOP_HOME%\bin
3.3 Spark環境配置
SPARK_HOME:spark解壓的目錄
Path:%SPARK_HOME%\bin
3.4 Scala環境配置
SCALA_HOME:scala解壓的目錄
Path:%SCALA_HOME%\bin
4、IDE的配置
4.1創建新項目
image.png
4.2 選擇Project SDK
選擇剛才解壓的JAVA目錄
image.png
next>next>finesh!
此時可以看到 external library只有一個jdk1.8
image.png
4.3 安裝scala插件
file>settings
image.png
image.png
4.4 重啟IntelliJ
重啟之后：
image.png
image.png
選擇scala的解壓的目錄，我原來裝過一個2.11.12版本的，所以，我這里會有兩個版本，應該選擇2.11.8版本。
4.5 添加spark library
此時，新建項目之后可以看到，external libraryes 出現了 jdk1.8 和scala sdk。
我們最后再添加spark library
file>project structure
image.png
Libraries > +
之后添加解壓后的spark下的jars
image.png
最終可以看到External Libraries出現了三個。
image.png
4.6 建一個Sparkdemo 的object
image.png
import org.apache.spark._
object SparkDemo {
def main(args: Array[String]): Unit = {
val masterUrl = "local[1]"
val conf = new SparkConf().setAppName("helenApp").setMaster(masterUrl)
val sc = new SparkContext(conf)
val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6)).map(_ * 3)
rdd.filter(_ > 10).collect().foreach(println)
println(rdd.reduce(_ + _))
println("hello world")
}
}
4.7 ctrl+shift+F10運行！
最終，成功！
image.png
由于是小白，所以記錄得很詳細。
)
