一、虛擬機配置

1. 查看每一臺的虛擬機的IP地址和網關地址

查看路徑: ?cat /etc/sysconfig/network-scripts/ifcfg-ens33

2.修改 VMware的網絡地址: ?使用VMnet8

3.修改windows的對應VMware的網卡地址

4.通過finalshell 或者其他的shell連接工具即可連接使用即可, 連接后, 測試一下網絡

http://www.hostbuf.com/

5.如果需要配置一些windows上的Host地址, 建議配置一下

需要在windows的hosts（路徑：C:\Windows\System32\drivers\etc\hosts）文件中增加如下配置：

192.168.88.161 node1 node1.itcast.cn

192.168.88.162 node2 node2.itcast.cn

192.168.88.163 node3 node3.itcast.cn

解決辦法：先把etc目錄下的hosts文件剪切到桌面，在桌面上對hosts文件內容修改。修改完以后，再剪切移動到etc目錄下

二、Spark?Local[*]模式搭建文檔

在本地使用單機多線程模擬Spark集群中的各個角色

1.安裝包下載

目前Spark最新穩定版本：課程中使用目前Spark最新穩定版本：3.1.2系列

下載地址：Index of /dist/spark

2、將安裝包上傳并解壓

說明:?只需要上傳至node1的/export/software目錄下即可,?以下操作都是在node1執行的

cd?/export/software rz?-y 上傳 解壓: tar -zxf spark-3.1.2-bin-hadoop3.2.tgz ?-C /export/server/ 更名:?(兩種方式二選一即可,?推薦軟連接方案) cd?/export/server 方式一（推薦）:? 軟連接方案:?ln -s spark-3.1.2-bin-hadoop3.2?spark 方式二:? 直接重命名:?mv?spark-3.1.2-bin-hadoop3.2?spark

目錄結構說明:

Linux上上傳下載的軟件下載和使用：

yum -y install lrzsz

rz -y上傳

sz -y下載

3.測試

環境啟動:

Spark的local模式,?開箱即用,?直接啟動bin目錄下的spark-shell腳本

cd?/export/server/spark/bin ./spark-shell

說明:

sc：SparkContext實例對象：

spark：SparkSession實例對象

4040：Web監控頁面端口號

訪問頁面:

http://node1:4040

●Spark-shell說明：

1.直接使用./spark-shell

表示使用local 模式啟動，在本機啟動一個SparkSubmit進程

2.還可指定參數 --master，如：

spark-shell --master local[N] 表示在本地模擬N個線程來運行當前任務

spark-shell --master local[*] 表示使用當前機器上所有可用的資源

3.不攜帶參數默認就是

spark-shell --master?local[*]

4.后續還可以使用--master指定集群地址，表示把任務提交到集群上運行，如

./spark-shell --master spark://node01:7077,node02:7077

5.退出spark-shell

使用 :quit

?