一、定義:Standalone 模式是一種獨立的集群部署模式,自帶完整服務,可單獨部署到一個集群中,無需依賴任何其他資源管理系統。
二、配置步驟
1.和前面一樣拉到hadoop101的/opt/module這個目錄里面。
2.壓縮
3.重命名為spark-standalone
4.配置環境變量
5.同步環境變量
6.進入/opt/module/spark-standalone/conf這個目錄,修改workers.template文件,將后綴名去掉,然后點進去,添加下列內容
7.修改spark-env.sh.template文件,將后綴名去掉,然后點進去,添加下列內容
8.同步設置完畢的Spark目錄到其他節點。使用我們之前封裝的命令:
xsync /opt/module/spark-standalone/
9.啟動SPARK集群。進入到hadoop100機器,切換目錄到/opt/module/spark-standalone/sbin下,運行命令 ./start-all.sh。(注意,這里不要省略./)
10.驗收效果。通過jps命令去每臺機器上查看運行的進程。請觀察是否在hadoop101上看到了master,worker在hadoop103,hadoop102上看到了worker。
11.查看啟動效果。打開瀏覽器,輸入hadoop100:8080。看到效果如下: