Spark分布式集群的搭建和運行

集群共三臺CentOS虛擬機,一個Matser,主機名為master;三個Worker,主機名分別為master、slave03、slave04。前提是Hadoop和Zookeeper已經安裝并且開始運行。

1.?在master上下載Scala-2.11.0.tgz,復制到/opt/下面,解壓,在/etc/profile加上語句:

export SCALA_HOME=/opt/scala-2.11.0
export PATH=$PATH:$SCALA_HOME/bin

然后運行命令:

source /etc/profile

在slave03、slave04上也執行相同的操作。

2. 在master上下載spark-2.1.0-bin-hadoop2.6,復制到/opt/下面。解壓,在/etc/profile加上語句:

export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

然后運行命令:

source /etc/profile

3. 編輯${SPARK_HOME}/conf/spark-env.sh文件,增加下面的語句:

# JAVA_HOME
export JAVA_HOME=/opt/jdk1.8.0_121
# SCALA_HOME
export SCALA_HOME=/opt/scala-2.11.0
# SPARK_HOME
export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.6
# Master主機名
export SPARK_MASTER_HOST=master
# Worker的內存大小
export SPARK_WORKER_MEMORY=1g
# Worker的Cores數量
export SPARK_WORKER_CORES=1
# SPARK_PID路徑
export SPARK_PID_DIR=$SPARK_HOME/tmp
# Hadoop配置文件路徑
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0-cdh5.9.0/etc/hadoop
# Spark的Recovery Mode、Zookeeper URL和路徑
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:12181,slave03:12181,slave04:12181 -Dspark.deploy.zookeeper.dir=/spark"

在${SPARK_HOME}/conf/slaves中增加:

matser
slave03
slave04

這樣就設置了三個Worker。

修改文件結束以后,將${SPARK_HOME}用scp復制到slave03和slave04。

4. 在master上進入${SPARK_HOME}/sbin路徑,運行:

./start-master.sh

這是啟動Master。

再運行:

./start-slaves.sh

這是啟動Worker。

5. 在master上運行jps,如果有Master和Worker表明啟動成功:

在slave03、slave04上運行jps,有Worker表明啟動成功:

6. 訪問http://master:8081,出現下面的頁面表明啟動成功:

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/456786.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/456786.shtml
英文地址,請注明出處:http://en.pswp.cn/news/456786.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Hive2.1.1的安裝教程(元數據放在本地Mysql)

目錄1.上傳tar包2.解壓3. 設置環境變量4.設置Hive的配置文件5.啟動Hive6.安裝MySQL7.下載MySQL的驅動包8.修改Hive的配置文件9.啟動Hive10.查看MySQL數據庫 目錄 1.上傳tar包 jar包地址:http://hive.apache.org/downloads.html 2.解壓 tar -zxvf apache-hive-2…

App性能優化之內存優化

2019獨角獸企業重金招聘Python工程師標準>>> 為什么要進行內存優化呢?其實我們可以反過來想。如果不進行內存優化會產生什么樣的問題? App的運行是有內存限制的,超過限制會產生OOM,導致App崩潰。如果內存不進行優化&am…

python+Tesseract-OCR實現圖片識別(只適合新手)

1.首先準備環境: python版本:2.7/3.6 操作系統:windows系統 2.準備工具: tesseract-ocr 安裝后設置好環境變量 鏈接: https://pan.baidu.com/s/1j8lBbQBrrbPaHAn5ujWFSw 提取碼: 2med Pycharm 3.安裝相關python包&#xf…

Linux 網絡編程詳解四(流協議與粘包)

TCP/IP協議是一種流協議,流協議是字節流,只有開始和結束,包與包之間沒有邊界,所以容易產生粘包,但是不會丟包。 UDP/IP協議是數據報,有邊界,不存在粘包,但是可能丟包。 產生粘包問題…

解決selenium.common.exceptions.WebDriverException: Message: unknown error: call function result missin

(Session info: chrome73.0.3683.103)(Driver info: chromedriver2.30.477700 (0057494ad8732195794a7b32078424f92a5fce41),platformWindows NT 10.0.17134 x86_64)報錯如上,由于版本不兼容 下面是谷歌瀏覽器與chromedriver的版本對應關系,供參考&#…

執行Hive語句報錯:FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user '

安裝個Hive真不省心,各種問題。最近安裝好Hive后執行Hive語句時碰到這樣的錯誤: hive> show databases; FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user rootlocalhost (using password: YES) NestedThr…

GPU

import tensorflow as tf a tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape[2,3],namea) b tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape[3,2],nameb) c tf.matmul(a,b)sess tf.Session(configtf.ConfigProto(log_device_placementTrue)) print sess.run(c)

阿里云部署django項目流程【centos7+python3+mysql】

購買阿里云服務器 到[阿里云官網],選擇輕量應用服務器, 步驟如圖所示: 地域隨便選擇哪一個,鏡像的話,對比了CentOS,Debian,Ubuntu,我最終選擇了CentOS,因為流行嘛&…

XidianOJ 1123 K=1 Problem of Orz Pandas

題目描述 One panda named orz is playing a interesting game, he gets a big integer Num and an integer K. In this game, he can exchange two single numbers in Num. For example, he can get 1243 from 3241 by exchange 1 and 3.But orz can exchange at most K times…

對于頻繁的寫數據處理方式

添加一個新的表情的時候 調用 recentEmotions方法 將所有表情寫入數組 每次都是 添加一個新的表情進來 要將沙盒中的所有表情首先加載進數組,然后將表情添加到數組里面 然后在將數組寫入沙盒 處理方式 沒有必要每次都要到沙盒里面讀取數組文件 類方法 不能訪問 成員…

在Mysql中顯示所有用戶的操作教程(Linux環境下)

1.登錄數據庫 首先,你需要使用如下命令登錄到數據庫,注意,必須是root用戶哦~ mysql -u root -p 2.查詢用戶表 在Mysql中其實有一個內置且名為mysql的數據庫,這個數據庫中存儲的是Mysql的一些數據,比如用戶、權限信…

Scrapy 框架【學習筆記01】

Scrapy 框架 Scrapy是用純Python實現一個為了爬取網站數據、提取結構性數據而編寫的應用框架,用途非常廣泛。 框架的力量,用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲,用來抓取網頁內容以及各種圖片,非常之方便。 Scra…

通過profile 用maven命令打不同配置的變量包

profiles定義如下<profiles><profile><id>local</id><properties><deploy.type>local</deploy.type></properties></profile><profile><id>dev</id><properties><deploy.type>dev</de…

執行Hive的查詢語句報錯:java.lang.IllegalArgumentException: Does not contain a valid host:port authority: loca

好不容易把Hive裝完了&#xff0c;結果一執行Hive的查詢語句運行MapReduce程序立馬報錯。。。 log詳細信息如下&#xff1a; Job running in-process (local Hadoop) Hadoop job information for null: number of mappers: 1; number of reducers: 0 2017-10-21 21:54:15,503…

scrapy startproject【學習筆記02】

入門案例 學習目標 創建一個Scrapy項目定義提取的結構化數據(Item)編寫爬取網站的 Spider 并提取出結構化數據(Item)編寫 Item Pipelines 來存儲提取到的Item(即結構化數據) 一. 新建項目(scrapy startproject) 在開始爬取之前&#xff0c;必須創建一個新的Scrapy項目。進入…

開始把其他的博客搬家到這里了

今天&#xff0c;用一晚上的時間進行一下文章的遷移吧。這樣以后查詢就可以在自己的博客中查找了&#xff0c;也算是給自己一個寫作的規律。 從很多個大牛的博客中都閱讀到&#xff0c;寫博客對于一個coder的重要性。希望這次可以堅持。轉載于:https://www.cnblogs.com/cyforev…

java系統高并發解決方案(轉載)

轉載博客地址&#xff1a;http://blog.csdn.net/zxl333/article/details/8685157 一個小型的網站&#xff0c;比如個人網站&#xff0c;可以使用最簡單的html靜態頁面就實現了&#xff0c;配合一些圖片達到美化效果&#xff0c;所有的頁面均存放在一個目錄下&#xff0c;這樣的…

Request/Response【學習筆記03】

Request Request 部分源碼&#xff1a; # 部分代碼 class Request(object_ref):def __init__(self, url, callbackNone, methodGET, headersNone, bodyNone, cookiesNone, metaNone, encodingutf-8, priority0,dont_filterFalse, errbackNone):self._encoding encoding # t…

TotoiseSVN的上手教程

本文轉自&#xff1a;http://www.cnblogs.com/xilentz/archive/2010/05/06/1728945.html TotoiseSVN的基本使用方法&#xff1a; 一、簽入源代碼到SVN服務器 假如我們使用Visual Studio在文件夾StartKit中創建了一個項目&#xff0c;我們要把這個項目的源代碼簽入到SVN Serv…

ALV可輸入狀態下輸入金額字段變小數的問題

http://blog.163.com/mxb_sapyeah/blog/static/10335262520167109022155/ 小數位數兩位 當我在給ALV上給該字段輸入整數 ‘1234 ‘ 時&#xff0c;該數據居然會默認變成‘12.34’ 可以在這里解決這個問題。就是定義字段目錄的時候&#xff0c;對于金額字段指定參考數據類型就…