U+平臺配置免密登錄、安裝Hadoop配置集群、Spark配置

文章目錄

    • 1、免密登錄
    • 2、安裝hadoop
    • 3、Spark配置

具體詳細報告見資源部分，全部實驗內容已經上傳，如有需要請自行下載。

1、免密登錄

使用的配置命令：

cd ~/.ssh/

ssh-keygen -t rsa

Enter鍵回車

y

回車

回車

在這里插入圖片描述
出現如上所示

cat ./id_rsa.pub >> ./authorized_keys

ssh hadoop01

在這里插入圖片描述

exit

scp /root/.ssh/id_rsa.pub root@hadoop02:/root/.ssh/id_rsa.pub

然后輸入hadoop02的密碼，去復制就行

scp /root/.ssh/id_rsa.pub root@hadoop03:/root/.ssh/id_rsa.pub

然后輸入hadoop03的密碼，去復制就行

在這里插入圖片描述
顯示圖示這樣的，重啟就行了。

全部重啟一下，從開頭輸入一下命令，驗證：ssh hadoop02

ssh hadoop03

不需要密碼，則已經成功，退出：exit

2、安裝hadoop

java -version

顯示如下：

在這里插入圖片描述

nano ~/.bashrc

在文本的最后加入：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

然后保存退出：Ctrl+X，然后輸入Y，回車即可

讓配置生效：

source ~/.bashrc

驗證JAVA_HOME 配置是否成功：

echo $JAVA_HOME

在這里插入圖片描述

如上所示JAVA_HOME 已經配置成功

cd /usr/local

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

在這里插入圖片描述
在這里插入圖片描述

解壓：tar -xzvf hadoop-3.3.5.tar.gz

重命名：mv hadoop-3.3.5 /usr/local/hadoop

修改文件權限：chown -R root:root ./hadoop

ls -1 hadoop/

在這里插入圖片描述
配置 Hadoop 環境變量：

nano ~/.bashrc

在最下面加入：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出：Ctrl+X,Y,回車

source ~/.bashrc

在這里插入圖片描述
檢查Hadoop命令是否可用：

cd /usr/local/hadoop

./bin/hadoop version

在這里插入圖片描述
配置集群/分布式環境：

修改文件profile：

cd /usr/local/hadoop/etc/hadoop

nano /etc/profile

加入如下內容：

# Hadoop Service Users
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

在這里插入圖片描述

source /etc/profile

修改文件workers:

nano workers

hadoop01
hadoop02
hadoop03

在這里插入圖片描述
保存退出：Ctrl+X,Y,回車

修改文件core-site.xml:

nano core-site.xml

添加如下配置：

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property>
</configuration>

在這里插入圖片描述

修改文件hdfs-site.xml:

nano hdfs-site.xml

添加如下內容：

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop03:50090</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

在這里插入圖片描述
修改文件mapred-site.xml:

nano mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop01:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop01:19888</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property>
</configuration>

保存退出：Ctrl+X,Y,回車

修改文件 yarn-site.xml：

nano yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

保存退出：Ctrl+X,Y,回車

修改文件hadoop-env.sh：

nano hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

保存退出：Ctrl+X,Y,回車

復制hadoop01節點的Hadoop文件夾，分發:

cd /usr/local

tar -zcf ~/hadoop.master.tar.gz ./hadoop

cd ~

scp ./hadoop.master.tar.gz hadoop02:/root

scp ./hadoop.master.tar.gz hadoop03:/root

在這里插入圖片描述
在02中：

tar -zxf ~/hadoop.master.tar.gz -C /usr/local

chown -R root /usr/local/hadoop

在這里插入圖片描述
在hadoop03中：

tar -zxf ~/hadoop.master.tar.gz -C /usr/local

chown -R root /usr/local/hadoop

在這里插入圖片描述
在hadoop01中：

cd /usr/local/hadoop

./bin/hdfs namenode -format

啟動hadoop：

cd /usr/local/hadoop

./sbin/start-dfs.sh

在這里插入圖片描述

./sbin/start-yarn.sh

在這里插入圖片描述

./sbin/mr-jobhistory-daemon.sh start historyserver

jps

在這里插入圖片描述
在hadoop02:jps

在這里插入圖片描述
在hadoop03:jps

在這里插入圖片描述
回hadoop01:

./bin/hdfs dfsadmin -report

在這里插入圖片描述

stop-yarn.sh

在這里插入圖片描述

stop-dfs.sh

在這里插入圖片描述

mr-jobhistory-daemon.sh stop historyserver

成功結束Hadoop相關配置。

3、Spark配置

將spark解壓到/usr/local中：

tar -zxf /root/spark-3.4.2-bin-without-hadoop.tgz -C /usr/local

cd /usr/local

mv ./spark-3.4.2-bin-without-hadoop ./spark

chown -R root ./spark

（2）配置相關文件:

修改spark-env.sh文件:

cd /usr/local/spark

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

nano ./conf/spark-env.sh

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

在這里插入圖片描述
Ctrl+X,Y,回車

發現不對，往回找，然后一個里面內容不對，修改.bashrc文件：

nano ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/binexport PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport SPARK_HOME=/usr/local/spark
export JRE_HOME=${JAVA_HOME}jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:${JAVA_HOME}/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin
export PYSPARK_PYTHON=/root/anaconda3/bin/python

Ctrl+X,Y,回車

source ~/.bashrc

(3)設置日志信息:

cd /usr/local/spark/conf

sudo mv log4j2.properties.template log4j.properties

vim log4j.properties

按i進入編輯模式

將里面的rootLogger.level改成=error

在這里插入圖片描述
先ESC退出編輯模式，然后保存并退出：在命令模式下輸入 :wq，然后按 Enter。

驗證Spark是否安裝成功:

cd /usr/local/spark

./bin/run-example SparkPi

在這里插入圖片描述
使用Anaconda修改Python版本:

conda create -n pyspark python=3.8

y

在這里插入圖片描述
切換python環境：

conda activate pyspark

在這里插入圖片描述
啟動pyspark:

cd /usr/local/spark

./bin/pyspark

在這里插入圖片描述
安裝 Spark（Spark on YARN模式）:

cd /usr/local/spark

./bin/pyspark --master yarn

成功結束！

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/87247.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/87247.shtml
英文地址，請注明出處：http://en.pswp.cn/web/87247.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

GitHub vs GitLab 全面對比報告（2025版）

GitHub vs GitLab 全面對比報告（2025版）

從技術架構到金融估值&#xff0c;深度解析兩大代碼托管平臺的差異化競爭策略 一、技術架構對比 維度GitHub (Microsoft旗下)GitLab (獨立上市公司)關鍵差異核心架構- 分布式Git倉庫 Issues/Projects- 全棧DevSecOps平臺GitLab集成CI/CD、安全、監控部署模式- SaaS為主 - Git…
閱讀更多...
Python 數據分析與可視化 Day 14 - 建模復盤 + 多模型評估對比（邏輯回歸 vs 決策樹）

Python 數據分析與可視化 Day 14 - 建模復盤 + 多模型評估對比（邏輯回歸 vs 決策樹）

? 今日目標 回顧整個本周數據分析 & 建模流程學會訓練第二種模型&#xff1a;決策樹&#xff08;Decision Tree&#xff09;掌握多模型對比評估的方法與實踐輸出綜合對比報告&#xff1a;準確率、精確率、召回率、F1 等指標為后續模型調優與擴展打下基礎 &#x1fa9c; 一…
閱讀更多...
本周大模型新動向：KV緩存混合精度量化、個體時空行為生成、個性化問答

本周大模型新動向：KV緩存混合精度量化、個體時空行為生成、個性化問答

點擊藍字 關注我們 AI TIME歡迎每一位AI愛好者的加入&#xff01; 01 KVmix: Gradient-Based Layer Importance-Aware Mixed-Precision Quantization for KV Cache 大型語言模型&#xff08;LLMs&#xff09;在推理過程中&#xff0c;鍵值&#xff08;KV&#xff09;緩存的高內…
閱讀更多...
在 Spring Boot 中使用 WebMvcConfigurer

在 Spring Boot 中使用 WebMvcConfigurer

WebMvcConfigurer 是 Spring MVC 提供的一個擴展接口&#xff0c;用于配置 Spring MVC 的各種功能。在 Spring Boot 應用中&#xff0c;通過實現 WebMvcConfigurer 接口&#xff0c;可以定制和擴展默認的 Spring MVC 配置。以下是對 WebMvcConfigurer 的詳細解析及其常見用法。…
閱讀更多...
w-筆記：uni-app的H5平臺和非H5平臺的拍照識別功能：

w-筆記：uni-app的H5平臺和非H5平臺的拍照識別功能：

uni-app的H5平臺和非H5平臺的拍照識別功能&#xff1a; <template><view class"humanVehicleBinding"><view v-if"warn" class"shadow"></view><view class"header"><uni-nav-bar left-icon"l…
閱讀更多...
TCP 半連接隊列和全連接隊列(結合 Linux 2.6.32 內核源碼分析)

TCP 半連接隊列和全連接隊列(結合 Linux 2.6.32 內核源碼分析)

文章目錄 一、什么是 TCP 半連接隊列和全連接隊列二、TCP 全連接隊列1、如何查看進程的 TCP 全連接隊列大小&#xff1f;注意 2、TCP 全連接隊列溢出問題注意 3、TCP 全連接隊列最大長度 三、TCP 半連接隊列1、TCP 半連接隊列溢出問題2、TCP 半連接隊列最大長度3、引申問題 一、…
閱讀更多...
linux下fabric環境搭建

linux下fabric環境搭建

參考教程&#xff1a; https://devpress.csdn.net/cloudnative/66d58e702045de334a569db3.html?dp_tokeneyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpZCI6MjA2MzY4NywiZXhwIjoxNzQwMzY4MDc0LCJpYXQiOjE3Mzk3NjMyNzQsInVzZXJuYW1lIjoiaHVhbmd0dXBpIn0.oh8e4F6Sw_A4SV2ODQ5W0pYK0…
閱讀更多...
Redis Pipeline介紹：提高操作Redis數據庫的執行效率

Redis Pipeline介紹：提高操作Redis數據庫的執行效率

Redis Pipeline是一種用于提高Redis執行效率的技術&#xff0c;通過減少客戶端與服務器之間的通信開銷&#xff0c;顯著提升批量操作的性能。本文將詳細介紹Redis Pipeline的概念、使用場景、實現方式及其優勢。 一、Redis Pipeline的概念 Redis Pipeline是一種批處理機制&am…
閱讀更多...
linux長時間鎖屏無法喚醒

linux長時間鎖屏無法喚醒

是的&#xff0c;您這么理解很直接&#xff0c;抓住了要點。 簡單來說&#xff0c;就是這樣&#xff1a; 電腦睡覺有兩種方式&#xff1a; 打個盹&#xff08;掛起/Suspend&#xff09;&#xff1a; 把工作狀態保存在內存里。這個一般和 Swap 分區沒關系。睡死過去&#xff…
閱讀更多...
STM32F103_Bootloader程序開發11 - 實現 App 安全跳轉至 Bootloader

STM32F103_Bootloader程序開發11 - 實現 App 安全跳轉至 Bootloader

導言 想象一下&#xff0c;我們的單片機 App 正在穩定地運行著&#xff0c;突然我們想給它升級一下&#xff0c;添加個新功能。我們該如何安全地通知它&#xff1a;“嘿&#xff0c;準備好接收新固件了” ? 這就需要 App 和 Bootloader 之間建立一個可靠的"秘密握手"…
閱讀更多...
Explain解釋

Explain解釋

參考官方文檔&#xff1a;https://dev.mysql.com/doc/refman/5.7/en/explain-output.html explain關鍵字可以分析你的查詢語句的結構和性能。 explain select查詢&#xff0c; 執行會返回執行計劃的信息。 注意&#xff1a;如果from中有子查詢&#xff0c;仍然會執行該子查詢…
閱讀更多...
選擇 PDF 轉 HTML 轉換器的 5 個關鍵特性

選擇 PDF 轉 HTML 轉換器的 5 個關鍵特性

市面上有很多 PDF 轉 HTML 的轉換器&#xff0c;每一款產品都有不同的功能組合。要理清并理解每個功能可能會讓人感到困惑。那么&#xff0c;真正重要的是什么呢&#xff1f; 這篇文章將介紹我們認為在選擇最佳 PDF 轉 HTML 轉換器時最重要的 5 個關鍵特性&#xff1a; 1. 轉換…
閱讀更多...
使用堡塔在服務器上部署寶塔面板-linux版

使用堡塔在服務器上部署寶塔面板-linux版

使用堡塔在服務器上部署寶塔面板-linux版 使用堡塔多機管理登錄服務器 進入寶塔官網&#xff0c;獲取安裝腳本 wget -O install_panel.sh https://download.bt.cn/install/install_panel.sh && sudo bash install_panel.sh ed8484bec3. 在堡塔多機管理中&#xff0c;…
閱讀更多...
【Unity高級】Unity多界面游戲場景管理方案詳解

【Unity高級】Unity多界面游戲場景管理方案詳解

引言&#xff1a;游戲界面管理的挑戰 在Unity游戲開發中&#xff0c;尤其是包含多個功能界面&#xff08;如主菜單、關卡選擇、游戲頁面、設置和商城&#xff09;的游戲&#xff0c;如何高效管理場景與界面是架構設計的核心挑戰。本文將深入探討三種主流實現方案&#xff1a;單…
閱讀更多...
WINDOWS最快布署WEB服務器：apache2

WINDOWS最快布署WEB服務器：apache2

安裝JDK下載 https://tomcat.apache.org/ Index of /dist/tomcat/tomcat-9 安裝測試 http://localhost:8080/ 替換自己的文件 把自己的文件復制到&#xff1a; C:\Program Files\Apache Software Foundation\Tomcat 9.0\webapps\ROOT
閱讀更多...
Microsoft Edge 打開無反應、打開后顯示兼容性問題、卸載重裝 解決方案。一鍵卸載Microsoft Edge 。

Microsoft Edge 打開無反應、打開后顯示兼容性問題、卸載重裝 解決方案。一鍵卸載Microsoft Edge 。

背景&#xff1a;網絡上的瀏覽器修復、重裝、恢復默認應用測試后無用&#xff0c;以下卸載重裝方案經實測可以正常使用Microsoft Edg。 卸載軟件在資源里&#xff0c;請自取。 一、卸載軟件&#xff1a;Remove-Edge_GUI.exe 雙擊卸載等待即可。 二、在微軟商店重新安裝Micro…
閱讀更多...
Spring Boot - 參數校驗：分組校驗、自定義注解、嵌套對象全解析

Spring Boot - 參數校驗：分組校驗、自定義注解、嵌套對象全解析

01 依賴配置 在構建高效的校驗體系前&#xff0c;需先完善項目依賴配置。 以下是優化后的依賴示例&#xff1a; <dependencies><!-- Web 依賴&#xff0c;提供 RESTful 接口支持 --><dependency><groupId>org.springframework.boot</groupId>…
閱讀更多...
深入淺出多模態》（十一）之多模態經典模型：Flamingo系列

深入淺出多模態》（十一）之多模態經典模型：Flamingo系列

&#x1f389;AI學習星球推薦&#xff1a; GoAI的學習社區 知識星球是一個致力于提供《機器學習 | 深度學習 | CV | NLP | 大模型 | 多模態 | AIGC 》各個最新AI方向綜述、論文等成體系的學習資料&#xff0c;配有全面而有深度的專欄內容&#xff0c;包括不限于 前沿論文解讀、…
閱讀更多...
基于Pandas和FineBI的昆明職位數據分析與可視化實現（三）- 職位數據統計分析

基于Pandas和FineBI的昆明職位數據分析與可視化實現（三）- 職位數據統計分析

文章目錄 一、職位數據分析1. 一級分類職位數量統計分析2. 職位二級分類分布分析3. 職位分布分析4. 工作經驗需求分布分析5. 學歷要求職位分布分析6. 企業職位供給前507. 不同規模公司的職位數量統計8. 區域職位分布分析9. 各區域平均薪資范圍分布分析10. 不同工作經驗平均薪資…
閱讀更多...
大數據Hadoop之——安裝部署hadoop

大數據Hadoop之——安裝部署hadoop

目錄 前期準備 一、JDK的安裝 1、安裝jdk 2、配置Java環境變量 3、加載環境變量 4、進行校驗 二、hadoop的環境搭建 1、hadoop的下載安裝 2、配置文件設置 2.1. 配置 hadoop-env.sh 2.2. 配置 core-site.xml 2.3. 配置 hdfs-site.xml 2.4. 配置 yarn-site.xml 2.…
閱讀更多...
最新文章

Copyright @ 2022~2023