在ubuntu上安裝hadoop完分布式

準備工作

Xshell安裝包

Xftp7安裝包

虛擬機安裝包

Ubuntu鏡像源文件

Hadoop包

Java包

一、安裝虛擬機

創建ubuntu系統

完成之后會彈出一個新的窗口?

跑完之后會重啟一下

按住首先用ctrl+alt+f3進入命令界面,輸入root,密碼登錄管理員賬號

按Esc

然后輸入

:wq

冒號也要輸入

然后找到語言文件

vi /etc/default/locale

最后一行加上以下語句后保存

LC_ALL=zh_CN.UTF-8
reboot

完成之后

在按ctrl+alt+f1進入圖形界面

配置完成之后先關閉虛擬機

先配置網絡結構

點擊設置

之后點擊網絡

修改完網絡配置之后在重啟ubuntu

?

?

連接Xshell

說明:需要提前先安裝好 Xshell 和 Xftp

輸入之后,可能中間會中斷一次,不要擔心,按enter繼續就可以了??

?編輯

將?jdk的包(Linux版)

?

Hadoop的鏡像文件(Hadoop的包)

?

eclipse(linux版)

這幾個包從winws轉到虛擬機中

開始下一步操作

?

?設置 hostname(3 個虛擬機都設置)

hostname 設置計劃

主節點:master

從節點 1:slave1

從節點 2:slave2

切換到 root 用戶

su - //切換root用戶

修改 hostname

vi /etc/hostname

刪掉原有內容,寫入:master

按ESC

輸入 :wq ?分號也要輸入

重啟后顯示新的 hostname

?切換到hadoop用戶

su hadoop

允許hadoop用戶使用超級權限(superprivileges,也稱root權限)

注意:默認情況下,不允許普通用戶使用超級權限,如果以sudo

?作為開頭輸入指令,會出現如下提示,告知當前用戶不在允許使用超級權限的文件內。

需要將當前用戶添加到sudoers文件中。

切換到root用戶

su -

編輯/etc/sudoers文件

vi /etc/sudoers

移動到文件底部,在rootALL=(ALL) ALL下添加:

????????????????????????????????[username]ALL=(ALL) ALL

添加后強制保存:wq!?退出。使用exit指令退出root用戶(會返回到hadoop用戶)

exit

?4.?關閉防火墻(3個虛擬機都設置)

查看防火墻運行狀態,返回running表示防火墻正在運行中。

sudo ufw status

?

臨時關閉防火墻(系統重啟后防火墻又會自動啟動)

sudo systemctl stop ufw.service

?需要禁止防火墻自動啟動(永久關閉)

sudo systemctl disable ufw.service

查看防火墻運行狀態,返回running表示防火墻正在運行中。

sudo ufw status

如果終端輸出“Status: inactive”,則表示防火墻已成功關閉。

?

?(5)設置IP地址(3個虛擬機都設置)

注意:網段必須與VMnet8子網IP的網段保持一致,網段中xxx.xxx.xxx.1和xxx.xxx.xxx.2(網關(GATEWAY))這兩個地址不能使用。例:本機的VMnet8網段為192.168.56.0,則192.168.56.1和192.168.56.2不能使用。可選的IP地址范圍為:192.168.56.3-192.168.56.255。

IP地址分配計劃

master 192.168.56.3

slave1 192.168.56.4

slave2 192.168.56.5

?有命令和窗口頁面兩種操作方式

窗口頁面操作

點擊設置(setting)

按照下面的圖片內容填寫

?查看IP地址

ip addr show

?6)設置每臺主機hostname到IP的映射關系3個虛擬機都設置)

sudo vi /etc/hosts

?在配置文件中追加3行

192.168.126.3 master

192.168.126.4 slave1

192.168.126.5 slave2

??測試hostname是否可用

sudo vi /etc/hosts

終止按鈕

ctrl c

配置SSH免密登錄

(1)生成秘鑰對

ssh-keygen -t rsa

2)發送公鑰 先發給自己(裝完三個節點之后在發送給slave1、slave2)

將master節點上hadoop用戶的公鑰發給各個節點的hadoop用戶(包括自己)

在這樣說明一點,要將三臺hadoop配置完畢之后在發送其它兩臺的,下面的代碼

要在master節點下一行一行輸入

正在途中還要輸入yes,密碼,

ssh-copy-id ?-i ?/home/hadoop/.ssh/id_rsa.pub hadoop@masterssh-copy-id ?-i ?/home/hadoop/.ssh/id_rsa.pub hadoop@slave1(slave1節點裝完在輸入)ssh-copy-id ?-i ?/home/hadoop/.ssh/id_rsa.pub hadoop@slave2(slave2節點裝完在輸入)

?3)測試免密登錄

ssh master

?

(1)安裝jdk和hadoop

先解壓文件

輸入代碼

jdk-8u301-linux-x64.tar.gz 是文件名,要改成自己的文件名

hadoop-2.10.1.tar.gz 是文件名,要改成自己的文件名

tar -zxvf jdk-8u301-linux-x64.tar.gztar -zxvf hadoop-2.10.1.tar.gz

移動至/usr/local 路徑下

移動jdk

sudo mv jdk1.8.0_301 /usr/local/jdk1.8.0

移動hadoop

sudo mv hadoop-2.10.1 /usr/local/

安裝 vim 編輯器,不安裝的話可以使用自帶的 vi 編輯器

(功能相對少)

sudo apt install vim

打開環境變量配置文件

sudo vim /etc/profile

在文件末尾插入以下定義

export JAVA_HOME=/usr/local/jdk1.8.0export HADOOP_HOME=/usr/local/hadoop-2.10.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按Esc

然后輸入

:wq

$ source /etc/profile

測試是否配置成功

測試Hadoop是否安裝完成

hadoop version

測試Java是否安裝完成

java -version

?配置Hadoop

建立保存臨時目錄的路徑

sudo mkdir -p /usr/data/hadoop/tmp

Hadoop 默認啟動的時候使用的是系統下的 /temp 目錄下,但 是在每一次重啟的時候系統都會將其自動清空 ,如果沒有臨 時的儲存目錄有可能會在下一次啟動 Hadoop 的時候出現 問題。

為防止 Hadoop 運行時出現權限的問題,需要將/usr/data 目 錄及其子目錄的擁有者全部從 root 改為用戶名。 (這里以本機用戶名 silin 為例。)

sudo chown sillin:silin -R /usr/data

(4)Hadoop分布式配置(master節點)

進入hadoop安裝文件下的/etc/hadoop/文件夾中。

cd ?/usr/local/hadoop-2.10.1/etc/hadoop

配置hadoop-env.sh腳本文件

將${JAVA_HOME}改為jdk的實際安裝路徑

vi hadoop-env.sh

?將${JAVA_HOME}改為jdk的實際安裝路徑

?配置core-site.xml配置文件

vi core-site.xml
<configuration><property><name>hadoop.tmp.dir</name><value>/usr/data/hadoop/tmp</value></property><property><name>fs.defaultFS</name><value>hdfs://hostname:9000</value></property></configuration>

配置hdfs-site.xml的配置文件?

vi hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration>

?將mapred-site.xml.template更名為mapred-site.xml并編輯

cp mapred-site.xml.template mapred-site.xmlvi mapred-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

?配置yarn-site.xml

vi yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>hostname</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

vi slaves

到這里master節點就完成了

但是我們需要配置三個節點

要用到虛擬機里面的復制

?一定要選完全復制

點擊完成就行了

復制兩份

要改里面的hostname,和hostname的文件

?(5)格式化namenode

hdfs namenode -format

(9)啟動(第一次啟動需要輸入yes)

start-dfs.shstart-yarn.sh

輸入jps確認

jps

Master節點

Slave1節點

Slave2節點

?

?參考鏈接:

在ubuntu上安裝hadoop完分布式-CSDN博客

?在Centos7下安裝Hadoop的完全分布_在ubantu上下載hadoop-CSDN博客

如何在Ubuntu下安裝偽分布hadoop_ubantu hadoop偽分布式-CSDN博客

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/717953.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/717953.shtml
英文地址,請注明出處:http://en.pswp.cn/news/717953.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

數據結構常用的字符串函數(中英雙釋)

頭文件&#xff1a;string.h 1.strchr const char * strchr ( const char * str, int character ); Locate first occurrence of character in string str C string. character Character to be located. Return Value A pointer to the first occurrence of character in s…

適用于恢復iOS數據的 10 款免費 iPhone 恢復軟件

現在&#xff0c;您可以獲得的 iPhone 的存儲容量比大多數人的筆記本電腦和臺式電腦的存儲容量還要大。雖然能夠存儲數千張高分辨率照片和視頻文件、安裝數百個應用程序并隨身攜帶大量音樂庫以供離線收聽固然很棒&#xff0c;但在一個地方擁有如此多的數據可能會帶來毀滅性的后…

2.2_5 調度算法

文章目錄 2.2_5 調度算法一、適用于早期的批處理系統&#xff08;一&#xff09;先來先服務&#xff08;FCFS&#xff0c;First Come First Serve&#xff09;&#xff08;二&#xff09;短作業優先&#xff08;SJF&#xff0c;Shortest Job First&#xff09;&#xff08;三&a…

SpringMVC總結

SpringMVC SpringMVC是隸屬于Spring框架的一部分&#xff0c;主要是用來進行Web開發&#xff0c;是對Servlet進行了封裝。 對于SpringMVC我們主要學習如下內容: SpringMVC簡介 請求與響應 REST風格 SSM整合(注解版) 攔截器 SpringMVC是處理Web層/表現層的框架&#xff…

易語言源代碼5000例

僅供學習研究交流使用 加群下載

探索MyBatis-Plus的高階用法

引言 MyBatis-Plus 是 MyBatis 的增強工具包&#xff0c;提供了許多方便快捷的功能來簡化開發&#xff0c;提高效率。除了基本的 CRUD 操作外&#xff0c;MyBatis-Plus 還提供了一些高級功能&#xff0c;本文將探討 MyBatis-Plus 的高階用法&#xff0c;幫助開發者更好地利用該…

Linux服務器搭建超簡易跳板機連接阿里云服務器

簡介 想要規范內部連接阿里云云服務器的方式&#xff0c;但是最近懶病犯了&#xff0c;先搞一個簡易式的跳板機過渡一下&#xff0c;順便在出一個教程&#xff0c;其他以后再說&#xff01; 配置方法 創建密鑰 登錄阿里云&#xff0c;找到云服務器ECS控制臺&#xff0c;點擊…

【小白友好】LeetCode 打家劫舍 III

https://leetcode.cn/problems/house-robber-iii/description/ 前言 建議還是先看看動態規劃的基礎題再看這個。動態規劃是不刷題&#xff0c;自己100%想不出來的。 基礎題&#xff1a; 23 小白想法 現在我們想遍歷的數據結構不是數組了&#xff0c;而是一顆樹。在樹上的d…

C++遞推

統計每個月兔子的總數 #include<bits/stdc.h> using namespace std; int n,sum0; void f(int); int main() {int a[1000];cin>>n;a[1]1;a[2]2;for(int i3;i<1000;i){a[i]a[i-1]a[i-2];}cout<<a[n];return 0; } void f(int n){}猴子吃桃子 #include<b…

2024年華為OD機試真題-電腦病毒感染-Python-OD統一考試(C卷)

題目描述: 一個局域網內有很多臺電腦,分別標注為0 - N-1的數字。相連接的電腦距離不一樣,所以感染時間不一樣,感染時間用t表示。 其中網絡內一個電腦被病毒感染,其感染網絡內所有的電腦需要最少需要多長時間。如果最后有電腦不會感染,則返回-1 給定一個數組times表示一個…

在Spring Boot中如何實現異常處理?

在Spring Boot中&#xff0c;異常處理可以通過幾種方式實現&#xff0c;以提高應用程序的健壯性和用戶體驗。這些方法包括使用ControllerAdvice注解、ExceptionHandler注解、實現ErrorController接口等。下面是一些實現Spring Boot異常處理的常用方法&#xff1a; 1. 使用Cont…

Git實戰(2)

git work flow ------------------------------------------------------- ---------------------------------------------------------------- 場景問題及處理 問題1&#xff1a;最近提交了 a,b,c,d記錄&#xff0c;想把b記錄刪掉其他提交記錄保留&#xff1a; git reset …

【C++ 編程指南】

C 編程指南 ■ C環境安裝■ C 基本語法■ 預定義宏■ # 和 ## 運算符■ C 引用■ C 命名空間■ 定義命名空間■ using 指令■ 嵌套的命名空間 ■ String類■ 類■ 類的static靜態成員 ■ C 繼承■ 繼承類型 public、protected 或 private■ 訪問控制和繼承■ 多繼承■ 數據抽象…

機器學習-面經

經歷了2023年的秋招&#xff0c;現在也已經入職半年了&#xff0c;空閑時間將面試中可能遇到的機器學習問題整理了一下&#xff0c;可能答案也會有錯誤的&#xff0c;希望大家能指出&#xff01;另外&#xff0c;不論是實習&#xff0c;還是校招&#xff0c;都祝福大家能夠拿到…

990-28產品經理:Different types of IT risk 不同類型的IT風險

Your IT systems and the information that you hold on them face a wide range of risks. If your business relies on technology for key operations and activities, you need to be aware of the range and nature of those threats. 您的IT系統和您在其中持有的信息面臨…

數據結構c版(2)——二叉樹

本章我們來了解一下二叉樹這一概念。 目錄 1.樹概念及結構 1.1樹的概念??????? 1.2 樹的特點&#xff1a; 1.3 樹的相關概念 1.4 樹的表示??????? 1.5 樹在實際中的運用&#xff08;表示文件系統的目錄樹結構&#xff09; 2.二叉樹概念及結構 2.1概念 …

Qt 簡約美觀的動畫 擺鐘風格 第十季

&#x1f60a; 今天給大家分享一個擺鐘風格的加載動畫 &#x1f60a; 效果如下: 最近工作忙起來了 , 后續再分享其他有趣的加載動畫吧. 一共三個文件 , 可以直接編譯運行 //main.cpp #include "LoadingAnimWidget.h" #include <QApplication> #include <Q…

【C++】用文件流的put和get成員函數讀寫文件

題目 編寫一個mycopy程序&#xff0c;實現文件復制的功能。用法是在控制臺輸入&#xff1a; mycooy 源文件名 目標文件名 參數介紹 m a i n main main 函數的參數有兩個&#xff0c;一個int類型參數和一個指針數組。 a r g c argc argc 表示參數的個數。參數為void時 a r g …

機器人 標準DH與改進DH

文章目錄 1 建立機器人坐標系1.1 連桿編號1.2 關節編號1.3 坐標系方向2 標準DH(STD)2.1 確定X軸方向2.2 建模步驟2.3 變換順序2.4 變換矩陣3 改進DH(MDH)3.1 確定X軸方向3.2 建模步驟3.3 變換順序3.4 變換矩陣4 標準DH與改進DH區別5 Matlab示例參考鏈接1 建立機器人坐標系 1.1…

Elasticsearch:如何創建搜索引擎

作者&#xff1a;Jessica Taylor 搜索引擎是生活中我們認為理所當然的事情之一。 每當我們尋找某些東西時&#xff0c;我們都會將一個單詞或短語放入搜索引擎&#xff0c;就像魔術一樣&#xff0c;它會為我們提供一個匹配結果列表。 現在可能感覺不那么神奇了&#xff0c;因為這…