Hadoop2.6.0完全分布式安裝

1、修改主機名稱

對master/slave1/slave2同時配置為Master/Slave1/Slave2

master@Master:~$?sudo?gedit?/etc/hostname


?上述3個虛機結點均需要進行以上步驟

?

2、填寫主機IP

對master/slave1/slave2同時配置

master@Master:~$?sudo?gedit?/etc/hosts

?

192.168.48.128 master
192.168.48.129 slave1
192.168.48.130 slave2

?

?上述3個虛機結點均需要進行以上步驟

?

?

3、建立hadoop用戶組及新用戶

?

對master/slave1/slave2同時配置

為hadoop集群專門設置一個用戶組及用戶

master@Master:~$?sudo?groupadd?hadoop? ? //設置hadoop用戶組

master@Master:~$?sudo?useradd?-s?/bin/bash?-d?/home/hnu?-m?hnu?-g?hadoop? ?//添加一個hnu用戶，此用戶屬于hadoop用戶組。

master@Master:~$?sudo?passwd?hnu? ?//設置用戶hnu登錄密碼

master@Master:~$?su?hnu? //切換到hnu用戶中

?

上述3個虛機結點均需要進行以上步驟

?

?

4、 配置ssh免密碼連入

?

Ubuntu14.04系統下：

對master/slave1/slave2同時配置

master@Master:~$?sudo?apt-get?install?openssh-client=1:6.6p1-2ubuntu1

master@Master:~$?sudo?apt-get?install?openssh-server

上述3個虛機結點均需要進行以上步驟

?

（1）?每個結點分別產生公私密鑰。

hnu@Master:~$?ssh-keygen?-t?dsa?-P?''?-f?~/.ssh/id_dsa

以上命令是產生公私密鑰，產生目錄在用戶主目錄下的.ssh目錄中，如下：

hnu@Master:~$?cd?.ssh

hnu@Master:~$?ls

Id_dsa.pub為公鑰，id_dsa為私鑰，緊接著將公鑰文件復制成authorized_keys文件，這個步驟是必須的，過程如下：

hnu@Master:~/.ssh$?cat?id_dsa.pub?>>?authorized_keys

hnu@Master:~/.ssh$?ls

用上述同樣的方法在剩下的兩個結點中如法炮制即可。

?

?上述3個虛機結點均需要進行以上步驟

?

?

（2）本機ssh免密碼登錄測試

hnu@Master:~$?ssh?localhost

在單機結點上用ssh進行登錄，這將為后續對子結點SSH遠程免密碼登錄作好準備。

用上述同樣的方法在剩下的兩個結點中如法炮制即可。

?

上述3個虛機結點均需要進行以上步驟

?

?

（3）????讓主結點(master)能通過SSH免密碼登錄兩個子結點（slave）

?

1）對slave1節點操作：

為了實現這個功能，兩個slave結點的公鑰文件中必須要包含主結點的公鑰信息，這樣當master就可以順利安全地訪問這兩個slave結點了。操作過程如下：

hnu@Slave1:~/.ssh$?scp?hnu@master:~/.ssh/id_dsa.pub?./master_dsa.pub

hnu@Slave1:~/.ssh$??cat?master_dsa.pub?>>?authorized_keys

如上過程顯示了slave1結點通過scp命令遠程登錄master結點，并復制master的公鑰文件到當前的目錄下，這一過程需要密碼驗證。接著，將master結點的公鑰文件追加至authorized_keys文件中，通過這步操作，如果不出問題，master結點就可以通過ssh遠程免密碼連接slave1結點了。

?

2）對slave2節點同樣進行以上步驟

?

在master結點中對兩個子節點進行免密登陸：

hnu@Master:~$?ssh?slave1

slave1結點首次連接時需要輸入yes后成功接入，緊接著注銷退出至master結點。然后再執行一遍ssh slave1，如果沒有要求你輸入”yes”，就算成功了,對node2結點也可以用同樣的方法進行上述操作。

?

?

表面上看，這兩個節點的ssh免密碼登錄已經配置成功，但是我們還需要對主節點master也要進行上面的同樣工作，據說是真實物理結點時需要做這項工作，因為jobtracker有可能會分布在其它結點上，jobtracker有不存在master結點上的可能性。

?

3）對master自身進行ssh免密碼登錄測試工作：

hnu@Master:~/.ssh$?scp?hnu@master:~/.ssh/id_dsa.pub??./master_dsa.pub

hnu@Master:~/.ssh$?cat?master_dsa.pub??>>?authorized_keys

hnu@Master:~/.ssh$?ssh?master

?

至此，SSH免密碼登錄已經配置成功。

?

5、JDK與HADOOP環境變量配置

對master/slave1/slave2同時配置

解壓JDK

master@Master:~$?sudo?tar?-zxvf?jdk-8u91-linux-x64.tar.gz?-C?/opt

?

master@Master:~$?sudo?gedit?/etc/profile

#JAVA

export?JAVA_HOME=/opt/jdk1.8.0_91

export?PATH=$PATH:$JAVA_HOME/bin

export?CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

#HADOOP

export?HADOOP_PREFIX=/home/hnu/hadoop-2.6.0

export?PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

export?HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native

export?HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"

?

上述3個虛機結點均需要進行以上步驟

?

6、HADOOP安裝與配置

對master配置

解壓hadoop

master@Master:~$?sudo?tar?-zxvf?hadoop-2.6.0.tar.gz?-C?/home/hnu

?

master@Master:/home/hnu/hadoop-2.6.0/etc/hadoop$

1) ?core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hnu/hadoop-2.6.0/tmp</value>

<description>A?base?for?other?temporary?directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

</configuration>

 
2) ? hadoop-env.sh 添加如下環境變量(一定要添加切勿少了)?
 
export JAVA_HOME=/opt/jdk1.8.0_91
 
export HADOOP_PID_DIR=/home/hnu/hadoop-2.6.0/pids
 
在yarn-env.sh下添加如下環境變量
 
export JAVA_HOME=/opt/jdk1.8.0_91
 
export YARN_PID_DIR=/home/hnu/hadoop-2.6.0/pids
 
?
 
3） hdfs-site.xml?
 
<configuration>
 
<property>
 
<name>dfs.namenode.name.dir</name>
 
<value>file:/home/hnu/hadoop-2.6.0/name</value>
 
</property>
 
<property>
 
<name>dfs.datanode.data.dir</name>
 
<value>file:/home/hnu/hadoop-2.6.0/data</value>
 
</property>
 
<property>
 
<name>dfs.replication</name>
 
<value>2</value>
 
</property>
 
<property>
 
<name>dfs.namenode.secondary.http-address</name>
 
<value>master:50090</value>
 
</property>
 
<property>
 
<name>dfs.webhdfs.enabled</name>
 
<value>true</value>
 
</property>
 
</configuration>
 
?
 
4) ?mapred-site.xml?
 
<configuration>
 
<property>
 
<name>mapreduce.framework.name</name>
 
<value>yarn</value>
 
<final>true</final>
 
</property>
 
<property>
 
<name>mapreduce.jobtracker.http.address</name>
 
<value>master:50030</value>
 
</property>
 
<property>
 
<name>mapreduce.jobhistory.address</name>
 
<value>master:10020</value>
 
</property>
 
<property>
 
<name>mapreduce.jobhistory.webapp.address</name>
 
<value>master:19888</value>
 
</property>
 
<property>
 
<name>mapred.job.tracker</name>
 
<value>http://master:9001</value>
 
</property>
 
</configuration>
 
?
 
5) yarn-site.xml?
 
<configuration>
 
<!--?Site?specific?YARN?configuration?properties?-->
 
<property>
 
<name>yarn.resourcemanager.hostname</name>
 
<value>master</value>
 
</property>
 
<property>
 
<name>yarn.nodemanager.aux-services</name>
 
<value>mapreduce_shuffle</value>
 
</property>
 
<property>
 
<name>yarn.resourcemanager.address</name>
 
<value>master:8032</value>
 
</property>
 
<property>
 
<name>yarn.resourcemanager.scheduler.address</name>
 
<value>master:8030</value>
 
</property>
 
<property>
 
<name>yarn.resourcemanager.resource-tracker.address</name>
 
<value>master:8031</value>
 
</property>
 
<property>
 
<name>yarn.resourcemanager.admin.address</name>
 
<value>master:8033</value>
 
</property>
 
<property>
 
<name>yarn.resourcemanager.webapp.address</name>
 
<value>master:8088</value>
 
</property>
 
</configuration>
 
?
 
6)slaves
 
slave1
 
slave2
 
?
 
7、向各節點復制hadoop
 
向slave1節點復制hadoop：
 
hnu@Master:~$??scp?-r?./hadoop-2.6.0/?slave1:~
 
向slave2節點復制hadoop：
 
hnu@Master:~$??scp?-r?./hadoop-2.6.0/?slave2:~
 
?
 
8、賦予權限
 
對master/slave1/slave2執行相同操作
 
將目錄hadoop文件夾及子目錄的所有者和組更改為用戶hnu和組hadoop
 
root@Master:/home/hnu#?chown?-R?hnu:hadoop?hadoop-2.6.0
 
?
 
9、格式化hadoop
 
hnu@Master:~$?source?/etc/profile
 
hnu@Master:~$?hdfs?namenode?-format
 
?
 
?
 
?
 
10、啟動/關閉hadoop
 
start-all.sh/stop-all.sh
 
start-dfs.sh/start-yarn.sh
 
stop-dfs.sh/stop-dfs.sh
 
?
 
 
 
?
 
查看hdfs/RM
 
192.168.48.128:50070/192.168.48.128:8088
 
master:50070/master:8088
 
?
 
 
?
 
 
注：
 
（1）hadoop集群啟動jps查看后沒有DATANODE?
 
刪除slave1/slave2 ?中 ?/home/hnu/hadoop/data/current/VERSION文件后重啟即可
 
 
 
 
 
 
 
寫留言
 
 
 
 
 
微信掃一掃
關注該公眾號
 
 
 
 
 
 
 
 
 


 

轉載于:https://www.cnblogs.com/zhangguangxu98/p/8434212.html




    











本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。

如若轉載，請注明出處：http://www.pswp.cn/news/453494.shtml


繁體地址，請注明出處：http://hk.pswp.cn/news/453494.shtml

英文地址，請注明出處：http://en.pswp.cn/news/453494.shtml


如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！











相關文章










DEX加密效果分析








DEX加密效果分析




dex加密目的&#xff1a;保護安卓應用的Java源代碼&#xff0c;避免被惡意分析&#xff0c;技術被竊取準備工具&#xff1a;1、apktool &#xff1a;反編譯apk&#xff0c;提取smali代碼2、dex2jar &#xff1a;將dex轉化為jar文件3、jd-gui &#xff1a;查看jar文件&#xff0…




閱讀更多...

















一些比特率值








一些比特率值




比特率   
比特率是指將數字聲音由模擬格式轉化成數字格式的采樣率&#xff0c;采樣率越高&#xff0c;還原后的音質就越好。  比特率值與現實音頻對照&#xff1a;  16KBPS電話音質  24KBPS增加電話音質、短波廣播、長波廣播、歐洲制式中波廣播40KBPS美國制式中波廣播56KBPS話…




閱讀更多...

















java asynccontext,超時后的JavaEE 6 AsyncContext行為








java asynccontext,超時后的JavaEE 6 AsyncContext行為




What is the exact behavior of AsyncContext after it times out? Does it still run and does it return response using getResponse()?解決方案Java Servlet 3.0 Maintenance Release on page 34 reads:A call to this method - ServletRequest.startAsync(ServletReques…




閱讀更多...

















BZOJ1857：[SCOI2010]傳送帶——題解








BZOJ1857：[SCOI2010]傳送帶——題解




http://www.lydsy.com/JudgeOnline/problem.php?id1857 Description 在一個2維平面上有兩條傳送帶&#xff0c;每一條傳送帶可以看成是一條線段。兩條傳送帶分別為線段AB和線段CD。lxhgww在AB上的移動速度為P&#xff0c;在CD上的移動速度為Q&#xff0c;在平面上的移動速度R。…




閱讀更多...

















mnt/sdcard和storage/sdcard的區別








mnt/sdcard和storage/sdcard的區別




/mnt 目錄&#xff0c;熟悉linux的人都清楚&#xff0c;linux默認掛載外部設備都會掛到這個目錄下面去&#xff0c;如將sd卡掛載上去后&#xff0c;會生成一個/mnt/sdcard 目錄。 storage/sdcard 目錄&#xff0c;這是一個軟鏈接&#xff08;相當于windows的文件夾的快捷方式&a…




閱讀更多...

















kd樹的原理








kd樹的原理




kd樹就是一種對k維空間中的實例點進行存儲以便對其進行快速檢索的樹形數據結構&#xff0c;可以運用在k近鄰法中&#xff0c;實現快速k近鄰搜索。構造kd樹相當于不斷地用垂直于坐標軸的超平面將k維空間切分。 ?? 假設數據集\(T\)的大小是\(m*n\),即\(T{x_1,x_2,...x_m}\),其中…




閱讀更多...

















應聘華為的朋友小心了，應聘華為的悲慘遭遇！








應聘華為的朋友小心了，應聘華為的悲慘遭遇！




以下內容全部真實&#xff0c;為本人親身經歷。可隨時進行當面對質。 本人女朋友&#xff0c;原本是西安一家企業里面的行政助理&#xff0c;工作比較穩定&#xff0c;收入不高&#xff0c;但也基本夠她用了。 一天&#xff0c;我的一個同學&#xff08;華為員工&#xff09;說…




閱讀更多...

















力軟 java主從表保存_JAVA常用知識總結（十二）——數據庫（二）








力軟 java主從表保存_JAVA常用知識總結（十二）——數據庫（二）




MySQL主從熱備份工作原理簡單的說&#xff1a;就是主服務器上執行過的sql語句會保存在binLog里面&#xff0c;別的從服務器把他同步過來&#xff0c;然后重復執行一遍&#xff0c;那么它們就能一直同步啦。整體上來說&#xff0c;復制有3個步驟&#xff1a;作為主服務器的Maste…




閱讀更多...

















HttpClient和DefaultHttpClient








HttpClient和DefaultHttpClient




HttpClient 是接口&#xff0c;DefaultHttpClient是實現這個接口的子類 public interface HttpClient {/*** Obtains the parameters for this client.* These parameters will become defaults for all requests being* executed with this client, and for the parameters of…




閱讀更多...

















Go語言版黑白棋








Go語言版黑白棋




1、游戲說明2、無邊框窗口實現3、背景圖、最小化、關閉窗口4、界面其它設計5、黑白子提示閃爍效果6、落子7、初始化棋子、改變角色8、倒計時9、吃子10、棋子個數統計、勝負判斷11、機器落子 轉載于:https://www.cnblogs.com/tennysonsky/p/8442827.html




閱讀更多...

















vue使用render渲染jsx








vue使用render渲染jsx




vue&jsx文檔 vue實例屬性 // App.ts
import hBtn from ./components/hBtn
import hUl from ./components/hUlexport default {data(){return {theme: "mdui-theme-pink",accent: "mdui-theme-accent-pink",users:[aoo, boo, coo]}},methods:{},render(…




閱讀更多...

















java中的多線程有什么意義_Java多線程與并發面試題(小結)








java中的多線程有什么意義_Java多線程與并發面試題(小結)




1&#xff0c;什么是線程&#xff1f;線程是操作系統能夠進行運算調度的最小單位&#xff0c;它被包含在進程之中&#xff0c;是進程中的實際運作單位。程序員可以通過它進行多處理器編程&#xff0c;你可以使用多線程對運算密集型任務提速。比如&#xff0c;如果一個線程完成一…




閱讀更多...

















IT必須掌握的常用命令








IT必須掌握的常用命令




一&#xff0c;ping 　　   　　它是用來檢查網絡是否通暢或者網絡連接速度的命令。作為一個生活在網絡上的管理員或者黑客來說&#xff0c;ping命令是第一個必須掌握的DOS命令&#xff0c;它所利用的原理是這樣的&#xff1a;網絡上的機器都有唯一確定的IP地址&#xff0c;我們…




閱讀更多...

















Callable類








Callable類




&#xff08;一&#xff09; Callable和Runnable比較相似&#xff0c;都可以用來實現線程任務。但callable使用了泛型設計&#xff0c;使用一個V類型值&#xff0c;能夠 在執行結束后返回一個V類型的值。而Runable只會返回一個void&#xff0c;不能夠獲得執行的結果。  &#x…




閱讀更多...

















Java——線程的創建，線程池








Java——線程的創建，線程池




線程 多線程就是一個程序中有多個線程在同時執行。 多線程下CPU的工作原理 實際上&#xff0c;CPU(中央處理器)使用搶占式調度模式在多個線程間進行著高速的切換。對于CPU的一個核而言&#xff0c;某個時刻&#xff0c;只能執行一個線程&#xff0c;而CPU的在多個線程間切換速度…




閱讀更多...

















初級第一旬05— 藍字觀試題








初級第一旬05— 藍字觀試題




準提法網絡佛學院 準提法教學平臺 一、高七師提倡初學準提法者&#xff0c;應先觀藍字&#xff0c;在《顯密圓通成佛心要集》中有依據嗎&#xff1f; 二、正修的時候&#xff0c;如果不得不中斷怎么辦&#xff1f; 三、藍字觀有幾種手印&#xff1f;可以單獨使用嗎&#xff1f;…




閱讀更多...

















java并查集找朋友圈_圖—并查集（解決朋友圈問題）








java并查集找朋友圈_圖—并查集（解決朋友圈問題）




圖也是一種 非線性結構&#xff0c;是由多個頂點組成的關系集合組成的一種數據結構。圖可以分為兩種&#xff0c;無向圖和有向圖。★圖的定義:★典型問題&#xff1a;利用圖能夠解決很多問題&#xff0c;這里有一個較為典型的問題&#xff0c;假如已知有n個人和m對好友關系(存于…




閱讀更多...

















技術這東西,不可不看,不可全看.








技術這東西,不可不看,不可全看.




最近忙著玩開心,好久沒來CSDN了,首頁上有90后程序員的消息了,稍微感慨一下,曾幾何時,自己這個80后還被70后的前輩所笑話,轉眼就成了5年經驗的老油條了.呵呵.   5年,個人認為經歷還是有些代表性的,就跟剛入行或者即將入行的哥們交個底吧,這5年到底學到了什么.   如果你看完這篇文…




閱讀更多...

















rand.nextint()








rand.nextint()




自從JDK最初版本發布起&#xff0c;我們就可以使用java.util.Random類產生隨機數了。在JDK1.2中&#xff0c;Random類有了一個名為nextInt()的方法&#xff1a;public int nextInt(int n)給定一個參數n&#xff0c;nextInt(n)將返回一個大于等于0小于n的隨機數&#xff0c;即&a…




閱讀更多...

















Android開發常用的插件及工具








Android開發常用的插件及工具




1、GitHub,這個不管是做安卓還是其他&#xff0c;只要是開發就必上的網站&#xff0c;也是天朝沒有墻掉為數不多的網站 2、Stack OverFlow,這個和上面一樣&#xff0c;國外非常著名的問答網站&#xff0c;在上面基本上很多問題都可以得到解決 3、Genymotion模擬器&#xff0c;搞…




閱讀更多...


















最新文章


















Copyright @ 2022~2023