ubuntu10.04+hadoop0.20.2平臺配置(完全分布式模式)

配置環境及有關工具:ubuntu10.04? 、hadoop0.20.2 、 jdk1.6.0_29

我們的機器有三臺,一臺當作namenode、兩臺當作datanode:

namenode:IP:192.168.0.25、機器名:kiddenzj 這里的機器名要注意:機器名不能包含下劃線“_”,一開始沒注意后來找了半天才發現這個原

datanode:IP:192.168.0.8 、機器名:kiddenxcc??

???????????????????? IP192.168.0.66、機器名: kiddenhw

集群里所有登陸的用戶名和密碼都要保持相同,我在這里創建了名為grid的用戶,后面的步驟就是在這個用戶下進行的。


配置步驟:

1)安裝ssh

輸入命令:

[java]?view plaincopy
  1. apt-get?install?ssh??

2)SSH配置

SSH配置主要是為了實現在機器間執行指令時不再需要輸入密碼,在所有的機器上建立.ssh目錄,這里我們建立在/home/grid下面:

[html]?view plaincopy
  1. mkdir?.ssh??
然后在namenode機器上生成密鑰對,執行:

[html]?view plaincopy
  1. ssh-keygen?-t?rsa??
然后一直按Enter鍵,就會按照默認選項生成密鑰對保存在.ssh/id_rsa文件中。

繼續執行如下命令,把密鑰傳遞給每個datanode節點:

[java]?view plaincopy
  1. cd?~/.ssh??
  2. cp?id_rsa.pub?authorized_keys??
  3. scp?authorized_keys?kiddenhw:/home/grid/.ssh??
  4. scp?authorized_keys?kiddenxcc:/home/grid/.ssh??
?然后分別在每臺datanode機器上執行如下命令,以改變authorized_keys文件的許可權限:

[html]?view plaincopy
  1. chmod?644?authorized_keys??
到此,從namenode發起的到其他datanode節點的SSH連接,就會只需在第一次登錄是輸入密碼,以后則不再需要。

可以通過如下命令發起連接:

[html]?view plaincopy
  1. ssh?kiddenhw??

3)jdk的安裝(namenode機和datanode機均按此安裝)

下載jdk-6u29-linux-i586.bin,安裝到/usr/java下,cd到usr/java下,

[python] view plaincopy
  1. sudo?chmod?u+x?jdk-6u29-linux-i586.bin??
  2. sudo?./jdk-6u29-linux-i586.bin??

接下來要設置java的環境變量輸入命令:

[javascript]?view plaincopy
  1. ?sudo?gedit?/etc/profile??
在文件的最后添加以下語句:
[html]?view plaincopy
  1. JAVA_HOME=/usr/java/jdk1.6.0_29??
  2. ??
  3. export?JRE_HOME=/usr/java/jdk1.6.0_29/jre??
  4. ??
  5. export?CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH??
  6. ??
  7. export?PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH??

保存退出,然后執行source /etc/profile即可。

輸入java -version 命令,出現如下信息就表示配置成功

[java]?view plaincopy
  1. java?version?"1.6.0_29"??
  2. Java(TM)?SE?Runtime?Environment?(build?1.6.0_29-b11)??
  3. Java?HotSpot(TM)?Server?VM?(build?20.4-b02,?mixed?mode)??
4)hadoop的安裝配置(只是在namenode端安裝配置,完成后namenode可以直接把配置好的hadoop發送到各個datanode端)

在這里,下載hadoop-0.20.2.tar.gz,然后解壓到/home/grid/下即可,

在hadoop文的件夾下需要建立幾個文件夾,如下:

(這里一開始沒有創建,結果查看運行信息的時候,雖然datanode節點都有進程在運行,但livenodes節點依然為0)

[html]?view plaincopy
  1. mkdir?tmp??
  2. mkdir?hdfs??
  3. mkdir?hdfs/name??
  4. mkdir?hdfs/data??
接下來需要修改hadoop的conf文件夾下的配置信息:

修改hadoop-env.sh,加入如下語句,使得hadoop能夠找到java的路徑。:

[java]?view plaincopy
  1. export?JAVA_HOME=/usr/java/jdk1.6.0_2??

修改core-site.xml,如下:

[java]?view plaincopy
  1. <configuration>??
  2. <property>??
  3. <name>fs.default.name</name>??
  4. <value>hdfs://kiddenzj:9000</value>??
  5. </property>??
  6. </configuration>??

修改hdfs-site.xml,如下

[cpp]?view plaincopy
  1. <configuration>??
  2. <property>??
  3. <name>dfs.replication</name>??
  4. <value>1</value>??
  5. </property>??
  6. </configuration>??

修改mapred-site.xml,如下:

[java]?view plaincopy
  1. <configuration>??
  2. <property>??
  3. <name>mapred.job.tracker</name>??
  4. <value>kiddenzj:9001</value>??
  5. </property>??
  6. </configuration>??
masters里寫入作為namenode節點機器的名稱,我們這里是:kiddenzj

slaves里寫入作為datanode節點的機器名,這里是:kiddenhw和kiddenxcc

到此,hadoop的有關配置已經完成,namenode端通過如下命令把配置好的hadoop發送到各個datanode處:

[html]?view plaincopy
  1. scp?-r?hadoop-0.20.2?kiddenhw:/home/grid??
  2. scp?-r?hadoop-0.20.2?kiddenxcc:/home/grid??

5)修改每臺機器上/etc下面的hosts文件,也就是寫入所有的機器名和對應IP地址(包括namenode和datanode節點),我們這里修改后如下:

[java]?view plaincopy
  1. 127.0.0.1???localhost??
  2. 192.168.0.8????kiddenxcc??
  3. 192.168.0.25???kiddenzj??
  4. 192.168.0.66???kiddenhw??
6)
到此基本配置已經完成,在namenode端cd到hadoop文件夾下,格式化分布式文件系統:

[html]?view plaincopy
  1. bin/hadoop?namenode?-format??

下面接著在namenode端啟動hadoop進程:

[html]?view plaincopy
  1. bin/start-all.sh??
如果沒有其它差錯的話,hadoop可以正常啟動,并能夠看到如下結果:

在namenode端用jps命令查看啟動情況,如下:

[html]?view plaincopy
  1. grid@kiddenzj:~/hadoop-0.20.2$?jps??
  2. xxxx?Jps??
  3. xxxx?Namenode??
  4. xxxx?Secondarynamenode??
  5. xxxx?JobTracker??

在datanode端用jps查看啟動情況,如下:

[html]?view plaincopy
  1. grid@kiddenhw:~/hadoop-0.20.2$?jps??
  2. xxxx?Jps??
  3. xxxx?DataNode??
  4. xxxx?TaskTracker??

然后可以通過如下地址來查看集群運行狀況:

[html]?view plaincopy
  1. ????http://kiddenzj:50030??
  2. ????http://kiddenzj:50070??
  3. <pre?name="code"?class="html">????http://kiddenhw:50060</pre>??
  4. <pre></pre>??
  5. <pre></pre>??
  6. <pre></pre>??
  7. <pre></pre>??
  8. <pre></pre>??
  9. <pre></pre>??
  10. ?????

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/387806.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/387806.shtml
英文地址,請注明出處:http://en.pswp.cn/news/387806.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

成佛、遠不止渡滄海

地之及東南&#xff0c;有一海&#xff0c;稱為“滄海”。滄海對面&#xff0c;就是仙家佛地。凡是能渡過滄海到達彼岸的人&#xff0c;就能立地成佛&#xff0c;修成正果。 于是&#xff0c;許許多多的人千里迢迢趕來&#xff0c;或乘帆船&#xff0c;或乘木筏&#xff0c;紛紛…

軟件架構演進

傳統架構到分布式架構詳解 軟件架構演進軟件架構的發展經歷了從單體架構、垂直架構、SOA架構到微服務架構的過程&#xff0c;博客里寫到了這四種架構的特點以及優缺點分析&#xff0c;個人學習之用&#xff0c;僅供參考&#xff01; 1.1.1 單體架構 特點&#xff1a;1、所有的…

hadoop0.20.0第一個例子

這是Hadoop學習全程記錄第2篇&#xff0c;在這篇里我將介紹一下如何在Eclipse下寫第一個MapReduce程序。 新說明一下我的開發環境&#xff1a; 操作系統&#xff1a;在windows下使用wubi安裝了ubuntu 10.10 hadoop版本&#xff1a;hadoop-0.20.2.tar.gz Eclipse版本&…

IDEA 修改JavaWeb的訪問路徑

問題描述 對于我這個剛剛使用IDEA不久的新手來說&#xff0c;能夠正常運行就不錯了,不過到了后面&#xff0c;可能會覺得IDEA給你分配的默認訪問路徑很不順手&#xff0c;比如訪問的時候需要通過: http://localhost:8080/web_war_exploded/ 來訪問&#xff0c;對于web_w…

防撞庫基本要求

專用安全要求 口令要求 設計要求說明 要求 是否滿足 密碼長度至少 8位字符&#xff0c;密碼復雜性要求至少包含以下4種類別中的2種&#xff1a;大寫字母、小寫字母、數字、特殊符號 必選 滿足 系統應具備對口令強度檢測的能力&#xff0c;并對用戶進行提示&#xff08;盡量不要…

odoo10 繼承(擴展)、模塊數據

一&#xff1a;繼承 在不改變底層對象的時候添加新的功能——這是通過繼承機制來實現的&#xff0c;作為在現有對象之上的修改層&#xff0c;這些修改可以發生在所有級別&#xff1a;模型&#xff0c;視圖和業務邏輯。不是直接修改現有模塊&#xff0c;而是創建一個新模塊以添加…

做一個vue的todolist列表

<template><div id"app"><input type"text" v-model"todo" ref"ip"/><button click"add()">新增</button><br/><br/><hr/><ul><li v-for"(item,key) in li…

hadoop+hive-0.10.0完全分布式安裝方法

hadoophive-0.10.0完全分布式安裝方法 1、jdk版本&#xff1a;jdk-7u60-linux-x64.tar.gz http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html 2、hive版本&#xff1a;hive-0.10.0.tar.gz https://archive.apache.org/dist/hive/hive-0…

關于gitgithub的操作

先馬克&#xff0c;回頭細看&#xff0c;然后整理一下 https://linux.cn/article-4292-1.html轉載于:https://www.cnblogs.com/mengjie1001/p/10076530.html

一種解決 MacBook 里的 App Store 無法登錄的問題

剛剛買回來的 2018 款帶有 touchbar 的 MacBook Pro 15 inc 在用 App Store 安裝 app 時一直無法登錄成功&#xff08;網絡鏈接都是好的&#xff09;&#xff0c;導致軟件都無法更新&#xff0c;折騰了挺一會的。 后來發現是要退出設置里的 iCloud 登錄&#xff0c;然后重新登錄…

第二次沖刺

1、今日各個成員的問題 組員問題張晉誌對mui的API看得不是很懂&#xff0c;無法順利的使用袁慶杰基礎不牢,編寫困難周建峰eclipse沒法創建web項目&#xff0c;按照網上的方法&#xff0c;check for updates 和 install new software 之后也沒用許家燁給單一功能知道如何實現但項…

牌類游戲使用微服務重構筆記(八): 游戲網關服務器

網關服務器 所謂網關&#xff0c;其實就是維持玩家客戶端的連接&#xff0c;將玩家發的游戲請求轉發到具體后端服務的服務器&#xff0c;具有以下幾個功能點&#xff1a; 長期運行&#xff0c;必須具有較高的穩定性和性能對外開放&#xff0c;即客戶端需要知道網關的IP和端口&a…

配置獨立于系統的PYTHON環境

配置獨立于系統的PYTHON環境 python 當前用戶包 一種解決方案是在利用本機的python環境的基礎上&#xff0c;將python的包安裝在當前user的.local文件夾下 一共有兩種方式來實現pip的時候安裝到當前user 設置pip配置文件 pip.conf 一種是在~/.pip文件夾下的pip配置文件pip.conf…

好程序員技術教程分享JavaScript運動框架

好程序員技術教程分享JavaScript運動框架&#xff0c;有需要的朋友可以參考下。 JavaScript的運動&#xff0c;即讓某元素的某些屬性由一個值變到另一個值的過程。如讓div的width屬性由200px變到400px&#xff0c;opacity屬性由0.3變到1.0&#xff0c;就是一個運動過程。 實現運…

linux 下mysql等php的安裝 lnmp

訪問https://lnmp.org/install.html按照步驟安裝 當下載執行完 wget -c http://soft.vpser.net/lnmp/lnmp1.3.tar.gz && tar zxf lnmp1.3.tar.gz && cd lnmp1.3 && ./install.shlnmp 要到.install.sh下改一下下載地址&#xff0c;把http直接更換成…

單純形法

單純形法 如果目標函數中所有系數都非正&#xff0c;那么顯然這些變量直接取0是最優的&#xff0c;所以此時答案為即為常數項。 我們要做的就是通過轉化把目標函數的系數全部搞成非負。 思路就是用非基變量替換基變量。 先找到一個目標函數中系數為正的變量&#xff0c;在所有限…

洛谷P1828 香甜的黃油 Sweet Butter

香甜的黃油 Sweet Butter 黃油真的是這么做的嗎&#xff1f;&#xff01;&#xff01;&#xff01;[惶恐] 這道題是Dijkstra算法的簡單變形 通過題意我們要找到一個點使奶牛所在點的路程和最短。通過Dijkstra的模板我們可以求的一點到其他任一點的最短路徑&#xff0c;那么我們…

JAVA List集合轉Page(分頁對象)

/*** version 1.0* author: fwjia*/ import java.util.List;public class PageModel<T> {/**** 當前頁*/private int page 1;/**** 總頁數*/public int totalPages 0;/**** 每頁數據條數*/private int pageRecorders;/**** 總頁數*/private int totalRows 0;/**** 每頁…

分區分表實驗用的語句

--查看索引 select * from DBA_IND_PARTITIONS &#xff54;; select status,t.* from dba_indexes t where t.OWNERGANSUSC; select count(*) from ACT_HI_VARINST SELECT ALTER INDEX || TABLE_OWNER || . || INDEX_NAME || UNUSABLE; UNUSABLE_INDEX FROM ALL_INDEX…

分布式數據庫數據一致性的原理、與技術實現方案

http://youzhixueyuan.com/the-principle-and-technology-realization-of-distributed-data-consistency.html 背景 可用性&#xff08;Availability&#xff09;和一致性&#xff08;Consistency&#xff09;是分布式系統的基本問題&#xff0c;先有著名的CAP理論定義過分布式…