Hadoop集群搭建
?
1.修改/etc/hosts文件
在每臺linux機器上，sudo vim /etc/hosts 編寫hosts文件。將主機名和ip地址的映射填寫進去。編輯完后，結果如下：
?
?
2.配置ssh，實現無密碼登錄
? 四臺虛擬機上，使用：?ssh-keygen -t rsa? 一路回車就行了
? master上將公鑰放到authorized_keys里。命令：:
sudo cat id_rsa.pub >> authorized_keys
? 將master上的authorized_keys放到其他linux的~/.ssh目錄下。
sudo scp authorized_keys cjpt@132.228.28.183:~/.ssh
? 修改authorized_keys權限，命令：chmod 644 authorized_keys
? 測試是否成功
ssh cjpt@132.228.28.183
輸入用戶名密碼，然后退出，再次ssh hostbb不用密碼，直接進入系統。這就表示成功了
?
3.上傳jdk，并配置環境變量
? 下載java，解壓縮放到/usr/lib/jvm路徑下
? 在.bash_profile文件添加環境變量，vim ~/.bash_profile：
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_60 export JRE_HOME=/usr/lib/jvm/jdk1.7.0_60/jre
? source ~/.bash_profile，使配置生效
?
4.上傳hadoop，并配置hadoop
4.1. 下載hadoop包，解壓縮到本地路徑
4.2.??? 修改環境變量，將hadoop加進去
vim ~/.bashrc
export HADOOP_PREFIX=/home/cjpt/hadoop-2.2.0.2.0.6.0-76 export HADOOP_HOME=/home/cjpt/hadoop-2.2.0.2.0.6.0-76 export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
?4.3.??? 修改hadoop/etc/hadoop/下面的配置文件
- ? hadoop-env.sh
?
注意：JAVA_HOME必須是絕對路徑，不然會報錯
- ? core-site.xml
?
- ? hdfs-site.xml，
?
- ? mapred-site.xml，
?
- ? master，
?
- slave，
?
上面的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，master，slave幾個文件，在四臺linux中都是一樣的。
配置完一臺電腦后，可以將hadoop包，直接拷貝到其他電腦上。
?
4.4.??? 讓hadoop配置生效
source hadoop-env.sh
4.5.??? 格式化namenode，只格式一次
hadoop namenode –format
4.6.??? 啟動hadoop
切到hadoop/sbin目錄下，執行 start-all.sh啟動所有程序
./start-all.sh
4.7.??? 查看進程，是否啟動
jps
- ? master主機：
?
- ? slave機器：
?
?
)
