一、在Ubuntu下創建hadoop組和hadoop用戶
????增加hadoop用戶組,同時在該組里增加hadoop用戶,后續在涉及到hadoop操作時,我們使用該用戶。
?
1、創建hadoop用戶組
?
????????
?
?
?
????2、創建hadoop用戶
????
????sudo adduser -ingroup hadoop hadoop
????回車后會提示輸入新的UNIX密碼,這是新建用戶hadoop的密碼,輸入回車即可。
????如果不輸入密碼,回車后會重新提示輸入密碼,即密碼不能為空。
????最后確認信息是否正確,如果沒問題,輸入 Y,回車即可。
????
?
?
?
?
?
?
?
?
?
?
?
?
????3、為hadoop用戶添加權限
?
???? 輸入:sudo gedit /etc/sudoers
???? 回車,打開sudoers文件
???? 給hadoop用戶賦予和root用戶同樣的權限
?
?
????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
二、用新增加的hadoop用戶登錄Ubuntu系統
?
三、安裝ssh
sudo apt-get install openssh-server
?
?
?
?
?
?
?
?
?
?
?
?
安裝完成后,啟動服務
sudo /etc/init.d/ssh start
?
查看服務是否正確啟動:ps -e | grep ssh
?
?
?
?
?
?
設置免密碼登錄,生成私鑰和公鑰
ssh-keygen -t rsa -P ""
?
?
?
?
?
?
?
?
?
?
?
?
?
此時會在/home/hadoop/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者為私鑰,后者為公鑰。
下面我們將公鑰追加到authorized_keys中,它用戶保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
?
?
?
登錄ssh
ssh localhost
?
?
?
?
?
?
?
?
?
?
???? ?
退出
exit
?
四、安裝Java環境
sudo apt-get install openjdk-7-jdk
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
查看安裝結果,輸入命令:java -version,結果如下表示安裝成功。
?
?
?
?
五、安裝hadoop2.4.0
????1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/
?
????2、安裝
?
????????解壓
????????sudo tar xzf hadoop-2.4.0.tar.gz????????
????????假如我們要把hadoop安裝到/usr/local下
????????拷貝到/usr/local/下,文件夾為hadoop
????????sudo mv hadoop-2.4.0 /usr/local/hadoop????????
????????
?
賦予用戶對該文件夾的讀寫權限
????????sudo chmod 774 /usr/local/hadoop
????
?
3、配置
???? ?
????????1)配置~/.bashrc
????????
配置該文件前需要知道Java的安裝路徑,用來設置JAVA_HOME環境變量,可以使用下面命令行查看安裝路徑
????????update-alternatives - -config java
????????執行結果如下:
????????
????
?
?
?
完整的路徑為
????/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java
????我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64
????配置.bashrc文件
????sudo gedit ~/.bashrc
????
????該命令會打開該文件的編輯窗口,在文件末尾追加下面內容,然后保存,關閉編輯窗口。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
?
?
最終結果如下圖:
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
執行下面命,使添加的環境變量生效:
????????source ~/.bashrc
2)編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh
?
????????執行下面命令,打開該文件的編輯窗口
????????sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME變量,修改此變量如下
????????export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64????
????????修改后的hadoop-env.sh文件如下所示:
????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
六、WordCount測試
?
單機模式安裝完成,下面通過執行hadoop自帶實例WordCount驗證是否安裝成功
????/usr/local/hadoop路徑下創建input文件夾????
mkdir input
?
????拷貝README.txt到input????
cp README.txt input
????執行WordCount
????bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
????
?
?
執行結果:
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
執行 cat output/*,查看字符統計結果
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?常見問題:
問題:?50070 hadoop 打不開 50075可以打開
解決:?hadoop namenode -format