????????本篇帶領大家在uabntu20虛擬機上安裝hadoop,其中還包括jdk1.8、ssh、vim的安裝教程,(可能是)史上最全的安裝教程!!!若有疑問可以在評論區或者私信作者。建議在虛擬機上觀看此博客,便于復制粘貼。同時要注意自己設置的用戶名是否與本篇博客的用戶名相同,若不同的話請注意自己修改。
一、創建hadoop用戶并且提高權限
- sudo useradd -m hadoop -s /bin/bash
- sudo passwd hadoop
- sudo adduser hadoop sudo
二、更新apt
1.切換到hadoop用戶
先重啟虛擬機,在切換hadoop用戶,更新系統權限
2.更新apt
- sudo apt-get update?
3.下載vim用戶修改文件
- sudo apt-get install vim
- 繼續執行,輸入y?
三、下載ssh
1.下載ssh
- sudo apt-get install openssh-server
- 輸入y進行安裝
2.在本機登錄ssh
- ssh localhost?
(1)輸入yes并設置密碼
(2)推薦設置成無密碼,接著上一步繼續輸入即可
- exit ? ? ? ? ? ? ? ? ? ? ? ? ? # 退出剛才的 ssh localhost
- cd ~/.ssh/ ? ? ? ? ? ? ? ? ? ? # 若沒有該目錄,請先執行一次ssh localhost
- ssh-keygen -t rsa ? ? ? ? ? ? ?# 會有提示,都按回車就可以
- cat ./id_rsa.pub >> ./authorized_keys ?# 加入授權?
四、安裝jdk1.8
1.安裝
- sudo apt install openjdk-8-jdk -y
2.驗證
- java -version
- javac -version
五、安裝hadoop
1.安裝hadoop
- wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.4.1/hadoop-3.4.1.tar.gz -P ~/Downloads
也可以在鏡像網站選擇你想要的版本更換在路徑上
Index of /apache/hadoop/common
?2.解壓并移動到/usr/local
- cd ~/Downloads
- sudo tar -zxvf hadoop-3.4.1.tar.gz -C /usr/local
- cd /usr/local
- sudo mv hadoop-3.4.1 hadoop
- sudo chown -R hadoop?/usr/local/hadoop
?3.查看jdk安裝路徑
- readlink -f $(which java)
- nano ~/.bashrc
將下面的代碼寫入文件,ctrl+o保存-回車確認-ctrl+x退出
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64(你的java實際路徑)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop?
保存并執行
- source ~/.bashrc
六、配置 Hadoop 文件
1. hadoop-env.sh文件
nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh
找到這一行:
export JAVA_HOME=
/usr/lib/jvm/java-8-openjdk-amd64
填入你 Java 的安裝路徑,比如:
/usr/lib/jvm/java-8-openjdk-amd64
2. core-site.xml文件
nano $HADOOP_HOME/etc/hadoop/core-site.xml
添加內容如下:
<configuration>
? <property>
? ? <name>fs.defaultFS</name>
? ? <value>hdfs://localhost:9000</value>
? </property>
</configuration>
3. hdfs-site.xml文件
nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml
內容如下:
<configuration>
? <property>
? ? <name>dfs.replication</name>
? ? <value>1</value>
? </property>
? <property>
? ? <name>dfs.namenode.name.dir</name>
? ? <value>file:/home/hadoop/hadoopdata/hdfs/namenode</value>
? </property>
? <property>
? ? <name>dfs.datanode.data.dir</name>
? ? <value>file:/home/hadoop/hadoopdata/hdfs/datanode</value>
? </property>
</configuration>
創建對應目錄:
mkdir -p ~/hadoopdata/hdfs/namenode
mkdir -p ~/hadoopdata/hdfs/datanode
七、啟動 Hadoop
1. 格式化 HDFS
hdfs namenode -format
如果看到 Successfully formatted
,說明格式化成功。或者啟動一下試試
2. 啟動服務
start-dfs.sh start-yarn.sh
使用 jps
查看進程:
jps
你應該能看到:NameNode
、DataNode
、ResourceManager
、NodeManager
等進程。
?
- 輸入圖片中其他的命令,用于測試文件系統功能
八、訪問 Hadoop Web UI
-
HDFS 管理界面:http://localhost:9870
-
YARN 管理界面:http://localhost:8088
????????若安裝中出現了問題,可以在評論區討論或者私信作者。