大數據學習（2-2）- 使用docker安裝配置Hadoop環境

我的思路是這樣：

安裝ubuntu系統---->下載docker---->在docker里拉取hadoop鏡像---->在此鏡像里創建三個容器(Master、Slave1、Slave2)---->完成完全分布式

1.?? 安裝ubuntu系統(無論你是安裝的單系統，還是用虛擬機安裝了ubuntu)

? ? ?? 如果想安裝單系統，步驟如下：

（1)? 把ubuntu鏡像下載到電腦桌面(版本自選)。

（2)? 再把ultraiso下載到U盤，然后解壓安裝在U盤

?? (3)? 制作U盤啟動工具，參考鏈接為：https://blog.csdn.net/yaoyut/article/details/78003061

????? 在“便捷啟動→寫入新的驅動器引導扇區“這個步驟中，如果出現設備正忙，寫入引導扇區失敗的錯誤，這時你把殺毒軟件還有其他軟件都關閉，然后把U盤拔下來，再插入，問題就解決了。

?? (4)? 重啟電腦，根據自己的電腦情況進入BOIS界面(相信小伙伴們都用u盤重裝過電腦，這里我就不再贅述)，

這時候參考：https://blog.csdn.net/ramse/article/details/52716937?

假如你進入BOIS界面時沒有跟鏈接中的界面一樣，那么可能是兩個問題? a、制作U盤啟動失敗，需重新制作。? b、重啟電腦時沒有把u盤作為首選啟動盤，這個問題百度可以搜到解決。

?? 2.? 安裝docker

參考鏈接為：https://blog.csdn.net/diligent_lee/article/details/79098302

?英語好的可以看這個：https://docs.docker.com/install/linux/docker-ce/ubuntu/#set-up-the-repository

安裝了ubuntu16.04 LTS后，并安裝了docker 18.06.1-ce，如下圖所示：


zhangqingfeng@zhangqingfeng:~$ docker version
Client:
Version:           18.06.1-ce
API version:       1.38
Go version:        go1.10.3
Git commit:        e68fc7a
Built:             Tue Aug 21 17:24:56 2018
OS/Arch:           linux/amd64
Experimental:      false
 
Server:
Engine:
Version:          18.06.1-ce
API version:      1.38 (minimum version 1.12)
Go version:       go1.10.3
Git commit:       e68fc7a
Built:            Tue Aug 21 17:23:21 2018
OS/Arch:          linux/amd64
Experimental:     false

這里你可能使用sudo docker version作為命令，如果想去掉sudo，可以參考鏈接：https://www.jianshu.com/p/95e397570896

3.? 拉取hadoop鏡像，你可以選擇Docker Hub庫或者阿里云庫，我選的是阿里云庫，它有加速器

首先應該注冊：? 阿里云庫：https://cr.console.aliyun.com

????????????????????????????? Docker Hub庫： https://hub.docker.com/

從阿里云庫拉取hadoop鏡像，當然里面不是所有鏡像都管用，可以選擇下載的區域，多試幾次吧

我拉取的鏡像是：registry.cn-beijing.aliyuncs.com/bitnp/docker-spark-hadoop

??????????????????????? 和? registry.cn-hangzhou.aliyuncs.com/aofch/hadoop????? 選擇其一即可，我接下來用的第一個鏡像，因為這個鏡像把我們需要的工具基本下好了，比如 jdk、hadoop、spark，省了不少事呢！

因為阿里云有加速器，你在找hadoop鏡像的時候，在網頁左邊會有”鏡像加速器“的條目，點進去會教你配置加速器。當然里面就是一段代碼，你退出docker，即按下Ctrl+D，然后輸入以下代碼：


sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://lqbkkmob.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

4.? 接下來就是創建容器了，并對容器進行配置及ssh的互聯

a. ? 敲上指令：docker pull registry.cn-beijing.aliyuncs.com/bitnp/docker-spark-hadoop

zhangqingfeng@zhangqingfeng:~$ docker pull registry.cn-beijing.aliyuncs.com/bitnp/docker-spark-hadoop

b.?? 經過一段時間后，鏡像已經下載到本地計算機，可使用指令docker images查看是否下載成功：


zhangqingfeng@zhangqingfeng:~$ docker images
REPOSITORY                                                   TAG                 IMAGE ID            CREATED             SIZE
registry.cn-beijing.aliyuncs.com/bitnp/docker-spark-hadoop   latest              8b768e1604ad        4 months ago        2.11GB

c.?? 這時，我們要在這個hadoop鏡像里創建三個容器(Master、Slave1、Slave2)，敲上如下指令：(我們先把三個容器創建出來，再慢慢里面添加配置)docker run -it --name Master -h Master registry.cn-beijing.aliyuncs.com/bitnp/docker-spark-hadoop /bin/bash


zhangqingfeng@zhangqingfeng:~$ docker run -it --name Master -h Master registry.cn-beijing.aliyuncs.com/bitnp/docker-spark-hadoop /bin/bash
[root@Master local]#

d. ? 此時把Master空的容器創建出來了，當然里面什么也沒配置，這時候敲上Ctrl+P+Q，會返回到初始目錄，并且不會退出Master容器，假如你按下Ctrl+C，也會退出到初始目錄，但是，這時候也把Master容器退出了，敲上Ctrl+P+Q后會出現下面情景，代碼如下：


[root@Master local]# zhangqingfeng@zhangqingfeng:~$ 
zhangqingfeng@zhangqingfeng:~$

e.?? 修改一下代碼的容器名，依次創建出容器Slave1和容器Slave2：


zhangqingfeng@zhangqingfeng:~$ docker run -it --name Slave1 -h Slave1 registry.cn-beijing.aliyuncs.com/bitnp/docker-spark-hadoop /bin/bash
[root@Slave1 local]# zhangqingfeng@zhangqingfeng:~$ 
zhangqingfeng@zhangqingfeng:~$ docker run -it --name Slave2 -h Slave2 registry.cn-beijing.aliyuncs.com/bitnp/docker-spark-hadoop /bin/bash 
[root@Slave2 local]# zhangqingfeng@zhangqingfeng:~$ 
zhangqingfeng@zhangqingfeng:~$

f.?? 至此，三個空容器已經創建完成，接下來我們要使用ssh把三個容器連接起來

我的docker里面空空如也，沒有指令apt-get，沒有指令gedit，但是里面有yum，可以用yum下載vim來編輯文件，還可以用yum下載openssh-clients，openssh-server，如果你在docker里面連yum都沒有，那么你先使用Ctrl+P+Q退出，在初始目錄用apt-get下載一個yum(指令是? sudo apt-get? install yum )，然后在docker里面就可以使用了。

先對Master容器進行配置，進入Master容器，敲上指令??? docker attach Master


zhangqingfeng@zhangqingfeng:~$ docker attach Master
[root@Master local]#

我們先下載vim，敲上指令? yum -y install vim


[root@Master local]# yum -y install vim
.......過程省略
Complete!
[root@Master local]#

再把openssh-clients和openssh-server下載下來，注意按我說的順序下載，先下openssh-clients


[root@Master local]# yum -y install openssh-clients
.......
Complete!
[root@Master local]# yum -y install openssh-server
.......
Complete!
[root@Master local]

g.? 這時我們配置Master容器的ssh密鑰

先執行指令? /usr/sbin/sshd，會出現下列情景


[root@Master local]# /usr/sbin/sshd
Could not load host key: /etc/ssh/ssh_host_rsa_key
Could not load host key: /etc/ssh/ssh_host_ecdsa_key
Could not load host key: /etc/ssh/ssh_host_ed25519_key
sshd: no hostkeys available -- exiting.

再執行指令??? /usr/sbin/sshd-keygen -A? ，出現下列情景


[root@Master local]# /usr/sbin/sshd-keygen -A
/usr/sbin/sshd-keygen: line 10: /etc/rc.d/init.d/functions: No such file or directory
Generating SSH2 RSA host key: /usr/sbin/sshd-keygen: line 63: success: command not found
 
Generating SSH2 ECDSA host key: /usr/sbin/sshd-keygen: line 105: success: command not found
 
Generating SSH2 ED25519 host key: /usr/sbin/sshd-keygen: line 126: success: command not found

再次輸入一遍?? /usr/sbin/sshd?? 即可


[root@Master local]# /usr/sbin/sshd
[root@Master local]#

上述三步必不可少，不然會出現?? ssh: connect to host localhost port 22: Cannot assign requested address?? 等錯誤

這時的錯誤參考鏈接為：https://blog.csdn.net/leon_wzm/article/details/78690439?utm_source=debugrun&utm_medium=referral

然后我們就開始制作密鑰了，輸入指令? ssh-keygen -t rsa?? ，然后都按? Enter? 鍵


[root@Master local]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:BPC1QSB9LcIro8HoVtPSFoHMvDjMqgmdkhCoi+M167c root@Master
The key's randomart image is:
+---[RSA 2048]----+
|. + +=+o+.       |
|o  = ++ooo.      |
|++. + o+o.       |
|+=o=o+..         |
|=+o++o  S        |
|Oo+o             |
|=+. o            |
|o. . .           |
|  ...E.          |
+----[SHA256]-----+
[root@Master local]#

生成的密鑰如圖所示存在? /root/.ssh/id_rsa.pub? 文件中了，我們需要把密鑰存儲在 /root/.ssh/authorized_keys? 文件中，指令是： cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys??


[root@Master local]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
[root@Master local]#

此時，你可以使用指令?? cat /root/.ssh/authorized_keys?? 查看authorized_keys 文件中是否有你剛才存入的密鑰


[root@Master local]# cat /root/.ssh/authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCnfGoobPBQlX38ePTP88oTWeYZvaR73ADrDPTyEEX6Fy4Og4IQcd6pq5g0vjUdVxCVnes7Us+CpKvPkrqjAqDPm/oY61jplDZCzxEG45kbHl06SY8X/+Km12PsKjOKWDJzCwTs1u0EnXL1UDmFePGhv/MJNPti+hM+itNM/QWfk6ObzFjDY6sGexe3zRqi9fdZLZVNFL3PPIfS0cHdA/Vw+8FXeEfFifTwRNwOVG9rKEsL2TyhCcynn4hRJ9AFwl18GvJn5eLxuPeVVuKn8yzGpDhVvuntdGVxCcGgaWiwyb/W8mtxozXP1C5fKkM6fghj46kK9MdtR14f49Tkc5JB root@Master
[root@Master local]#

到這里，你的Master容器的ssh已經配好了，可以使用指令? ssh localhost? 驗證一下? ，敲上之后，需要再輸入 yes，雖然有warning，但是不用管它，帶回配置了? /etc/ssh/sshd_config? 文件就什么警告也沒了，驗證完了敲上 Ctrl+D即可斷開與localhost的ssh連接


[root@Master local]# ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is SHA256:TrBwBsvNKUoilsNryQVTpHVmBgBHLnFUuBFcQdQafJs.
ECDSA key fingerprint is MD5:cb:69:58:d4:c0:f8:60:71:4d:5b:59:bf:07:d4:da:af.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
[root@Master ~]# logout
Connection to localhost closed.
[root@Master local]#

為了ssh鏈接時的美觀簡潔，我們配置其/etc/ssh/sshd_config? 文件，輸入指令?? vim? /etc/ssh/sshd_config? 進入編輯文件模式，

[root@Master local]# vim /etc/ssh/sshd_config

這里如果有同學不懂 vim 的使用，可以參考鏈接：https://blog.csdn.net/yu870646595/article/details/52045150

進去編輯文件之后，敲上 i ，此時進入編輯模式，按照我下面所列的代碼，找到它，并改成我這樣


Port 22
PermitRootLogin yes
PubkeyAuthentication yes
PasswordAuthentication yes
ChallengeResponseAuthentication no
UsePAM yes
PrintLastLog no

然后按下? Esc 鍵，進入命令模式，再敲上指令? :wq?? 退出這個編輯文件界面，回到Master容器界面

再敲上指令? vim? /etc/ssh/ssh_config ? ，找到 ?StrictHostKeyChecking no? (大約在第35行) ，將以前的? # 去掉，并把? ask? 改成? no

[root@Master local]# vim /etc/ssh/ssh_config

StrictHostKeyChecking no

改完之后同樣敲上 Esc 鍵，進入命令模式，再敲上指令? :wq?? 退出這個編輯文件界面，回到Master容器界面

這時候按下Ctrl+P+Q，返回到初始目錄，查看此時三個容器的ip地址，輸入命令： docker inspect -f '{{.Name}} - {{.NetworkSettings.IPAddress }}' $(docker ps -aq)?


[root@Master local]# read escape sequence    
zhangqingfeng@zhangqingfeng:~$ docker inspect -f '{{.Name}} - {{.NetworkSettings.IPAddress }}' $(docker ps -aq)
/Master - 172.17.0.2
/Slave1 - 172.17.0.3
/Slave2 - 172.17.0.4
zhangqingfeng@zhangqingfeng:~$

然后進入Master容器(指令是docker attach Master)，打開 /etc/hosts 文件，把上述內容填上，目的是給每個節點的 ip 附上名字，ssh連接的時候就可以直接? ssh Slave1，而不是 ssh 172.17.0.3 這么麻煩了，所以，我們再次敲上指令 docker attach Master? 進入Master 容器，編輯 /etc/hosts 文件，所以敲上指令 vim /etc/hosts ? ，進入編輯模式，將容器名及其對應的 ip 填入，修改完之后回到Master 容器，如果還有不會使用vim修改文件的小伙伴請看這個鏈接：https://blog.csdn.net/yu870646595/article/details/52045150


zhangqingfeng@zhangqingfeng:~$ docker attach Master
[root@Master local]# vim /etc/hosts


127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2      Master
172.17.0.3      Slave1
172.17.0.4      Slave2

至此，Master 容器已經配置完成，然后我們敲上 Ctrl+P+Q? 退出當前的Master容器，然后敲上 docker? attach Slave1 ，進入Slave1容器，用和Master容器相同的方法，把Slave1也配置一遍(就是從下載vim開始到配置/etc/hosts文件這幾個步驟)，再用相同的方式把 Slave2 也配置完。

h.?? 三個容器Master、Slave1、Slave2 的配置終于接近尾聲，僅差最后一步，我們需要把三個容器的每個密鑰都要放在自己容器的/root/.ssh/authorized_keys? 文件中，只有這樣才能把三個容器的互信建立起來，假如你不這樣做，你在Master容器中用ssh連接其他容器(比如連接Slave1)，那么它會提示你輸入Slave1的密碼，而這個密碼你輸入什么也不對。

這時的錯誤參考鏈接為：https://blog.csdn.net/kunlong0909/article/details/7284174

因為每個容器的? /root/.ssh/authorized_keys? 文件都需要填入所有容器的密鑰，而此時我們剛配置完Slave2容器，那么直接輸入 vim? /root/.ssh/authorized_keys? ，進去文件，然后按 i 進入編輯模式，把Slave2的密鑰拷貝到一個文件中(你在電腦桌面新建一個臨時文件即可)，保存結束，退出文件，然后Ctrl+P+Q退出Slave2容器，然后敲上 docker attach Slave1 ，進入Slave1 容器，相同的方式把Slave1的密鑰也拷貝出來，然后退出Slave1，進入Master容器，把剛才拷貝的兩個密鑰追加到/root/.ssh/authorized_keys 文件中(就是進入這個文件切換為編輯模式，把那兩個密鑰復制過來就行)，然后把這個三個密鑰拷貝出來，復制到Slave1的? /root/.ssh/authorized_keys? 文件中，也同樣復制到Slave1的? root/.ssh/authorized_keys? 文件中。用到的詳細指令如下：

(1)?? vim /root/.ssh/authorized_keys??? 進去之后? 按下 i ，復制密鑰到一個臨時新建的文件(你在桌面臨時建一個就行)

(2)?? 按下? Esc? ，敲上?? :wq??? 保存并退出文件，敲上? Ctrl+P+Q? 退回初始目錄，

(3)?? docker? attach? Slave1? 進入Slave1容器

(4)? 重復第(1)(2)步

(5)?? docker? attach? Master?? 進入Master容器

(6)?? vim /root/.ssh/authorized_keys??? 進去之后? 按下 i ，把剛才復制的兩個密鑰放到到這個文件中，并把這個三個密鑰臨時存到一? 個文件中

(7)?? 按下? Esc? ，敲上?? :wq??? 保存并退出文件，敲上? /usr/sbin/sshd?? 再敲上? Ctrl+P+Q? 退回初始目錄，

(8)?? docker? attach? Slave1? 進入Slave1容器

(9)? vim /root/.ssh/authorized_keys??? 進去之后? 按下 i ，刪除所有，把剛才復制的三個密鑰放到到這個文件中

(10)? 按下? Esc? ，敲上?? :wq??? 保存并退出文件，敲上? /usr/sbin/sshd?? 再敲上? Ctrl+P+Q? 退回初始目錄

(11）docker? attach? Slave2? 進入Slave2容器

(12)?? vim /root/.ssh/authorized_keys??? 進去之后? 按下 i ，刪除所有，把剛才復制的三個密鑰放到到這個文件中

(13)?? 按下? Esc? ，敲上?? :wq??? 保存并退出文件，敲上? Ctrl+P+Q? 退回初始目錄， docker? attach? Master 進入 Master容器

敲上? /usr/sbin/sshd

在所有密鑰都放入各個容器之后，我們進行驗證一下，在Master容器中，我們輸入指令 ssh Slave1 ，看到的情景有下面幾個情況：

①?? 如果你出現下面錯誤，那么你肯定沒在每個容器中的 /etc/hosts? 文件中輸入所有的容器的名字及其對應的 ip 地址


[root@Master local]# ssh Slave1
ssh: Could not resolve hostname slave1: Name or service not known
[root@Master local]# ssh Slave2
ssh: Could not resolve hostname slave2: Name or service not known

②?? 假如你出現下面錯誤，那么你肯定沒在退出每個容器前敲上指令 /usr/sbin/sshd? ，看上述13個步驟的紅字，很重要！


[root@Master local]# ssh Slave1
ssh: connect to host slave1 port 22: Connection refused
[root@Master local]#
[root@Master local]# ssh Slave2
ssh: connect to host slave1 port 22: Connection refused
[root@Master local]#

這時的錯誤參考鏈接為：https://blog.csdn.net/leon_wzm/article/details/78690439?utm_source=debugrun&utm_medium=referral

現在我們終于可以成功的驗證了，現在 Master 容器中連接? Slave1 ，指令是ssh Slave1????? 如下圖：


[root@Master local]# ssh Slave1
[root@Slave1 ~]#

由圖可知，成功了，敲上 Ctrl +D 斷開與 Slave1 的連接，再驗證與 Slave2? 的連接，指令是 ssh? Slave2? ，成功后，Ctrl+D斷開與 Slave2 的連接。


[root@Master local]# ssh Slave1
[root@Slave1 ~]# logout
Connection to slave1 closed.
[root@Master local]# ssh Slave2
[root@Slave2 ~]# 
[root@Slave2 ~]# logout
Connection to slave1 closed.
[root@Master local]#

③?? 假如你連接Slave1時，還提示了很多信息，不像我這樣簡潔，比如還有 LastLogin 之類的提示信息，那你肯定是每個容器的vim? /etc/ssh/sshd_config? 和? vim? /etc/ssh/ssh_config? 文件的配置沒有跟我的一樣，在上述步驟 g 中，會有這兩個文件的配置。

I.??? ssh互聯成功之后，我們便開始使用hadoop進行實戰，但在這之前還需配置每個容器的環境變量

①? 首先我們查看JAVA_HOME的地址，在 hadoop-env.sh 文件中，我們并不知道這個文件的具體路徑，沒關系，我們只需知道它的名字，使用指令? find / -name hadoop-env.sh?? 搜索它即可，(注意這時候我們目前是在Master容器界面里)


[root@Master local]# find / -name hadoop-env.sh
/usr/local/hadoop-2.7.5/etc/hadoop/hadoop-env.sh
[root@Master local]#

我們用指令 vim /usr/local/hadoop-2.7.5/etc/hadoop/hadoop-env.sh? 進入這個文件，看到JAVA_HOME這一行，記錄它的路徑然后退出這個文件即可：

[root@Master local]# vim /usr/local/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_162

在這個鏡像中，JAVA_HOME路徑給我們設置好了，我們需要記住這個地址，待會會在其他配置中用到。

接下來我們依次配置每個容器的 core-site.xml 和 yarn-site.xml 和 mapred-site.xml 及 hdfs-site.xml 文件

②?? 首先使用 find / -name core-site.xml 的具體路徑，然后用指令? vim + 文件路徑? 進入這個文件


[root@Master local]# find / -name core-site.xml
/usr/local/hadoop-2.7.5/etc/hadoop/core-site.xml
[root@Master local]# vim /usr/local/hadoop-2.7.5/etc/hadoop/core-site.xml

里面的配置改成如下圖所示：然后 :wq 保存退出


<!-- Put site-specific property overrides in this file. -->
<configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://Master:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop-2.7.5/tmp</value>
     </property>
</configuration>

③? 進入yarn-site.xml 進行配置，結束后保存退出。

[root@Master local]# vim /usr/local/hadoop-2.7.5/etc/hadoop/yarn-site.xml


limitations under the License. See accompanying LICENSE file.
-->
<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>Master:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>Master:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>Master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>Master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>Master:8088</value>
     </property>
     <property>
         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
     </property>
</configuration>

④?? 進入mapred-site.xml? 進行配置，結束后保存退出

[root@Master local]# vim /usr/local/hadoop-2.7.5/etc/hadoop/mapred-site.xml


<!-- Put site-specific property overrides in this file. -->
<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

⑤?? 進入hdfs-site.xml? 進行配置，結束后保存退出

[root@Master local]# vim /usr/local/hadoop-2.7.5/etc/hadoop/hdfs-site.xml


<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/usr/local/hadoop-2.7.5/hdfs/name</value>
    </property>
</configuration>

J.?? 在步驟I 中是配置 Master 容器的環境變量，我們還需要進入Slave1容器，相同的代碼把 Slave1的環境變量也配置完，當然容器slave2也是如此。唯一不同的是在步驟⑤ 的hdfs-site.xml中，Master容器設置的是namenode，而Slave1和Slave2設置的是datanode，如下圖：

[root@Slave1 local]# vim /usr/local/hadoop-2.7.5/etc/hadoop/hdfs-site.xml


<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/usr/local/hadoop-2.7.5/hdfs/data</value>
    </property>
</configuration>

K.?? ①現在我們在Master容器中通過ssh連接Slave1(或Slave2)，刪除其hdfs所有目錄 (這個目錄就在剛才的hdfs-site.xml文件中，忘了的話你再vim打開它，把datanode保存的路徑記下來，我的是 /usr/local/hadoop-2.7.5/hdfs/data) ，并重新創建，代碼如下。因為下一步的格式化只能用一次，用兩次的話就需要用到這一步，為了保險，我們在第一次就直接用這一步，以免不必要的麻煩。


[root@Master local]# ssh Slave1
[root@Slave1 ~]# rm -rf /usr/local/hadoop-2.7.5/hdfs
[root@Slave1 ~]# mkdir -p /usr/local/hadoop-2.7.5/hdfs/data

② 在Slave1刪除并創建之后，我們 Ctrl+D 斷開與Slave1的ssh連接，然后使用指令 ssh Slave2 與Slave2容器進行連接，與Slave1相同，我們需要把hdfs目錄刪除，并重新創建，結束之后我們 Ctrl+D 斷開與Slave2的連接，回到Master容器界面，代碼如下：


[root@Slave1 ~]# logout                                          
Connection to slave1 closed.
[root@Master local]# ssh Slave2
[root@Slave2 ~]# 
[root@Slave2 ~]# rm -rf /usr/local/hadoop-2.7.5/hdfs
[root@Slave2 ~]# mkdir -p /usr/local/hadoop-2.7.5/hdfs/data
[root@Slave2 ~]# logout                                          
Connection to slave1 closed.
[root@Master local]#

③ Slave1和Slave2都已經刪除并重建 hdfs 目錄了，現在我們把Master容器也這么做，注意Master容器創建的是 name子文件，不再是 data 子文件里


[root@Master local]# rm -rf /usr/local/hadoop-2.7.5/hdfs
[root@Master local]# mkdir -p /usr/local/hadoop-2.7.5/hdfs/name
[root@Master local]#

L.?? 現在我們格式化 NameNode HDFS 目錄，在Master容器中，使用指令 hdfs namenode -format


[root@Master local]# hdfs namenode -format
..........一堆代碼，此處省略
[root@Master local]#

M.?? ①我們需要進入sbin 文件，來啟動hadoop 集群，我們不清楚 sbin 文件的具體路徑，所以我們可以使用指令 find / -name sbin? 找到路徑，然后 cd +路徑?? 進入這個路徑。


[root@Master local]# find / -name sbin
/usr/local/sbin
/usr/local/hadoop-2.7.5/sbin
/usr/local/spark-2.3.0-bin-hadoop2.7/sbin
/usr/lib/debug/usr/sbin
/usr/lib/debug/sbin
/usr/sbin
/sbin
[root@Master local]# cd /usr/local/hadoop-2.7.5/sbin
[root@Master sbin]#

②? 然后我們使用指令 ./start-all.sh? 來啟動集群


[root@Master sbin]# ./start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [Master]
Master: starting namenode, logging to /usr/local/hadoop-2.7.5/logs/hadoop-root-namenode-Master.out
Slave1: starting datanode, logging to /usr/local/hadoop-2.7.5/logs/hadoop-root-datanode-Slave1.out
Slave2: starting datanode, logging to /usr/local/hadoop-2.7.5/logs/hadoop-root-datanode-Slave2.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop-2.7.5/logs/hadoop-root-secondarynamenode-Master.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop-2.7.5/logs/yarn--resourcemanager-Master.out
Slave1: starting nodemanager, logging to /usr/local/hadoop-2.7.5/logs/yarn-root-nodemanager-Slave1.out
Slave2: starting nodemanager, logging to /usr/local/hadoop-2.7.5/logs/yarn-root-nodemanager-Slave2.out
[root@Master sbin]#

③? 使用 jps 查看 namenode 是否啟動，此時看的是Master容器的namenode是否啟動。


[root@Master sbin]# jps
192 NameNode
562 ResourceManager
824 Jps
392 SecondaryNameNode
[root@Master sbin]#

④? 這里我們可以使用? ssh Slave1? (或ssh Slave2)進入Slave1容器，然后使用指令? jps? 查看datanode是否啟動，此時會出現

-bash: jps: command not found 錯誤，如圖：


[root@Master sbin]# ssh Slave1
[root@Slave1 ～]# jps
-bash: jps: command not found

這時我們需要配置 /etc/profile文件，每個容器(包括Master、Slave1、Slave2)都需要配置這個文件，使用指令? vim /etc/profile，末尾添加代碼：

export JAVA_HOME=/usr/local/jdk1.8.0_162
export HADOOP_HOME=/usr/local/hadoop-2.7.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出后，執行生效剛才的 /etc/profile 文件，即使用指令 source /etc/profile ?? ，如圖所示：


[root@Master local]# vim /etc/profile
....進入之后末尾添加下列代碼(根據自己的實際配置填寫，比如java版本可能每個人都不一樣)
export JAVA_HOME=/usr/local/jdk1.8.0_162
export HADOOP_HOME=/usr/local/hadoop-2.7.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
.....保存退出后
 
[root@Master local]# source /etc/profile

每個容器都配置結束后，我們再通過ssh進入其他容器，便可以使用? jps 或 hadoop fs xx 指令了。

⑤ 我們可以使用指令 hadoop dfsadmin -report?? 查看其他容器有沒有啟動


[root@Master sbin]# hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
 
Configured Capacity: 982232104960 (914.77 GB)
Present Capacity: 901762801664 (839.83 GB)
DFS Remaining: 901762752512 (839.83 GB)
DFS Used: 49152 (48 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
-------------------------------------------------
Live datanodes (2):
Name: 172.17.0.3:50010 (Slave1)
Hostname: Slave1
Decommission Status : Normal
Configured Capacity: 491116052480 (457.39 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 15263760384 (14.22 GB)
DFS Remaining: 450881376256 (419.92 GB)
DFS Used%: 0.00%
DFS Remaining%: 91.81%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Sep 18 03:58:01 UTC 2018
Name: 172.17.0.4:50010 (Slave2)
Hostname: Slave2
Decommission Status : Normal
Configured Capacity: 491116052480 (457.39 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 15263760384 (14.22 GB)
DFS Remaining: 450881376256 (419.92 GB)
DFS Used%: 0.00%
DFS Remaining%: 91.81%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Sep 18 03:58:01 UTC 2018
[root@Master sbin]#

到此，我們的docker環境下的hadoop集群已經搭建成功！

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------

最后，我想奉上在搭建過程中用到的命令


0. 重啟docker服務
sudo service docker restart
1.查看所有容器的ip
docker inspect -f '{{.Name}} - {{.NetworkSettings.IPAddress }}' $(docker ps -aq
2. 拉取一個鏡像
docker pull <鏡像名稱>
3. 查看所有鏡像
docker images
5. 查看正在運行的容器
docker ps
6. 查看所有容器(包括正在運行和不在運行的容器)
docker ps -a
7. 在鏡像里創建一個容器并以前臺交互模式啟動它
docker run -it --name <容器名> -h <容器名> <鏡像名字> /bin/bash
8. 退出容器，但不關閉它(關閉之后還得啟動，并且設置的/etc/hosts內容都沒有了)
Ctrl+P+Q
9. 再次進入容器 
docker attach <容器名>
10. 在容器內下載插件(使用yum)
yum -y install <插件名>
11. 在容器內刪除插件(使用yum)
yum remove <插件名>
12. 查找文件的路徑
find / -name <文件名>
13. 進入文件
cd <文件路徑>
14. 容器內編輯文件(使用vim)
vim <文件路徑>    -----打開文件
i                 -----切換到編輯模式
Esc               -----切換到命令模式
$                 -----移到本行的最后
/關鍵字           -----查找字符
dd                -----刪除光標所在行
:q                -----不保存退出
:wq               -----保存退出