使用云虛擬機搭建hadoop集群環境

安裝jdk17

配置docker網絡

docker network create --subnet=172.18.0.0/16 hadoop  

• 172.18.0.0：這是子網的網絡地址，也就是這個網絡的起始地址。
• /16：這是子網掩碼（Network Mask），表示前 16 位是網絡部分，后 16 位是主機部分。

結合起來，172.18.0.0/16 表示：

• 網絡范圍從 172.18.0.0 到 172.18.255.255
• 可以在這個范圍內為容器分配 IP 地址

查看

 docker network ls

網橋bridge的作用

• 隔離與連接： 一個 bridge 網絡可以讓容器在其內部相互通信，同時與宿主機分隔。
• bridge 是一種虛擬的網絡驅動，允許多個容器共享同一個虛擬網絡，就像連接到一個虛擬的交換機（交換機常用的網絡橋）一樣。

拉取hadoop鏡像

sudo docker pull kiwenlau/hadoop:1.0

拉取hadoop-cluster-docker

git clone https://github.com/kiwenlau/hadoop-cluster-docker

之后：cd hadoop-cluster-docker

啟動三節點容器：

./start-container.sh  # 默認啟動1個master + 2個slave

docker start hadoop-master hadoop-slave1 hadoop-slave2  # 同時啟動三個容器

然后進入到hadoop-master節點里

docker exec -it hadoop-master /bin/bash

之后執行

./start-hadoop.sh  # 初始化并啟動HDFS/YARN服務

然后執行

./run-wordcount.sh  # 運行WordCount測試任務

最后運行成功顯示：

驗證：進入Web管理界面

• HDFS（NameNode）：http://<云服務器公網IP>:50070
• YARN（ResourceManager）：http://<云服務器公網IP>:8088479