目錄標題
- **什么是高可用?**
- **?搭建的步驟**
- 一.`jdk`**安裝配置**
- - **要點**:
- 二.`zookeeper`**集群配置**
- - **要點**
- 三.`Hadoop`高可用的搭建
- - **要點**
- ①環境變量的配置
- ②配置文件的修改
- ③內容分發
- ④集群任務的初次啟動
什么是高可用?
通過冗余設計 + 自動恢復機制,顯著降低因單點故障導致的服務中斷概率(如NameNode停機從小時級恢復縮短至分鐘級),使系統具備“高持續服務能力”
?搭建的步驟
①安裝好jdk
并配置好環境變量
②安裝好zookeeper
并完成zookeeper
的集群設置,且成功啟動
(成功啟動的意思為,可以顯示出哪臺機子為leader
,哪臺機子為follower
)
③安裝好Hadoop
,配置好環境變量,完成Hadoop
的高可用配置
一.jdk
安裝配置
- 要點:
解壓命令
tar -rf … …
配置環境變量并啟用
配置內容為
啟用為
source /etc/profile
二.zookeeper
集群配置
且看前文《zookeeper----初步了解與安裝》
- 要點
①關閉集群虛擬機的防火墻
②myid
的配置與zoo.cfg
內的編號要完全對應
③zoo.cfg
內的編號配置的符號
防火墻的關閉
三.Hadoop
高可用的搭建
- 要點
①環境變量的配置
(配置好后,記得source
)
②配置文件的修改
- 文件的位置
Hadoop中的etc/hadoop/
內
?四個文件+workers
+hadoop-env.sh
?workers為虛擬機名字根據自身名字加入
文件一
core-site.xml
文件二
hdfs-site.xml
文件三
mapred-site.xml
文件四
yarn-site.xml
③內容分發
將一臺機子配置好的hadoop
分發給集群其他虛擬機
scp -r 文件 虛擬機名:位置
以及環境變量分發
(先確保集群內每臺機子的jdk
都擁有,且設置好了環境變量)
④集群任務的初次啟動
?注:除了zookeeper
打開關閉命令,在zookeeper
中執行,其他都在hadoop
內執行
-
啟動初期,先將虛擬機的zookeeper集群打開
bin/zkServer.sh start
-
將集群每一臺的
journalnode
初始化開啟
bin/hdfs --daemon start journalnode
-
只在任意一臺機子進行
namenode
初始化且開啟(查看是否初始化正確)
初始化命令
bin/hdfs namenode - format
開啟命令
bin/hdfs --daemon start namenode
-
將
namenode
信息同步給另外兩臺機
命令如上圖(兩種方式) -
將所有啟動的進程關閉以及
zookeeper
集群 -
重啟
zookeeper
集群 -
在任意一臺虛擬機初始化
zkfc
bin/hdfs zkfc -formatZK
-
啟動
hdfs
以及yarn
進程
(最好在初始化namenode的虛擬機上執行)
命令如上圖
?注意
要想關閉某個進程或zookeeper集群
將start
換成stop
即可