mysql集群MHA方式部署

1. 基本信息

部署機器	角色	部署路徑
192.168.242.71	MySQL-Mater + MHA-Node	MySQL: /alidata1/mysql-5.7.43
192.168.242.72	MySQL-Slave + MHA-Node	MHA-Node: /alidata1/admin/tools/mha4mysql-node-0.58
192.168.242.73	MySQL-Slave + MHA-Node
192.168.242.74	MHA-Manager	MHA-Manager: /alidata1/admin/tools/mha4mysql-manager-0.58
192.168.242.100	VIP

2. 簡介

## 簡介
MHA(Master HA) 是一款開源的 MySQL 的高可用程序,它為 MySQL主從復制架構提供了自動化主故障轉移功能.
MHA 在監控到 master 節點故障時,會提升其中擁有最新數據的 slave 節點成為新的master節點, 在此期間,MHA 會通過于其它從節點獲取額外信息來避免一致性方面的問題.
MHA 還提供了 master 節點的在線切換功能,即按需切換 master/slave 節點.
MHA 能夠在30秒內實現故障切換,并能在故障切換中,最大可能的保證數據一致性.## 原理
(1) 獲取從宕機崩潰的 master 保存二進制日志事件(binlog events)
(2) 識別含有最新更新的 slave
(3) 將差異的中繼日志(relay log)應用到其他 slave
(4) 將 master 保存的二進制日志事件(binlog events)應用到要提升為master節點的slave
(5) 將這 slave 只讀模式解除并提升為新 master, 重新部署主從關系

3. 安裝MHA

3.1 提前操作

## 1.  安裝mysql主從 -- 略
## MHA-0.58 支持GTID ,只要保證MySQL主從關系正常即可## 2. 所有機器兩兩之間ssh免密
## (1) 在任意一臺機器使用root用戶執行命令ssh-keygen生成公秘鑰(如 192.168.242.71), 然后ssh-copy-id到所有機器(192.168.242.71/72/73/74)
## (2) 將此機器的公秘鑰scp到所有機器(192.168.242.71/72/73/74)## 2. MySQL-Master主機配置虛擬ip -- 192.168.242.71
# /sbin/ifconfig ens33:1 192.168.242.100/24

3.2 安裝MHA-Node

## 1.將安裝包上傳到所有機器, 包括MHA-Manager機器 (192.168.242.71/72/73/74)
# pwd
/alidata1/admin/tools/
# tar xf mha4mysql-node-0.58.tar.gz## 2.編譯
# cd mha4mysql-node-0.58
# yum install -y make gcc perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker perl-CPAN
# perl Makefile.PL
# make && make install

3.3 安裝MHA-Manager

## 1.將安裝包上傳MHA-Manager機器 (192.168.242.74)
# pwd
/alidata1/admin/tools/
# tar xf mha4mysql-manager-0.58.tar.gz## 2.編譯
# cd mha4mysql-manager-0.58
# yum install -y make gcc perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker perl-CPAN
# perl Makefile.PL
# make && make install## 3.拷貝可執行文件到/usr/local/bin
# chmod +x  samples/scripts/*
# cp samples/scripts/* /usr/local/bin/## 4. 修改可執行文件 /usr/local/bin/master_ip_failover, 內容如下
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';use Getopt::Long;my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加內容部分#########################################
my $vip = '192.168.242.100'; ## 指定vip的地址 192.168.242.100
my $brdc = '192.168.242.255';    ## 指定vip的廣播地址 192.168.242.255
my $ifdev = 'ens33';             ## 指定vip綁定的網卡 ens33
my $key = '1';                   ## 指定vip綁定的虛擬網卡序列號
my $ssh_start_vip = "sudo /sbin/ifconfig ens33:$key $vip"; ## 代表此變量值為ifconfig ens33:1 192.168.242.100
my $ssh_stop_vip = "sudo /sbin/ifconfig ens33:$key down";  ## 代表此變量值為ifconfig ens33:1 192.168.242.100 down
my $exit_code = 0;               ## 指定退出狀態碼為0#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);exit &main();sub main {print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";if ( $command eq "stop" || $command eq "stopssh" ) {my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh root\@$new_master_host \" $ssh_start_vip \"`;   ## 直接寫死root 否則主從切換時報錯 ssh_user 沒有初始化
}
## A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh root\@$orig_master_host \" $ssh_stop_vip \"`;   ## 直接寫死root 否則主從切換時報錯 ssh_user 沒有初始化
}sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}## 5.新建配置文件
# vim /alidata1/admin/tools/mysql_mha.conf
[server default]
## 指定manager日志路徑
manager_log=/alidata1/admin/logs/mha4mysql/manager.log
## 指定manager工作目錄
manager_workdir=/alidata1/admin/tools/mha4mysql-manager-0.58
## 指定mha在遠程節點上的工作目錄
remote_workdir=/alidata1/admin/tools/mha4mysql-manager-0.58
## 指定master保存binlog的位置，這里的路徑要與master里配置的binlog的路徑一致，以便MHA能找到
master_binlog_dir=/alidata1/mysql-5.7.43/binlog
## 設置監控主庫，發送ping包的時間間隔，默認是3秒，嘗試三次沒有回應的時候自動進行failover
ping_interval=1
## 設置自動failover時候的切換腳本
master_ip_failover_script=/usr/local/bin/master_ip_failover
user=admin
password=Mysql_Admin_wMMpb8ks9
repl_user=repl
repl_password=Mysql_Repl_oOev7cU4h
port=3306
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.242.72 -s 192.168.242.73
ssh_user=root[server1]
hostname=192.168.242.71
port=3306
ssh_user=root[server2]
hostname=192.168.242.72
port=3306
ssh_user=root
# candidate_master=1  ## 設置為候選master，設置該參數以后，發生主從切換以后將會將此從庫提升為主庫，即使這個從庫不是集群中最新的slave
# check_repl_delay=0  ## 默認情況下如果一個slave落后master 超過100M的relay logs的話 ## MHA將不會選擇該slave作為一個新的master, 因為對于這個slave的恢復需要花費很長時間## 通過設置check_repl_delay=0 MHA觸發切換在選擇一個新的master的時候將會忽略復制延時, ## 這個參數對于設置了candidate_master=1的主機非常有用，因為這個候選主在切換的過程中一定是新的master[server3]
hostname=192.168.242.73
port=3306
ssh_user=root## 5.啟動MHA-Manager
## --remove_dead_master_conf: 當成功failover后，MHA manager將會自動刪除配置文件中關于dead master的配置選項
## --ignore_last_failover: 如果最近failover 失敗，MHA 將不會再次開啟failover機制，因為這個問題可能再次發生。## 常規步驟:手動清理failover 錯誤文件，此文件一般在manager_workdir/app_name.failover.error文件，然后在啟動failover機制。## 如果設置此參數，MHA 將會繼續failover 不管上次的failover狀態。
# nohup masterha_manager --conf=/alidata1/admin/tools/mha4mysql-manager-0.58/mysql_mha.conf --remove_dead_master_conf --ignore_last_failover > /alidata1/admin/logs/mha4mysql/mha_manager.log < /dev/null 2>&1 &## 6. 常用命令 -- MHA-Manager機器執行
## (1) 測試 ssh 連通性
# masterha_check_ssh --conf=/alidata1/admin/tools/mha4mysql-manager-0.58/mysql_mha.conf 
## (2) 測試 mysql 主從連接情況
# masterha_check_repl -conf=/alidata1/admin/tools/mha4mysql-manager-0.58/mysql_mha.conf 
## (3) 查看狀態
# masterha_check_status --conf=/alidata1/admin/tools/mha4mysql-manager-0.58/mysql_mha.conf
## (4) 停止
## masterha_stop --conf=/alidata1/admin/tools/mha4mysql-manager-0.58/mysql_mha.conf

4. 模擬MySQL-Master 宕機

## 1. 使用命令行先初始化一些數據
# ./bin/mysql -h192.168.242.100 --port=3306 --user=admin -p'Mysql_Admin_wMMpb8ks9'
mysql> create database db_test;
mysql> create table db_test.t_test (   `id` int NOT NULL AUTO_INCREMENT,   `name` varchar(255) DEFAULT NULL,   PRIMARY KEY (`id`) );# for i in `seq 1 2500`; do ./bin/mysql -h192.168.242.100 -uadmin -p'Mysql_Admin_wMMpb8ks9' -e "insert into db_test.t_test(id, name) values($i,$i);"; done## 2. 停止MySQL-master
# systemctl stop mysqld    ## 192.168.242.71上操作##  大約15s后 虛擬ip 192.168.242.100會轉移到192.168.242.72上 
## 在192.168.242.73上執行 show slave status\G 會發現主節點已變成192.168.242.72
## 同時 MHA-Manager 進程會停止
## 從日志/alidata1/admin/logs/mha4mysql/mha_manager.log 可以看到  15:34:35發現主節點不可用  15:34:51遷移完成

5.原來主節點恢復到MHA集群中

## 1. 新的主節點上增加一些數據 -- 模擬驗證
# for i in `seq 2501 5000`; do ./bin/mysql -h192.168.242.100 -uadmin -p'Mysql_Admin_wMMpb8ks9' -e "insert into db_test.t_test(id, name) values($i,$i);"; done## 2.將舊主(192.168.242.71) 配置成新主(192.168.242.72)的從節點
## 2.1 修改新主(192.168.242.72)配置, 注釋掉 read_only = on## 2.2 修改配置 /etc/my.cnf   [mysqld] 下新增配置
log_slave_updates = 1   ## 從庫會將自己執行的事務寫入到從庫的二進制日志中   主主模式需要## 這樣做的目的是為了保證主從復制鏈路的完整性和一致性 以便其他從庫可以正確地復制從庫上執行的事務## A >> B >> C
read_only = on
relay_log = /alidata1/mysql-5.7.43/logs/relay.log
relay_log_purge = on
relay_log_recovery = on## 2.3 啟動舊主(192.168.242.71)上的musql
# systemctl restart mysqld ## 2.4 新主(192.168.242.72,)上備份數據 并恢復到舊主(192.168.242.71)
# mysqldump -uroot -p'Mysql_Root_lj11tLZgs' --single-transaction --set-gtid-purged=ON -A -B > all.sql  ## 備份 192.168.242.72執行
## 數據恢復到 192.168.242.71
# mysql -uroot -p'Mysql_Root_lj11tLZgs' -e 'reset master;'  
# mysql -uroot -p'Mysql_Root_lj11tLZgs' < all.sql## 2.5 配置主從 -- 192.168.242.71 操作
mysql > stop slave;
mysql > CHANGE MASTER TO MASTER_HOST='192.168.242.72',MASTER_USER='repl',MASTER_PASSWORD='Mysql_Repl_oOev7cU4h',MASTER_PORT=3306,MASTER_AUTO_POSITION=1;
mysql > start slave;
mysql > show slave status\G;## 3. 修改MHA-Manager配置并啟動  -- 192.168.242.74
# pwd
/alidata1/admin/tools/mha4mysql-manager-0.58
#  rm -rf mysql_mha.failover.complete
# vim mysql_mha.conf
...
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.242.71 -s 192.168.242.73
...[server1]
hostname=192.168.242.71
port=3306
ssh_user=root# nohup masterha_manager --conf=/alidata1/admin/tools/mha4mysql-manager-0.58/mysql_mha.conf --remove_dead_master_conf --ignore_last_failover > /alidata1/admin/logs/mha4mysql/mha_manager.log < /dev/null 2>&1 &## 至此MHA集群已經恢復, 此時將192.168.242.72上mysql關閉后,VIP會再次漂移,表示集群狀態正常