需求

實現一個HA mysql，包括1個master，2個slave。在K8S上已statefulset部署。

mysql HA原理

略

K8S環境需要解決的問題

1、由于使用同一個statefulset配置，因此需要考慮master和slave使用不同的cnf文件。

2、不同pod之間文件的傳輸

3、容器重啟之后，有些狀態不能改變。

K8S部署

configmap

apiVersion: v1
kind: ConfigMap
metadata:name: mysqllabels:app: mysql
data:master.cnf: |# Apply this config only on the master.[mysqld]log-binslave.cnf: |# Apply this config only on slaves.[mysqld]super-read-only

master.cnf用于master節點，slave.cnf用于slave節點。

service

#寫要通過mysql-0來寫
apiVersion: v1
kind: Service
metadata:name: mysqllabels:app: mysql
spec:ports:- name: mysqlport: 3306clusterIP: None  #與service不同selector:app: mysql
---
#用于讀
apiVersion: v1
kind: Service
metadata:name: mysql-readlabels:app: mysql
spec:ports:- name: mysqlport: 3306selector:app: mysql

statefulset

apiVersion: apps/v1
kind: StatefulSet
metadata:name: mysql
spec:selector:matchLabels:app: mysqlserviceName: mysqlreplicas: 3template:metadata:labels:app: mysqlspec:
#----------------初始化容器部分-----------------  initContainers:             //pod初始化階段，第一個初始化容器#=============== 初始化mysql- name: init-mysqlimage: reg.westos.org/k8s/mysql:5.7command:- bash- "-c"- |set -ex# 通過hostname創建 mysql server-id 。[[ `hostname` =~ -([0-9]+)$ ]] || exit 1ordinal=${BASH_REMATCH[1]}echo [mysqld] > /mnt/conf.d/server-id.cnf# Add an offset to avoid reserved server-id=0 value.echo server-id=$((100 + $ordinal)) >> /mnt/conf.d/server-id.cnf# 根據pod序號從configmap拷貝不同cnfif [[ $ordinal -eq 0 ]]; thencp /mnt/config-map/master.cnf /mnt/conf.d/elsecp /mnt/config-map/slave.cnf /mnt/conf.d/fivolumeMounts:- name: conf   #emptyDir保證每次啟動pod都會重新生成，這樣每次configmap都會生效。mountPath: /mnt/conf.d- name: config-mapmountPath: /mnt/config-map#==========拷貝數據文件    - name: clone-mysql            //第二個初始化容器，主從復制image: reg.westos.org/k8s/xtrabackup:1.0command:- bash- "-c"- |set -ex# 數據已存在則退出.[[ -d /var/lib/mysql/mysql ]] && exit 0# master節點 直接退出 (ordinal index 0).[[ `hostname` =~ -([0-9]+)$ ]] || exit 1ordinal=${BASH_REMATCH[1]}[[ $ordinal -eq 0 ]] && exit 0# 從其他節點（前一個節點）拷貝數據文件. 僅接收數據，接收完數據就退出。ncat --recv-only mysql-$(($ordinal-1)).mysql 3307 | xbstream -x -C /var/lib/mysql# 準備備份為后面的節點服務.xtrabackup --prepare --target-dir=/var/lib/mysqlvolumeMounts:- name: datamountPath: /var/lib/mysqlsubPath: mysql- name: confmountPath: /etc/mysql/conf.d
#--------------容器定義部分--------------------           containers:#===========mysql容器- name: mysql                   image: reg.westos.org/k8s/mysql:5.7env:- name: MYSQL_ALLOW_EMPTY_PASSWORDvalue: "1"ports:- name: mysqlcontainerPort: 3306volumeMounts:- name: datamountPath: /var/lib/mysqlsubPath: mysql- name: confmountPath: /etc/mysql/conf.dresources:requests:cpu: 500mmemory: 1GilivenessProbe:exec:command: ["mysqladmin", "ping"]initialDelaySeconds: 30periodSeconds: 10timeoutSeconds: 5readinessProbe:exec:# Check we can execute queries over TCP (skip-networking is off).command: ["mysql", "-h", "127.0.0.1", "-e", "SELECT 1"]initialDelaySeconds: 5periodSeconds: 2timeoutSeconds: 1#=========  備份容器    - name: xtrabackup          image: reg.westos.org/k8s/xtrabackup:1.0ports:- name: xtrabackupcontainerPort: 3307command:- bash- "-c"- |set -excd /var/lib/mysql#  從備份信息文件里讀取MASTER_LOG_FILEM和MASTER_LOG_POS這兩個字段的值，用來拼裝集群初始化SQLif [[ -f xtrabackup_slave_info && "x$(<xtrabackup_slave_info)" != "x" ]]; then# 如果xtrabackup_slave_info文件存在，說明這個備份數據來自于另一個Slave節點。#這種情況下，XtraBackup工具在備份的時候，就已經在這個文件里自動生成了"CHANGE MASTER TO" SQL語句。#所以，我們只需要把這個文件重命名為change_master_to.sql.in，后面直接使用即可# 由于從slave節點拷貝，因此把最后一個分號去掉。cat xtrabackup_slave_info | sed -E 's/;$//g' > change_master_to.sql.in# 就用不著xtrabackup_binlog_info了，刪除rm -f xtrabackup_slave_info xtrabackup_binlog_infoelif [[ -f xtrabackup_binlog_info ]]; then#如果只存在xtrabackup_binlog_inf文件，那說明備份來自于Master節點，#我們就需要解析這個備份信息文件，讀取MASTER_LOG_FILEM和MASTER_LOG_POS這兩個字段的值[[ `cat xtrabackup_binlog_info` =~ ^(.*?)[[:space:]]+(.*?)$ ]] || exit 1#刪除不用了rm -f xtrabackup_binlog_info xtrabackup_slave_infoecho "CHANGE MASTER TO MASTER_LOG_FILE='${BASH_REMATCH[1]}',\MASTER_LOG_POS=${BASH_REMATCH[2]}" > change_master_to.sql.infi# 如果change_master_to.sql.in存在，就意味著需要做集群初始化工作if [[ -f change_master_to.sql.in ]]; then#一定要先等MySQL容器啟動之后才能進行下一步連接MySQL的操作echo "Waiting for mysqld to be ready (accepting connections)"until mysql -h 127.0.0.1 -e "SELECT 1"; do sleep 1; doneecho "Initializing replication from clone position"# 使用change_master_to.sql.in的內容，拼裝SQL，組成一個完整的初始化和啟動Slave的SQL語句mysql -h 127.0.0.1 \-e "$(<change_master_to.sql.in), \MASTER_HOST='mysql-0.mysql', \MASTER_USER='root', \MASTER_PASSWORD='', \MASTER_CONNECT_RETRY=10; \START SLAVE;" || exit 1#  將文件change_master_to.sql.in改個名字，防止這個Container重啟的時候，因為又找到了change_master_to.sql.in，從而重復執行一遍這個初始化流程mv change_master_to.sql.in change_master_to.sql.origfi#使用ncat監聽3307端口。它的作用是，在收到傳輸請求的時候，直接執行"xtrabackup --backup"命令，備份MySQL的數據并發送給請求者exec ncat --listen --keep-open --send-only --max-conns=1 3307 -c \"xtrabackup --backup --slave-info --stream=xbstream --host=127.0.0.1 --user=root"volumeMounts:- name: datamountPath: /var/lib/mysqlsubPath: mysql- name: confmountPath: /etc/mysql/conf.dresources:requests:cpu: 100mmemory: 100Mivolumes:- name: confemptyDir: {}- name: config-mapconfigMap:name: mysql
#---------------數據持久化部分-----------------        volumeClaimTemplates:- metadata:name: dataspec:accessModes: ["ReadWriteOnce"]resources:requests:storage: 10Gi

原理

部署結構

使用statefulset部署pod，headless service 訪問服務。service 訪問read節點。

init-mysql容器

init-mysql容器主要用于根據節點的類型不同生成server-id和拷貝cnf文件。

容器使用的目錄是容器內部的目錄，因此每次啟動pod，容器都會重新創建。server-id不會變。

clone-mysql容器

容器主要用于從其他節點拷貝數據文件到 slave節點。

mysql容器

mysql運行容器。

xtrabackup容器

備份還原工具

共享目錄

conf 目錄 掛載在init-mysql容器的/mnt/conf.d目錄，clone-mysql容器的/etc/mysql/conf.d目錄，，mysql容器的/etc/mysql/conf.d目錄。通過此方式實現數據文件共用。

ncat

說起ncat我們不得不說一下Netcat。Netcat用于從TCP/UDP連接中讀取或發送網絡數據。cat是Linux中查看或連接文件的命令，所以netcat本意為從網絡上查看文件內容。

鏡像說明

• reg.westos.org/k8s/mysql:5.7

• reg.westos.org/k8s/xtrabackup:1.0
  備份還原鏡像

探針

mysql容器探針

livenessProbe：mysqladmin ping
readinessProbe：mysql -h 127.0.0.1 -e "SELECT 1 "

附錄

參考

mysql主從搭建：https://blog.csdn.net/demon7552003/article/details/124728616

xtrabackup原理：https://blog.csdn.net/ChenVast/article/details/72594055，https://blog.csdn.net/yu891203/article/details/106758822

ncat詳細介紹：https://blog.csdn.net/demon7552003/article/details/117162103

解決K8S/openshift等限制以root賬戶運行問題

Dockerfile