目錄

Galera Cluster 概述

核心架構與組件

WSREP API

Group Communication System (GCP)

同步復制機制

復制流程詳解

沖突檢測算法

關鍵特性

多主架構實現

強一致性保障

自動成員管理

性能優化策略

并行復制實現

流控機制詳解

批處理與壓縮

部署與監控

詳細配置指南

監控指標體系

維護命令示例

常見問題與解決方案

腦裂處理方案

SST故障處理

性能調優建議

總結與建議

---

Galera Cluster 概述

Galera Cluster 是一個基于同步復制的多主數據庫集群解決方案，主要支持 MySQL/MariaDB。它采用先進的認證復制（Certification-Based Replication）機制，確保所有節點數據保持強一致性。其核心特點是：

• 真正的多主架構：所有節點均可讀寫，無需主從切換
• 同步復制：數據變更實時同步到所有節點
• 自動故障轉移：節點故障時自動處理，確保高可用性
• 透明集成：對應用表現為單一數據庫實例

典型應用場景包括：

• 金融交易系統：需要強一致性的關鍵業務
• 電商平臺：高并發讀寫需求
• 實時分析系統：需要最新數據的分析應用

核心架構與組件

WSREP API

WSREP（Write Set Replication）API 是 Galera 的核心接口層，提供以下功能：

1. 事務寫集管理：

   • 捕獲事務中的行變更（DML操作）
   • 生成包含主鍵信息的寫集（Write Set）
   • 示例：UPDATE customers SET balance=100 WHERE id=5 將生成包含id=5記錄的變更集

2. 沖突檢測機制：

   • 基于主鍵的認證測試（Certification Test）
   • 使用全局事務ID（GTID）進行版本控制
   • 沖突解決策略：先提交者獲勝（First-Commit-Wins）

3. 節點狀態管理：

   • 維護節點狀態機（Joining, Donor, Synced等）
   • 處理節點加入/離開事件
   • 協調數據同步過程

Group Communication System (GCP)

GCP 負責集群的底層通信，主要功能包括：

1. 成員管理：

   • 心跳檢測（默認每1秒）
   • 故障檢測（可配置超時時間）
   • 視圖變更通知

2. 消息傳遞：

   • 使用gcomm協議或外部工具（如Corosync）
   • 支持TCP/UDP多播
   • 消息排序保證（Total Order Broadcast）

3. 典型配置參數：

   wsrep_provider_options = "gmcast.listen_addr=tcp://0.0.0.0:4567;gmcast.peer_timeout=PT3S"
   

同步復制機制

復制流程詳解

1. 本地事務階段：

   • 事務在發起節點執行
   • 生成二進制日志（binlog）
   • 創建寫集（包含所有受影響的行數據）

2. 全局認證階段：

   • 寫集廣播到所有節點
   • 各節點并行執行認證測試：
     • 檢查主鍵沖突
     • 驗證事務依賴關系
   • 通過測試的事務獲得全局提交順序

3. 異步應用階段：

   • 寫集進入回放隊列
   • 回放線程（applier）按序應用變更
   • 應用完成后釋放客戶端連接

沖突檢測算法

認證測試的數學表示：

Certify(Tx) = ? T ∈ committed_transactions:if WS(Tx) ∩ WS(T) ≠ ? ∧ T.seqno < Tx.seqnothen ABORT(Tx)else COMMIT(Tx)

實際執行過程示例：

1. 節點A提交事務T1修改行R1
2. 節點B同時提交事務T2也修改行R1
3. 集群檢測到沖突，保留先到達認證階段的事務

關鍵特性

多主架構實現

1. 寫入流程：

   • 任何節點都能接受寫請求
   • 自動路由到最優節點（可配置負載均衡）
   • 典型配置：wsrep_slave_threads=16

2. 沖突處理：

   • 使用序列號（seqno）全局排序
   • 支持人工沖突解決（通過自定義沖突解決函數）

3. 優勢場景：

   • 地理分布式部署
   • 讀寫分離困難的應用
   • 需要快速故障恢復的系統

強一致性保障

1. 一致性級別：

   • 同步（SYNC）：等待所有節點確認
   • 異步（ASYNC）：本地提交即返回
   • 半同步（SEMI-SYNC）：多數節點確認

2. 配置示例：

   wsrep_sync_wait = 1  # 確保讀操作能看到最新寫入
   

3. 實現原理：

   • 使用全局事務ID（GTID）
   • 每個事務關聯唯一標識符
   • 讀操作等待相關GTID在所有節點應用

自動成員管理

1. 節點加入流程：

   • 新節點發起加入請求
   • 集群選擇Donor節點
   • 執行SST（State Snapshot Transfer）或IST（Incremental State Transfer）

2. 狀態轉移方法：

   方法	描述	適用場景
   rsync	文件級全量同步	新節點加入
   mariabackup	熱備份同步	生產環境首選
   xtrabackup	物理備份同步	MySQL環境

3. 故障檢測配置：

   wsrep_provider_options = "evs.keepalive_period=PT1S;evs.suspect_timeout=PT5S"
   

性能優化策略

并行復制實現

1. 線程模型：

   • 主線程：接收和排序寫集
   • 工作線程：并行應用寫集
   • 配置建議：wsrep_slave_threads = CPU核心數×2

2. 依賴處理：

   • 相同主鍵的寫集順序執行
   • 不同主鍵的寫集可以并行
   • 監控指標：wsrep_cert_deps_distance

3. 性能對比：

   單線程：1000 TPS
   8線程：6500 TPS
   16線程：12000 TPS
   

流控機制詳解

1. 觸發條件：

   • 接收隊列長度 > wsrep_flow_control_threshold
   • 應用延遲 > wsrep_flow_control_interval

2. 工作流程：

   • 落后節點發送PAUSE請求
   • 其他節點暫停發送新事務
   • 隊列降至閾值后恢復

3. 配置建議：

   wsrep_flow_control_threshold = 65536
   wsrep_flow_control_interval = 100
   

批處理與壓縮

1. 傳輸優化：

   • 寫集聚合：wsrep_trx_fragment_size=1MB
   • 壓縮算法：支持LZ4、Zstd等
   • 網絡節省：典型壓縮率30-70%

2. 配置示例：

   wsrep_trx_fragment_unit = 'bytes'
   wsrep_trx_fragment_size = 1024000
   wsrep_slave_threads = 16
   

3. 性能影響：

   • 增加少量CPU開銷
   • 顯著降低網絡延遲
   • 特別適合廣域網部署

部署與監控

詳細配置指南

1. 基本參數：

   [mysqld]
   binlog_format=ROW
   default_storage_engine=InnoDB
   innodb_autoinc_lock_mode=2
   

2. 集群配置：

   wsrep_provider=/usr/lib/galera/libgalera_smm.so
   wsrep_cluster_name="production_cluster"
   wsrep_cluster_address="gcomm://192.168.1.101,192.168.1.102,192.168.1.103"
   wsrep_node_name="node1"
   wsrep_node_address="192.168.1.101"
   

3. 同步方法選擇：

   wsrep_sst_method=mariabackup
   wsrep_sst_auth="sst_user:s3cret"
   

監控指標體系

1. 集群狀態：

   • wsrep_cluster_size：節點數量
   • wsrep_cluster_status：集群健康狀況
   • wsrep_ready：服務可用性

2. 性能指標：

   指標	健康值	說明
   wsrep_flow_control_paused	<0.1	流控時間占比
   wsrep_local_recv_queue	<100	接收隊列長度
   wsrep_local_send_queue	<10	發送隊列長度

3. 復制延遲：

   • wsrep_local_bf_aborts：沖突中止次數
   • wsrep_cert_deps_distance：事務依賴距離
   • wsrep_apply_oooe：無序應用比例

維護命令示例

1. 狀態檢查：

   SHOW STATUS LIKE 'wsrep%';
   

2. 安全重啟：

   systemctl stop mysql
   galera_recovery
   systemctl start mysql
   

3. 節點移除：

   SET GLOBAL wsrep_provider_options='pc.ignore_sb=true';
   

常見問題與解決方案

腦裂處理方案

1. 預防措施：

   • 使用奇數節點（3個或更多）
   • 配置網絡冗余
   • 設置合理超時：

     evs.inactive_timeout=PT15S
     evs.suspect_timeout=PT5S
     

2. 恢復步驟：

   • 識別存活分區
   • 手動選擇主分區
   • 重啟其他節點以加入：

     mysqld --wsrep_cluster_address=gcomm://primary_node
     

3. 仲裁方案：

   • 專用仲裁節點
   • 外部仲裁服務
   • 云提供商托管仲裁

SST故障處理

1. 常見錯誤：

   • 認證失敗
   • 磁盤空間不足
   • 網絡中斷

2. 解決步驟：

   # 檢查日志定位原因
   tail -f /var/log/mysql/error.log# 手動執行SST
   mysql -e "SET GLOBAL wsrep_sst_donor='node2'"
   

3. 最佳實踐：

   • 預先測試SST過程
   • 監控磁盤空間
   • 使用專用SST賬戶

性能調優建議

1. 參數優化：

   innodb_buffer_pool_size=12G
   innodb_log_file_size=4G
   wsrep_slave_threads=16
   

2. 架構優化：

   • 讀寫分離
   • 數據分片
   • 緩存層引入

3. 硬件建議：

   • 10Gbps網絡
   • SSD存儲
   • 充足內存（>64GB用于大型集群）

總結與建議

Galera Cluster 為MySQL/MariaDB提供了企業級的高可用解決方案，但在實際部署時需要注意：

1. 適用場景：

   • 需要強一致性的關鍵業務
   • 中等寫入負載（<5000 TPS）
   • 網絡延遲穩定的環境

2. 限制因素：

   • 所有節點必須具有相同數據
   • 網絡分區可能導致服務中斷
   • 跨數據中心部署需高帶寬

3. 運維建議：

   • 建立完善的監控系統
   • 定期進行故障演練
   • 保持軟件版本一致

通過合理配置和持續優化，Galera Cluster可以為企業提供穩定可靠的數據庫集群服務。