在 Apache Kafka 中，LEO（Log End Offset）、HW（High Watermark）、和 LW（Low Watermark） 是副本機制和日志管理中的核心概念，共同確保數據一致性、可見性和存儲效率。以下是它們的詳細解釋及關系：

1. LEO（Log End Offset，日志末端偏移量）

• 定義：
  表示當前日志文件中下一條待寫入消息的偏移量。每個副本（Leader 或 Follower）都有自己的 LEO，用于跟蹤自身的寫入進度。
• 特點：
  • 動態增長：新消息寫入時，LEO 會遞增。
  • 副本獨立：Leader 和 Follower 的 LEO 可能不同，Follower 的 LEO 表示已從 Leader 同步到的位置。
• 示例：
  若副本中最大消息的偏移量為 6，則 LEO 為 7（下一個寫入位置）。

2. HW（High Watermark，高水位）

• 定義：
  分區中已成功復制到所有 ISR（In-Sync Replicas）副本的最后一條消息的偏移量 +1。取 ISR 中所有副本 LEO 的最小值。
• 作用：
  • 消息可見性：消費者只能讀取 HW 之前的消息，HW 之后的消息對消費者不可見。
  • 數據一致性：確保消費者讀取的消息已持久化到所有 ISR 副本，避免數據丟失。
• 更新機制：
  • Leader 更新：Leader 根據所有 Follower 的 LEO 動態更新 HW，公式為 HW = min(Leader_LEO, Follower1_LEO, Follower2_LEO, ...)。
  • Follower 更新：Follower 從 Leader 獲取最新 HW，并取自身 LEO 與 Leader HW 的較小值作為自己的 HW。
• 示例：
  若 ISR 的 LEO 分別為 10、9、8，則 HW = 8。消費者只能讀取偏移量 0-7 的消息。

3. LW（Low Watermark，低水位）

• 定義：
  AR（Assigned Replicas）集合中最小的 logStartOffset 值。logStartOffset 是日志文件的起始偏移量，可通過日志清理策略調整。
• 作用：
  • 日志清理：標記最早還能被 Kafka 保留的偏移量，LW 以下的數據會被自動清理，防止日志無限增長。
  • 存儲優化：通過配置日志保留策略（如按時間或大小），Kafka 自動刪除 LW 之前的舊數據。
• 示例：
  若 LW = 1000，則偏移量小于 1000 的消息會被清理，消費者無法讀取。

4. 關系與對比

概念	層級	作用	更新頻率	與消費者關系
LEO	副本級	跟蹤副本寫入進度，決定新消息寫入位置	高	消費者不可見，僅用于內部同步
HW	分區級	定義消費者可見的消息范圍，確保數據一致性	中	消費者只能讀取 HW 之前的消息
LW	分區級	標記日志清理邊界，優化存儲空間	低	消費者無法讀取 LW 之前的數據

典型場景與配置

1. 消息寫入與同步：

   • 生產者發送消息到 Leader，Leader 更新 LEO。
   • Follower 同步消息后更新 LEO，并反饋給 Leader。
   • Leader 根據所有 Follower 的 LEO 更新 HW，確保消息對消費者可見。

2. Leader 故障切換：

   • 新 Leader 被選舉后，會截斷日志到 HW，確保不包含未提交的消息。
   • Follower 從新 Leader 的 HW 位置開始同步，恢復 ISR 狀態。

3. 日志清理與存儲：

   • 配置 log.retention.hours 或 log.retention.bytes 定義日志保留策略。
   • Kafka 自動清理 LW 之前的舊數據，釋放存儲空間。

參數調優建議

• 可靠性優先：
  • 設置 acks=all 和 min.insync.replicas=2，確保消息寫入所有 ISR 副本。
  • 縮短 replica.lag.time.max.ms（默認 30 秒），快速檢測落后副本。
• 性能優先：
  • 設置 acks=1，僅需 Leader 確認，提高吞吐量。
  • 增大 log.retention.bytes 或 log.retention.hours，減少日志清理頻率。