在 Kafka 中，如果一個 Topic 有多個 Partition，但這些 Partition 中的消息數量或流量分布不均衡，就會出現 數據傾斜（Data Skew） 的問題。

? 什么是數據傾斜？

數據傾斜指的是：

• 某些 Partition 接收到大量消息，而其他 Partition 接收很少甚至沒有；
• 導致部分 Kafka Broker 壓力過大；
• 消費端負載不均，有的 Consumer 處理不過來，有的卻很空閑；
• 嚴重時會造成消費延遲、系統資源浪費甚至服務不穩定。

? 為什么會出現數據傾斜？

1. 生產者分區策略問題：
   • 默認使用 key hash 分區器，如果 key 分布不均，hash 后也會不均；
   • 或者顯式指定了某些 Partition，使得只有少數 Partition 被使用。
2. 沒有設置 key：
   • Kafka 會使用輪詢（Round-Robin）策略分發；
   • 如果某些 Producer 實現有問題或批次不均，也可能造成不均衡。
3. 動態 topic 擴容不合理：
   • 增加 Partition 后老的消息還在舊的幾個 Partition 中積壓。

📉 數據傾斜帶來的問題

• Broker 負載不均衡；
• 消費組中的 Consumer 無法均衡分配 Partition；
• 消息處理延遲拉大；
• 系統資源浪費，甚至可能引起消息堆積、告警、服務不可用。

?Kafka 遇到數據傾斜時 不會自動觸發重平衡，因為：

Kafka 的 重平衡（Rebalance）機制，是**針對消費組（Consumer Group）**的，不是針對生產端的 Partition 數據分布。

🔄 Kafka 的重平衡是什么？

當滿足以下條件時，Kafka 的 Consumer Group 會觸發重平衡：

• 有新的消費者加入或離開消費組；
• 某個消費者崩潰或斷連；
• 訂閱的 Topic 改變；
• Kafka Broker 宕機或恢復。

?? 重平衡只是重新分配 Partition 給消費者，不會改變 Partition 中的數據分布。

🤔 數據傾斜觸發不了重平衡的原因

Kafka 本身并不知道“數據是否分布均勻”或“某個 Partition 太熱”——它只是把數據按照 Producer 的分區邏輯寫入特定 Partition。

即使某個 Partition 壓力特別大，Kafka 也不會主動調整數據寫入的 Partition，也不會因為數據傾斜自動調整 Consumer 分配（除非有 Consumer 崩潰等情況）。

? 那么應該怎么處理數據傾斜？

Kafka 不會自動解決，你需要：

1. 優化生產者分區策略，確保 key 均勻分布或用 Round-Robin；
2. 監控各 Partition 的消息量與延遲，定位熱 Partition；
3. 擴展 Topic 的 Partition，并重新設計 key 分布策略；
4. 在消費端使用多線程消費單個 Partition（針對極端傾斜）；
5. 引入中間層流量調度邏輯（如 Kafka Connect、流處理框架 Flink/Spark Streaming 進行動態 repartition）。
6. 自定義分區器 編寫 Partition 分配邏輯，使消息均勻地分發到各 Partition。