基礎篇

Q1: Kafka為什么能這么快？

A: Kafka的高性能主要來自三大核心技術：

1. 零拷貝(Zero-Copy)：通過sendfile()系統調用，數據直接從磁盤到網卡，避免了內核態和用戶態之間的多次拷貝
2. 頁緩存(Page Cache)：消息直接寫入操作系統頁緩存而非JVM內存，減少GC影響并利用OS緩存機制
3. 內存映射(mmap)：索引文件通過內存映射實現，操作內存即操作文件

Q2: Kafka的存儲結構是怎樣的？

A: Kafka采用分片-分段式存儲：

• 每個Topic分為多個Partition（提高并行度）
• 每個Partition物理上分為多個Segment文件（默認1GB）
• 每個Segment包含兩個文件：
  • .log文件存儲實際消息
  • .index文件存儲消息偏移量索引
• 寫入采用順序追加方式，充分利用磁盤順序I/O性能

可靠性篇

Q3: Kafka如何保證消息不丟失？

A: 需要三方協同保障：

生產者端：

• 設置acks=all（等待所有ISR副本確認）
• 啟用重試機制retries=MAX_INT
• 使用冪等生產者或事務

Broker端：

• 設置replication.factor≥3（多副本）
• 配置min.insync.replicas≥2（最小同步副本數）
• 禁用unclean.leader.election（防止數據不一致）

消費者端：

• 禁用自動提交enable.auto.commit=false
• 處理完成后手動提交偏移量

consumer.commitSync();  // 同步提交
// 或 
consumer.commitAsync(); // 異步提交

Q4: ISR和OSR是什么？

A: Kafka的副本管理機制：

• ISR(In-Sync Replicas)：與Leader保持同步的副本集合
• OSR(Out-of-Sync Replicas)：落后于Leader的副本
• 高水位(High Watermark)：標識已成功復制到所有ISR的消息位置
• 只有ISR中的副本才有資格成為Leader，通過replica.lag.time.max.ms控制同步閾值

生產者篇

Q5: 如何實現生產者冪等性？

A: 通過三個機制保證：

1. PID(Producer ID)：每個生產者唯一標識
2. Sequence Number：每個消息的分區級序列號
3. Broker端去重：緩存最近接收的序列號

啟用方式：

enable.idempotence=true

Q6: Kafka事務如何工作？

A: 事務實現跨分區原子寫入：

1. 兩階段提交：
   • 階段1：標記事務開始
   • 階段2：提交/中止事務
2. 事務協調器：管理事務狀態
3. 事務日志：持久化事務狀態

代碼示例：

producer.initTransactions();
try {producer.beginTransaction();producer.send(record1);producer.send(record2); producer.commitTransaction();
} catch (Exception e) {producer.abortTransaction();
}

消費者篇

Q7: 什么是Consumer Rebalance？

A: 消費者組重新分配分區的過程：

觸發條件：

• 消費者加入/離開組
• Topic分區數變化
• 訂閱Topic變化

優化策略：

• 增量Rebalance：僅重新分配變化的分區
• Sticky分配：盡量保留原有分配關系
• 參數調優：

  session.timeout.ms=6000
  heartbeat.interval.ms=2000
  

Q8: 如何避免消息重復消費？

A: 結合多種策略：

1. 消費者冪等處理：業務邏輯實現去重
2. 外部存儲去重：利用Redis等記錄已處理消息ID
3. 事務消費：配合Kafka事務實現精確一次處理
4. 偏移量管理：確保先處理再提交

高級特性篇

Q9: Kafka如何實現死信隊列？

A: 原生不支持但可自建：

1. 創建專門的DLQ Topic
2. 消費失敗時發送到DLQ：

try {process(record);
} catch (Exception e) {ProducerRecord<String, String> dlqRecord = new ProducerRecord<>("dlq_topic", record.key(), record.value());dlqProducer.send(dlqRecord);
}

3. DLQ消息應包含原始Topic、分區、偏移量等元數據

Q10: Kafka架構有哪些重要演進？

A: 兩個關鍵階段：

1. ZooKeeper時代：

   • 依賴ZK進行控制器選舉
   • 元數據存儲在ZK
   • 運維復雜度高

2. KRaft模式：

   • 移除ZK依賴
   • 使用Raft協議自管理元數據
   • 簡化部署架構（KIP-500）

---

知識擴展：Kafka的性能優化本質上是對計算機體系結構的深度理解——零拷貝利用了DMA技術，頁緩存利用了局部性原理，而順序I/O則規避了機械磁盤的尋道瓶頸。這些設計哲學值得所有分布式系統借鑒。