一、高吞吐低延遲 Kafka 集群設計要點

1. 分區策略優化

// 計算合理分區數公式（動態調整）
int numPartitions = max(Tp, Tc) / min(Tp, Tc) 
// Tp=生產者吞吐量 Tc=消費者吞吐量

• 建議初始按業務鍵（如訂單ID）哈希分區
• 單分區吞吐建議控制在 10MB/s 以內
• 分區擴容需配合消費者重新分配策略

2. 副本放置策略（跨機架容災）

# server.properties
broker.rack=rack1
default.replication.factor=3
unclean.leader.election.enable=false
min.insync.replicas=2

3. 核心參數調優

參數	生產環境建議值	說明
batch.size	16384-65536	批次內存緩沖
linger.ms	5-10	批次等待時間
compression.type	lz4/zstd	壓縮率與CPU平衡
socket.send.buffer.bytes	1024000	網絡緩沖區
log.flush.interval.messages	10000	磁盤刷寫閾值

4. 硬件優化方案

• 使用 NVMe SSD（隨機IOPS >50k）
• 萬兆網絡+多隊列網卡
• JVM堆內存 <= 6G（避免GC停頓）
• 文件系統建議XFS + noatime

二、集群監控體系搭建

1. 核心監控指標

# Prometheus 指標示例
kafka_server_BrokerTopicMetrics_TotalProduceRequestsPerSec
kafka_log_Log_Size_{topic}
kafka_consumer_ConsumerLag_MaxLag

2. 監控工具棧組合

3. 報警閾值建議

• Controller 切換頻率 < 1次/小時
• UnderReplicatedPartitions > 0 持續5分鐘
• NetworkProcessorAvgIdle < 50%

三、全局有序消息實現方案

1. 單分區強一致模式

// 生產者指定分區
producer.send(new ProducerRecord<>("global-order-topic", 0, key, value));

• 優勢：嚴格順序保證
• 瓶頸：理論最大吞吐約 1MB/s

2. 業務層二次排序方案

// 使用Kafka Streams實現
KStream<String, String> stream = builder.stream("input-topic");
stream.groupByKey().aggregate(...).toStream().transform(OrderEnforcer::new, "state-store").to("output-topic");

實現要點：

1. 消費者按業務鍵分桶緩沖
2. 時間窗口+版本號排序
3. 冪等寫入最終存儲

3. 混合方案參考

吞吐量提升要點：

• 分區內有序
• 業務鍵連續請求路由到相同分區
• 異步提交偏移量