對于仍在使用Kafka 2.8之前版本的團隊來說，需要特別注意其強依賴外部ZooKeeper的特性。本文將完整演示傳統架構下的安裝流程，并對比新舊版本差異。
1 版本特性差異說明
1.1 2.8+ vs 2.8-核心區別
| 特性 | 2.8+版本 | 2.8-版本 |
| 協調服務 | 可選內置KRaft模式 | 強制依賴外部ZooKeeper集群 |
| 部署復雜度 | 單進程即可運行 | 需獨立維護ZK集群 |
| 元數據性能 | 吞吐提升20%+ | 受ZK性能制約 |
| 推薦生產版本 | ≥3.0 | ≤2.7.x |
2 安裝準備（以2.7.1為例）
2.1 組件下載
Kafka下載地址：Index of /dist/kafka/2.7.1
Zookeeper下載地址：Index of /dist/zookeeper
2.2. 解壓安裝包以及目錄結構
# 解壓kafka安裝包
tar -zxvf kafka_2.13-2.7.1.tgz -C kafka_zk/
# 解壓zk安裝包
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz -C kafka_zk/# 目錄結構
[root@node5 kafka_zk]# tree -L 2
.
├── apache-zookeeper-3.6.3-bin
│ ├── bin
│ ├── conf
│ ├── data
│ ├── docs
│ ├── lib
│ ├── LICENSE.txt
│ ├── logs
│ ├── NOTICE.txt
│ ├── README.md
│ └── README_packaging.md
└── kafka_2.13-2.7.1├── bin├── config├── libs├── LICENSE├── licenses├── logs├── NOTICE└── site-docs14 directories, 6 files
[root@node5 kafka_zk]# # 各個目錄用途解釋
.
├── apache-zookeeper-3.6.3-bin # ZooKeeper 安裝目錄
│ ├── bin # ZooKeeper 可執行腳本（啟動/停止/運維）
│ ├── conf # ZooKeeper 配置文件（zoo.cfg 等）
│ ├── data # ZooKeeper 數據存儲目錄（手動創建）
│ ├── docs # ZooKeeper 官方文檔
│ ├── lib # ZooKeeper 運行時依賴庫（JAR 文件）
│ ├── LICENSE.txt # Apache 2.0 許可證文件
│ ├── logs # ZooKeeper 運行日志（自動生成）
│ ├── NOTICE.txt # 第三方組件版權聲明
│ ├── README.md # 項目說明文件
│ └── README_packaging.md # 打包說明文件
└── kafka_2.13-2.7.1 # Kafka 安裝目錄├── bin # Kafka 管理腳本（啟動/主題操作等）├── config # Kafka 配置文件（server.properties 等）├── libs # Kafka 依賴庫（核心 JAR 文件）├── LICENSE # Apache 2.0 許可證文件├── licenses # 第三方依賴的許可證文件├── logs # Kafka 運行日志（需手動創建或自動生成）├── NOTICE # 項目版權聲明└── site-docs # Kafka 離線文檔（HTML 格式）3 ZooKeeper獨立部署
3.1 編輯配置文件
# 編輯conf/zoo.cfg：備份conf/zoo.cfg文件并添加如下內容
cp conf/zoo.cfg conf/zoo.cfg_bak
cat >conf/zoo.cfg<<EOF
# ZooKeeper 基礎配置
tickTime=2000
initLimit=10
syncLimit=5# 數據存儲目錄（需提前創建并賦予權限）
dataDir=/export/home/kafka_zk/apache-zookeeper-3.6.3-bin/data
dataLogDir=/export/home/kafka_zk/apache-zookeeper-3.6.3-bin/logs# 客戶端連接端口
clientPort=2181# 單機模式無需集群配置
# server.1=ip:port:port （集群模式下需配置）# 高級優化（可選）
maxClientCnxns=60
autopurge.snapRetainCount=3
autopurge.purgeInterval=24
admin.serverPort=8080
maxClientCnxns=60
EOF3.2 啟動與驗證
# 啟動ZK（后臺模式）
bin/zkServer.sh start conf/zoo.cfg# 驗證狀態
echo srvr | nc 192.168.10.34 2181[root@node5 apache-zookeeper-3.6.3-bin]# echo srvr | nc 192.168.10.34 2181
Zookeeper version: 3.6.3--6401e4ad2087061bc6b9f80dec2d69f2e3c8660a, built on 04/08/2021 16:35 GMT
Latency min/avg/max: 0/0.0/0
Received: 3
Sent: 2
Connections: 1
Outstanding: 0
Zxid: 0x0
Mode: standalone
Node count: 5
[root@node5 apache-zookeeper-3.6.3-bin]# 4 Kafka服務配置
4.1 編輯配置文件
# 編輯config/server.properties文件：備份文件并添加如下內容
cp config/server.properties config/server.properties_bak
cat >config/server.properties<<EOF
############################ 基礎配置 #############################
# Broker唯一標識（單機保持默認）
broker.id=0# 監聽地址（必須配置為實際IP或主機名，不能用0.0.0.0）
listeners=PLAINTEXT://192.168.10.34:9092
advertised.listeners=PLAINTEXT://192.168.10.34:9092# 日志存儲目錄（需提前創建并賦權）
log.dirs=/export/home/kafka_zk/kafka_2.13-2.7.1/logs# ZooKeeper連接地址（單機模式）
zookeeper.connect=192.168.10.34:2181############################# 單機特殊配置 #############################
# 強制內部Topic副本數為1（單機必須配置！）
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1# 禁用自動創建Topic（生產環境建議）
auto.create.topics.enable=false############################# 性能優化 #############################
# 網絡線程數（建議CPU核數）
num.network.threads=2# IO線程數（建議2*CPU核數）
num.io.threads=4# 日志保留策略
log.retention.hours=168 # 保留7天
log.segment.bytes=1073741824 # 單個日志段1GB
log.retention.check.interval.ms=300000 # 檢查間隔5分鐘# 消息持久化
flush.messages=10000 # 每10000條消息刷盤
flush.ms=1000 # 每秒刷盤一次############################# 高級調優 #############################
# Socket緩沖區大小
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400# 副本同步設置（單機可忽略）
default.replication.factor=1
min.insync.replicas=1# 控制器配置
controller.socket.timeout.ms=30000
EOF4.2 編寫啟動腳本
# 創建bin/start-kafka.sh避免內存不足
#!/bin/bash
export KAFKA_HEAP_OPTS="-Xms1G -Xmx1G"
export JMX_PORT=9999
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-server-start.sh /export/home/kafka_zk/kafka_2.13-2.7.1/config/server.propertieschmod +x bin/start-kafka.sh4.3 啟動服務并驗證
# 啟動
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/start-kafka.sh# 創建topic并查看詳情
# 創建名為test的Topic，1分區1副本
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --create \--bootstrap-server 192.168.10.34:9092 \--replication-factor 1 \--partitions 1 \--topic test[root@node5 ~]# /export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --create \
> --bootstrap-server 192.168.10.34:9092 \
> --replication-factor 1 \
> --partitions 1 \
> --topic test
Created topic test.
[root@node5 ~]# # 查看Topic詳情
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.10.34:9092[root@node5 ~]# /export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.10.34:9092Topic: test PartitionCount: 1 ReplicationFactor: 1 Configs: min.insync.replicas=1,segment.bytes=1073741824Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
[root@node5 ~]# 5 版本特定問題解決
5.1 ZooKeeper連接超時
現象：Session expired錯誤
# 增加server.properties參數
zookeeper.session.timeout.ms=18000
zookeeper.connection.timeout.ms=150005.2. 磁盤寫性能低下
# 禁用完全刷盤（犧牲部分可靠性）
log.flush.interval.messages=10000
log.flush.interval.ms=10005.3 監控指標缺失
# 啟用JMX導出
KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9999"
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-server-start.sh /export/home/kafka_zk/kafka_2.13-2.7.1/bin/server.properties
