Apache Kafka 是一個高吞吐量的分布式消息系統,廣泛應用于日志收集、實時流處理等場景。本文將以 Windows 系統為例,詳細介紹 Kafka 的安裝和使用方法。
一、安裝方式
在 Windows 系統上運行 Apache Kafka,通常有兩種方式:
1.WSL
使用 Windows 上的 WSL(Windows Subsystem for Linux),即在 Windows 中運行 Linux 環境來啟動 Kafka。
?2.直接運行
直接在 Windows 上運行 Kafka。
本文介紹的是直接在 Windows 上運行 Kafka?的方式。
二、下載和配置Zookeeper(可選)
Kafka 依賴 ZooKeeper 來進行集群管理,除非您使用的是 KRaft 模式(從 Kafka 2.8.0 起開始支持)。以下是下載和配置 ZooKeeper 的步驟:
1.下載地址
Apache ZooKeeper |
2.下載示例
3.解壓
下載完成后,解壓下載的?.tar.gz
?或?.zip
?文件到一個自定義目錄。
例如:?D:\JAVA\zookeeper\zookeeper-3.9.3
。
4.配置
(1)在解壓后的 ZooKeeper 目錄中,找到?conf
?文件夾。
(2)復制?zoo_sample.cfg
?配置文件,并將其重命名為?zoo.cfg
。
(3)打開?zoo.cfg
?文件,修改以下配置:
dataDir:指定 ZooKeeper 存儲數據的目錄。
clientPort:指定 ZooKeeper 客戶端連接的端口(默認是 2181)。
(4)配置示例:
dataDir=D:/JAVA/zookeeper/data clientPort=2181 |
5.配置環境變量(可選)
為了在命令行中方便地運行 ZooKeeper,您可以將 ZooKeeper 的 bin
目錄添加到系統的 PATH
環境變量中:
(1)右鍵點擊?此電腦
,選擇?屬性
。
(2)點擊?高級系統設置
,然后選擇?環境變量
。
(3)在?系統變量
?部分找到?Path
,點擊?編輯
。
(4)添加 ZooKeeper?bin
?目錄的路徑(例如:D:\JAVA\zookeeper\zookeeper-3.9.3\bin
)。
(5)保存更改并關閉所有窗口。
三、下載和配置Kafka
1.下載地址
Apache Kafka |
2.下載頁面
注意:下載 Kafka 二進制文件版。
3.解壓
下載完成后,解壓下載的?.tar.gz
?或?.zip
?文件到一個自定義目錄。
例如:?D:\JAVA\kafka3.8.0
。
4.配置
(1)打開 config/server.properties
文件,進行如下修改:
log.dirs
:指定 Kafka 存儲日志的目錄(建議自行創建該目錄)。
zookeeper.connect
:指定 ZooKeeper 的連接地址,默認是 localhost:2181
。
listeners
:指定端口訪問 Kafka,默認是 PLAINTEXT://:9092
。
(2)配置示例
log.dirs=D:/JAVA/mq/kafka/logs zookeeper.connect=localhost:2181 listeners=PLAINTEXT://localhost:9092 |
5.配置環境變量(可選)
為了方便在命令行中運行 Kafka,您可以將 Kafka 的 bin/windows
目錄添加到系統的 PATH
環境變量中:
(1)右鍵點擊?此電腦
,選擇?屬性
。
(2)點擊?高級系統設置
,然后選擇?環境變量
。
(3)在?系統變量
?部分找到?Path
,點擊?編輯
。
(4)添加 Kafka?bin/windows
?目錄的路徑(例如:D:\JAVA\kafka3.8.0\bin\windows
)。
(5)保存更改并關閉所有窗口。
四、啟動ZooKeeper
(1)打開 命令提示符(CMD)
(2)進入 ZooKeeper 的 bin 目錄
cd |
(3)啟動 ZooKeeper
使用 zkServer.cmd 啟動 ZooKeeper:
zkServer.cmd |
(4)啟動成功
(5)停止 ZooKeeper
zkServer.cmd stop |
五、啟動Kafka
(1)打開?另一個 命令提示符(CMD)窗口
(2)進入 Kafka 解壓目錄的 bin\windows 目錄
cd |
(3)啟動 Kafka
kafka-server-start.bat ..\..\config\server.properties |
(4)啟動成功信息
(5)停止 Kafka
在命令提示符窗口中,按 Ctrl + C 停止 Kafka 服務。
六、測試Kafka功能
(1)打開 第三個命令提示符(CMD)窗口
(2)進入 Kafka 解壓目錄的 bin\windows 目錄
cd |
(3)創建一個 Kafka 主題(例如,創建 test
主題)
kafka-topics.bat --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 |
(4)列出當前的 Kafka 主題
kafka-topics.bat --list --bootstrap-server localhost:9092 |
(5)發送消息到 Kafka 的 test 主題
可以輸入消息,按 Enter 發送。
kafka-console-producer.bat --topic test --bootstrap-server localhost:9092 |
(6)消費消息
打開 第四個命令提示符(CMD)窗口,輸入以下命令:
kafka-console-consumer.bat --topic test --from-beginning --bootstrap-server localhost:9092 |
七、注意事項
1.安裝路徑
盡可能使用簡短的安裝路徑。
2.端口問題
確保 Kafka 所需的端口(默認是 9092)沒有被其他程序占用。
3.KRaft
在生產環境中,KRaft 模式還處于逐步推廣階段,建議先在開發環境中測試。
八、總結
Kafka 是一個強大且高度可擴展的消息隊列系統,適合于大規模的數據流處理。安裝和使用 Kafka 比較直接,但要想在生產環境中實現高可用性和擴展性,還需要考慮集群部署、監控和容錯等問題。