一、前置環境
在搭建kafka之前，請確認自己的hadoop、zookeeper是否搭建完成且可正常運行
二、下載并上傳安裝包（鏈接為百度網盤）
kafka安裝包
tar -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/module/
進入解壓后的目錄更改文件名稱
mv kafka_2.12-2.4.1/ kafka
三、添加環境變量
vim /etc/profile
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
四、配置文件
cd /opt/module/kafka/config
修改server.properties
vim server.properties
log.dirs=/opt/module/kafka/logs
zookeeper.connect=bigdata101:2181,bigdata102:2181,bigdata103:2181因為怕kafka不會自動創建目錄，所以我們為它創建：在/opt/apps/kafka/ 下：
mkdir logs
五、分發文件
scp -r /opt/module/kafka root@bigdata102:/opt/module/
scp -r /opt/module/kafka root@bigdata103:/opt/module/
scp -r /etc/profile root@bigdata102:/etc
scp -r /etc/profile root@bigdata103:/etc
生效環境變量（三臺都生效）
source /etc/profile
六、修改 broker.Id
cd /opt/module/kakfa/config
vim server.properties
在bigdata101上更改broker.id
在bigdata102上更改broker.id
在bigdata103上更改broker.id
七、啟動kafka以及基礎目錄
啟動命令
kafka-server-start.sh /opt/module/kafka/config/server.properties
加上 & 符表示后臺啟動
kafka-server-start.sh /opt/module/kafka/config/server.properties &
創建Topic:
kafka-topics.sh --create --zookeeper bigdata101:2181 --topic topicName --partitions 2 --replication-factor 1
查看Topic:
kafka-topic.sh --list --zookeeper bigdata101:2181
開啟生產者:
kafka-console-producer.sh --broker-list bigdata101:9092 --topic TopicName
開啟消費者:
kafka-console-consumer.sh --bootstrap-server bigdata101:9092 --topic TopicName --from-beginning
from-beginning這是用來同步歷史消息的
查看Topic:
kafka-topics.sh --zookeeper bigdata101:2181 --describe-topic TopicName
刪除Topic:
kafka-topics.sh --delete --zookeeper bigdata101:2181 --topic TopicName
