Kafka-Eagle官網
1)上傳壓縮包 kafka-eagle-bin-2.0.8.tar.gz 到集群第一臺的/opt/modules 目錄
2)解壓到本地
tar -zxvf kafka-eagle-bin-2.0.8.tar.gz
3)將 efak-web-2.0.8-bin.tar.gz 解壓至/opt/installs
cd kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/
4)修改名稱
mv efak-web-2.0.8/ efak
5)修改配置文件 /opt/installs/efak/conf/system-config.properties
vi system-config.properties
修改如下:
# offset 保存在 kafka
cluster1.efak.offset.storage=kafka
efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
# 修改數據庫連接:&serverTimezone=GMT 時區一定要寫,否則報405錯誤!
# 127.0.0.1 = localhost hosts文件中定義的
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
efak.username=root
efak.password=123456
7)添加環境變量
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin
注意:source /etc/profile
啟動數據庫:
systemctl start mysqld --啟動
systemctl status mysqld --查看狀態
8)啟動
(1)注意:啟動之前需要先啟動 ZK 以及 KAFKA。
(2)啟動 efak
ke.sh start
說明:如果停止 efak,執行命令
bin/ke.sh stop
假如啟動無法訪問,怎么辦?查看日志,必定有答案!!使用的時候,一定要在配置文件中編寫正確的路徑,否則kafka集群沒辦法連接:
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
查看可視化大屏的時候:
1、同步一下時間 systemctl restart chronyd
2、要開啟消費者
3、要開發生產者
4、關閉flume (選項)
5、如果都沒效果,可以添加一句話 在zkServer.sh 中ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
全部重啟一下,這些服務
要想看到大屏數據,此處的JMX必須是上線狀態:
假如你的 JMX 都是 offline,就添加端口:
第一步:kfc.sh stop
第二步:修改 kafka-server-start.sh 第一行添加export JMX_PORT=9999
第三步:分發一下 xsync.sh kafka-server-start.sh
第四步:kfc.sh start
稍等片刻,會出現正確的界面
登錄頁面查看監控數據
http://虛擬機的ip:8048/