Kafka-Eagle簡介
在開發工作中,當業務不復雜時,可以使用Kafka命令來進行一些集群的管理工作。但如果業務變得復雜,例如:需要增加group、topic分區,此時,再使用命令行就感覺很不方便,此時,如果使用一個可視化的工具幫助我們完成日常的管理工作,將會大大提高對于Kafka集群管理的效率,而且還可以使用工具來監控消費者在Kafka中消費情況。
Kafka Eagle是一款結合了目前大數據Kafka監控工具的特點,重新研發的一塊開源免費的Kafka集群優秀的監控工具。它可以非常方便的監控生產環境中的offset、lag變化、partition分布、owner等。
官網:https://www.kafka-eagle.org/
安裝Kafka-eagle
- 官網下載壓縮包、上傳服務器并解壓
- 安裝jdk,配置jdk環境變量
https://blog.51cto.com/u_15307418/3132282 -> 查看jdk默認安裝路徑,配置環境變量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64
export PATH=$PATH:$JAVA_HOME/bin
- 給kafka-eagle配置環境變量,
vim /etc/profile
進入配置文件,末尾添加如下內容
export KE_HOME=/usr/local/kafka-eagle/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin
source /etc/profile
使環境變量生效
- 解壓縮修改配置文件 system-config.properties,修改里面的zk的地址和mysql的地址
efak.zk.cluster.alias=cluster1
cluster1.zk.list=124.222.253.33:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://124.222.253.33:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456
- 進入到bin中,通過命令來啟動
./ke.sh start
啟動成功
平臺的使用
訪問地址:http://124.222.253.33:8048
用戶名:admin
密 碼:123456
進入平臺可以查看topic、consumer等信息
指標解釋:
指標 | 意義 |
---|---|
Brokers Spread | broker使用率 |
Brokers Skew | 分區是否傾斜 |
Brokers Leader Skew | leader partition是否存在傾斜 |
生產者消息總計
等等。