kafka監控搭建：https://insights.blog.csdn.net/article/details/139129552?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7Ebaidujs_baidulandingword%7EPaidSort-1-139129552-blog-132216491.235%5Ev43%5Econtrol&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7Ebaidujs_baidulandingword%7EPaidSort-1-139129552-blog-132216491.235%5Ev43%5Econtrol&utm_relevant_index=2
kafka常用操作
創建topic
bin/kafka-topics.sh --create --bootstrap-server 10.131.139.155:9092 --replication-factor 1 --partitions 3 --topic test
修改分區
bin/kafka-topics.sh --alter --bootstrap-server 10.131.139.155:9092 --partitions 3 --topic test
創建消費者組并在后臺持續消費
nohup /path/to/kafka/bin/kafka-console-consumer.sh \--bootstrap-server kafka1:9092 \--topic test \--group my-test-group \--from-beginning > consumer.log 2>&1 &
查看group在指定topic各分區的消費情況
bin/kafka-consumer-groups.sh --bootstrap-server 10.131.139.155:9092 --describe --group my-test-group
可以從這里看到每個分區的消息、提交偏移量以及對應的客戶端
可以通過watch -n 1 觀察每秒的變化情況
發送消息
./kafka_2.11-2.4.1/bin/kafka-console-producer.sh --broker-list 10.131.139.155:9092 --topic test --property parse.key=true --property key.separator=:
)
