任務描述

任務內容為安裝和配置Kafka集群。

任務指導

Kafka是大數據生態圈中常用的消息隊列框架

具體安裝步驟如下：

1. 解壓縮Kafka的壓縮包

2. 配置Kafka的環境變量

3. 修改Kafka的配置文件，Kafka的配置文件存放在Kafka安裝目錄下的config中

4. 驗證Kafka

任務實現

1、解壓Kafka

在【master1】上解壓縮包

[root@master1 ~]# cd /opt/software
[root@master1 software]# tar -xzf kafka_2.12-2.4.1.tgz -C /opt/app/

2、在【master1】編輯系統環境變量/etc/profile

[root@master1 ~]# vi /etc/profile

在文件末尾添加如下配置

export KAFKA_HOME=/opt/app/kafka_2.12-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

執行【source /etc/profile】重新加載環境變量

3、配置Kafka

為Kafka創建數據目錄

[root@master1 ~]# source /etc/profile
[root@master1 ~]# cd $KAFKA_HOME
[root@master1 kafka_2.12-2.4.1]# mkdir kafka-logs

然后打開config目錄下的server.properties文件，修改日志目錄為剛剛創建的目錄:

[root@master1 kafka_2.12-2.4.1]# cd $KAFKA_HOME/config
[root@master1 config]# vi server.properties

修改如下配置的值，其中broker.id的值需要保證在整個集群中是唯一的

broker.id=1
listeners=PLAINTEXT://master1:9092
log.dirs=/opt/app/kafka_2.12-2.4.1/kafka-logs
zookeeper.connect=master1:2181,slave1:2181,slave2:2181

在【master1】啟動Kafka的后臺守護進程

[root@master1 ~]# kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

4、驗證Kafka

1）創建topic，創建名為test的topic，分區數1，副本1

[root@master1 ~]# kafka-topics.sh --create --zookeeper master1:2181,slave1:2181,slave2:2181 --replication-factor 1 --partitions 1 --topic test

2）查看topic的狀態

[root@master1 ~]# kafka-topics.sh --describe --zookeeper master1:2181,slave1:2181,slave2:2181 --topic test

3）在【master1】開啟一個生產者發送消息

[root@master1 ~]# kafka-console-producer.sh --broker-list master1:9092 --topic test

4）在【master1】再打開一個消費者消費消息

[root@master1 ~]# kafka-console-consumer.sh --bootstrap-server master1:9092 --from-beginning --topic test

參數from-beginning表示從第一條消息開始讀取