kafka簡介

Kafka就是一個分布式的用于消息存儲的消息隊列。

kafka角色

Kafka中存儲的消息，被消費后不會被刪除，可以被重復消費，消息會保留多長，由kafka自己去配置。默認7天刪除。背后的管理工作由zookeeper來管理。

kafka安裝

版本匹配

（以下操作均在虛擬機中運行）

首先進入到 /opt/software 中，將kafka的安裝包傳入，進行解壓并重命名

????????cd /opt/software

????????rz （選擇壓縮包進行傳入）

????????tar -zxvf 壓縮包 （進行解壓）

? ? ? ? mv 文件名 kafka

然后ll查看就可以展現出所解壓并且已經成功重命名的文件

將文件傳輸到node02、node03中，并且修改配置

cd config

vi server.properties

0:?node01

1: node02

2: node03

分發kafka的安裝包，到其他的節點中：

scp -r kafka?node02:$PWD scp -r kafka node03:$PWD 使用下面的 scp -r kafka node02:/opy/software scp -r kafka node03:/opt/software

啟動節點

先啟動zookeeper集群

????????zkServer.sh start

啟動腳本和停止腳本命令。

????????kafka-server-start.sh

????????kafka-server-stop.sh

以后臺守護進程啟動：（前面啟動不行 使用該命令）三個節點都啟動

????????kafka-server-start.sh -daemon /opt/software/kafka/config/server.properties

注意： 在啟動kafka之前，必須先啟動zookeeper

spark安裝

選擇與kafka、scala版本相匹配的spark文件進行

（以下操作均在虛擬機中運行）

將文件傳輸到node01、node02、node03中，并解壓重命名

修改spark的配置文件

vi?/opt/software/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xm

添加如下兩行

<property>

????????<name>yarn.nodemanager.vmem-check-enabled</name>

????????<value>false</value>

</property>

????????<property>

? ???????? <name>yarn.nodemanager.pmem-check-enabled</name>

????????? <value>false</value>

</property>

保存退出（esc+：+wq）

修改env文件，添加配置并保存刷新

可以測試是否安裝成功