一、單機模式
步驟:
1、使用XFTP將Flink安裝包flink-1.13.5-bin-scala_2.11.tgz發送到master機器的主目錄。
2、解壓安裝包:
tar -zxvf ~/flink-1.13.5-bin-scala_2.11.tgz
3、修改文件夾的名字,將其改為flume,或者創建軟連接也可:
mv ~/flink-1.13.5 ~/flink
4、配置環境變量:
vim ~/.bashrc
然后在文件末尾添加以下內容:
export FLINK_HOME=/home/hadoop/flinkexport PATH=$FLINK_HOME/bin:$PATH
保存文件,然后刷新環境變量或重新啟動命令行終端:
source ~/.bashrc
5、可以使用以下命令開啟一個Flink的Scala控制臺:
start-scala-shell.sh local
二、Flink?Standalone模式集群
步驟:
1、使用vim命令配置Flink的flink-conf.yaml配置文件:
cd ~/flink/conf
vim?flink-conf.yaml
配置內容如下(注意:這里僅展示其中要修改的參數,其余參數配置保持不變):
jobmanager.rpc.address: masterjobmanager.rpc.port: 6123jobmanager.memory.process.size: 1600mtaskmanager.memory.process.size: 1728mtaskmanager.numberOfTaskSlots: 3parallelism.default: 3high-availability: zookeeperhigh-availability.zookeeper.quorum: master:2181,slave1:2181,slave2:2181high-availability.cluster-id: /cluster_onehigh-availability.zookeeper.path.root: /flinkhigh-availability.storageDir: hdfs://mycluster/flink/ha/
2、配置workers:
vim?workers
修改為以下內容:
master
slave1
slave2
3、配置masters,為節省資源,我們只在master啟動主節點即可,如需啟動備用節點,則需要在此處添加其他節點以作為備用節點:
vim masters
修改為以下內容:
master:8088
可指定端口,可訪問web
4、添加Hadoop依賴包,若打算使Flink與Hadoop能夠協同工作,比如后續在YARN上運行Flink、使用Flink連接到HDFS、HBase等,那么就需要將Flink對應Hadoop版本的shaded包,放到Flink安裝目錄的lib文件夾內,或者添加到Hadoop的環境變量中,這里使用第一種方法進行配置:
使用XFTP將?flink-shaded-hadoop-2-uber-2.8.3-10.0.jar?放到?~/flink/lib?文件夾內
5、接著把配置好的Flink安裝目錄使用scp命令發送到其他節點:
scp -r?~/flink hadoop@slave1:~scp -r ~/flink hadoop@slave2:~
6、(如第3步中配置了其他備用主節點,則需要做這步,只配置了一個master的話,這一步可以跳過)在備用主節點slave1上修改flink-conf.yaml,將其中的jobmanager.rpc.address一項修改為
slave1:cd ~/flink/confvim flink-conf.yaml
修改內容如下:
jobmanager.rpc.address: slave1
7、依次啟動ZooKeeper、HDFS、YARN集群,以啟動Hadoop;
8、在master節點上,啟動Flink?Standalone集群:
start-cluster.sh
三、Flink on?YARN模式
要使用Flink?on?YARN只需要修改環境變量,讓Flink可以從系統環境變量中讀取到Hadoop的配置信息即可:
vim ~/.bashrc
然后在末尾添加Hadoop配置文件夾的目錄環境:
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
然后刷新環境變量:
source?~/.bashrc
后續就可以使用 yarn-session.sh 啟動??yarn?session?來運行Flink任務,或者使用 flink run 命令直接將Flink任務提交到YARN上運行。