三種部署模式

1. standalone集群，會話模式部署：先啟動flink集群

   • web UI提交
   • shell命令提交：bin/flink run -d -m hadoop102:8081 -c com.atguigu.flink.deployment.Flinke1_NordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102 --port 8888

2. standalone集群，應用模式部署：無需先啟動集群，直接提交任務，集群會自動啟動，任務取消后集群會自動關閉

   • shell命令：bin/standalone-job.sh start --job-classname com.atguigu.flink.deployment.Flinke1_NordCount --hostnamehadoop102 --port 8888

3. Yarn集群，會話模式部署：

   • 先啟動hadoop集群和yarn調度器
   • 使用命令提交flink任務作為AM，同時作為flink的jobManager
   • bin/f1ink run -d -c com.atguigu.f1ink.deployment.F1inke1_NordCount ./Flink-1.0-SNAPSHOT. jar --hostnamehadoop102 --port 8888

4. Yarn集群，單作業模式部署

   • 先關閉相關的集群
   • bin/flink run -d -t yarn-per-job -c com.atguigu.flink.deployment.Flinke1_wordCount./Flink-1.O-SNAPSHOT.jar --hostname hadoop102 --port 8888

5. Yarn集群，應用模式部署

   • 關閉已經在運行的集群
   • bin/flink run-application -t yarn-application -c com.atguigu.flink.deployment.Flinke1_WordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102–port 8888

常用集群操作

1. 查看集群所有的作業信息: bin/flink list -a -yid application_1701654241932_0004
2. 取消集群中的某個作業： bin/flink cancel -yid application_1701654241932_0004 7a5493050dd412efa1334745e6dd0o81

jar包優化

1. 在HDFS中創建flink-jars目錄
2. 將flink的整個lib目錄上傳到flink-jars目錄下
3. 提交作業時，需添加一個參數-D/yarn.provided.lib.dirs="hdfs:hadoop102:8020/flink-jars"

歷史服務器

1. 在HDFS新建目錄flink-logs
2. 在flink 中修改flink.yaml
   • jobmamager.archive.fs.dir: 填寫存放路徑，即flink-logs
   • historyserver.web.address:hadoop102
   • history.web.port:8082
   • historyserver.archive.fs.refresh-interval:10000, 刷新間隔
3. 分發配置文件，之后修改各自的taskmanager主機
4. 啟動命令 bin/historyserver