Linux命令行:
sh flink_run.sh test com.dzj.app.base.test.FlinkKafkaOffsetTest /root/soft/test.jar
flink_run.sh腳本內容:
#!/bin/bash# 檢查參數數量是否正確
if [ "$#" -ne 3 ]; thenecho "錯誤:需要提供 3 個參數"exit 1
else# 打印所有輸入參數echo "輸入參數數量:$#"echo "輸入參數列表:$@"
fi# 打印每個參數
echo "第一個參數 -ynm:$1"
echo "第二個參數 -c:$2"
echo "第三個參數 jar:$3"# 獲取所有正在運行的 YARN 任務
running_tasks=$(yarn application -list | grep RUNNING)# 檢查是否有名為 $1 的任務
if echo "$running_tasks" | grep -q "$1"; then# 如果找到了名為 $1 的任務echo "Yarn-Cluster此運行任務已在運行:Found '$1' task running"exit 0
else# 如果沒有找到名為 $1 的任務,返回 0echo "Yarn-Cluster未找到此運行任務:No '$1' task running"# 獲取 /flink/checkpoint/$1/ 目錄下最新修改的文件夾latest_folder=$(hdfs dfs -ls /flink/checkpoint/$1/ | grep '^d' | awk '{print $6, $7, $8}' | sort -k1,1 -k2,2 | tail -1 | awk '{print $3}')latest_ckpt_folder=$(hdfs dfs -ls $latest_folder | grep '^d' | awk '{print $6, $7, $8}' | sort -k1,1 -k2,2 | tail -1 | awk '{print $3}')# 檢查是否找到最新文件夾的路徑if [ -z "$latest_ckpt_folder" ]; thenecho "未找到最新的checkpoint路徑No ckpt_folder in: /flink/checkpoint/$1/"# 替換命令中的 -s 參數為最新文件夾的路徑flink_command="flink run -d -m yarn-cluster -ynm $1 -c $2 $3"else# 返回最新修改的文件夾名echo "最新的checkpoint路徑Latest ckpt_folder: $latest_ckpt_folder"# 替換命令中的 -s 參數為最新文件夾的路徑flink_command="flink run -s hdfs://172.29.105.99:8020$latest_ckpt_folder -m yarn-cluster -ynm $1 -c $2 $3"fi
fi# 執行命令
echo "Flink執行命令Executing command: $flink_command"
eval $flink_command