1.Flink的Slot特點:
-
- 均分隔離內存,不隔離CPU
-
- 可以共享:
- 同一個job中,不同算子的子任務才可以共享同一個slot,同時在運行的前提是,屬于同一個slot共享組,默認都是“default”
2.Slot的數量 與 并行度 的關系
-
- slot 是一種靜態的概念,表示最大的并發上線
- 并行度是個動態的概念,表示 實際運行 占用了 幾個
-
- 要求:slot數量 >= job并行度(算子最大并行度),job才能運行
- 注意:如果是yarn模式,動態申請
申請的TM數量 = job并行度 / 每個TM的 slot 數,向上取整
比如session:一開始 0 個TaskManager,0個slot
提交一個job,并行度10, 每個tm設置3個slot,10/3,向上取整,申請4個tm,使用10個slot,剩余2個slot
Standalone會話模式作業提交流程
1)腳本啟動執行,客戶端先解析參數比如-t,-p,-c會進行解析等,之后多了一個細節,就涉及到Flink一個