Flink 的 JobManager 和 TaskManager 在內存分配上有不同的職責和結構。以下是兩者的內存分類及詳細說明：

---

一、JobManager 內存分類

JobManager 主要負責作業調度、協調（如 Checkpoint 協調）、資源管理等，其內存需求相對較低，主要分為以下幾個部分：

1. JVM 堆內存（JVM Heap）

• 用途：
  • 存儲作業的元數據（如 JobGraph、ExecutionGraph）。
  • 管理 Checkpoint 協調信息（如 Checkpoint 觸發邏輯）。
  • 處理客戶端提交作業的請求（如 REST API 交互）。
• 配置參數：
  • jobmanager.memory.heap.size：直接指定堆大小（如 2048m）。
  • jobmanager.memory.heap.fraction：按比例分配（需結合總內存配置）。

2. JVM 元空間（Metaspace）

• 用途：存儲 JVM 加載的類元數據（Class Metadata）。
• 配置參數：
  • jobmanager.memory.jvm-metaspace.size：默認約 256m，可通過 -XX:MaxMetaspaceSize 調整。

3. JVM 直接內存（Direct Memory）

• 用途：用于 Netty 網絡通信的堆外內存（如 JobManager 與 TaskManager 間的心跳通信）。
• 配置參數：
  • jobmanager.memory.off-heap.size：默認較小（如 128m），一般無需調整。

4. JVM 開銷（JVM Overhead）

• 用途：為 JVM 自身預留的內存（如線程棧、本地方法調用）。
• 配置參數：
  • jobmanager.memory.jvm-overhead.min/max/fraction：通常占總內存的 10%。

5. 總內存公式

Total JobManager Memory = Heap + Metaspace + Direct Memory + JVM Overhead + 其他（如 Native 庫）

---

二、TaskManager 內存分類

TaskManager 是數據計算的核心組件，其內存結構更為復雜，主要分為以下部分：

1. 框架堆內存（Framework Heap）

• 用途：運行 Flink 框架本身的代碼（如 Task 調度、Shuffle 管理）。
• 配置參數：
  • taskmanager.memory.framework.heap.size：默認 128m，一般無需調整。

2. 任務堆內存（Task Heap）

• 用途：用戶代碼（如 Map、Filter 算子）的堆內存，存儲用戶創建的對象。
• 配置參數：
  • taskmanager.memory.task.heap.size：直接指定大小。
  • taskmanager.memory.task.heap.fraction：按比例分配（默認 0.4）。

3. 托管內存（Managed Memory）

• 用途：Flink 自動管理的內存，用于批處理排序/哈希、RocksDB 狀態后端、PyFlink 等（詳見之前的總結）。
• 配置參數：
  • taskmanager.memory.managed.size 或 taskmanager.memory.managed.fraction（默認 0.4）。

4. 網絡緩沖區（Network Buffers）

• 用途：TaskManager 間數據傳輸的緩沖區（如 Shuffle、Broadcast）。
• 配置參數：
  • taskmanager.memory.network.min/max/fraction：默認占總內存的 0.1。
  • 每個 Buffer 大小：taskmanager.memory.segment-size（默認 32KB）。

5. JVM 元空間（Metaspace）

• 配置參數：
  • taskmanager.memory.jvm-metaspace.size：默認 256m。

6. JVM 直接內存（Direct Memory）

• 用途：用于堆外數據（如 RocksDB 直接訪問內存、Netty 網絡傳輸）。
• 配置參數：
  • taskmanager.memory.off-heap.size：默認不啟用，需顯式配置。

7. JVM 開銷（JVM Overhead）

• 配置參數：
  • taskmanager.memory.jvm-overhead.min/max/fraction：默認占總內存的 0.1。

8. 總內存公式

Total TaskManager Memory = Framework Heap + Task Heap + Managed Memory + Network Buffers + Metaspace + Direct Memory + JVM Overhead + 其他（如 Native 庫）

---

三、配置示例與調優建議

1. JobManager 配置示例

jobmamager.memory.process.size: 8192m   # 總內存 
jobmanager.memory.heap.size: 4096m      # 堆內存 4GB
jobmanager.memory.jvm-metaspace.size: 512m  # 元空間 512MB
jobmanager.memory.jvm-overhead.max: 1024m   # JVM 開銷上限 1GB

2. TaskManager 配置示例

taskmamager.memory.process.size = 10240m    # tm總內存
taskmanager.memory.task.heap.size: 4096m    # 任務堆內存 4GB
taskmanager.memory.managed.size: 8192m      # 托管內存 8GB（用于批處理或 RocksDB）
taskmanager.memory.network.fraction: 0.2    # 網絡緩沖區占比 20%
taskmanager.memory.jvm-metaspace.size: 512m # 元空間 512MB

3. 調優建議

• JobManager：
  • 小規模作業：堆內存 2~4GB 足夠。
  • 大規模作業（如千個 Task）：需增大堆內存（如 8GB+）以處理更多元數據。
• TaskManager：
  • 批處理作業：增大托管內存（占比 50%~70%）減少磁盤溢出。
  • 流處理作業（使用 RocksDB）：確保托管內存足夠容納 Block Cache（至少 1GB）。
  • 高吞吐場景：增加網絡緩沖區大小或占比，避免背壓。
  • 避免 OOM：
    • 若用戶代碼占用堆內存過多，增大 taskmanager.memory.task.heap.size。
    • 若元空間不足，調整 -XX:MaxMetaspaceSize。

---

四、常見問題排查

1. JobManager OOM：

   • 現象：作業提交失敗或頻繁 Full GC。
   • 解決：增大 jobmanager.memory.heap.size，檢查元數據規模（如超大狀態）。

2. TaskManager OOM：

   • Task Heap OOM：用戶代碼生成過多對象 → 增大任務堆內存。
   • Managed Memory OOM：批處理溢出頻繁或 RocksDB 緩存不足 → 增大托管內存。
   • Metaspace OOM：類加載過多 → 調整 -XX:MaxMetaspaceSize。

3. 網絡瓶頸：

   • 現象：反壓（Backpressure）或低吞吐。
   • 解決：增大 taskmanager.memory.network.fraction 或 taskmanager.memory.segment-size。

---

五、總結

• JobManager：輕量級協調者，內存需求集中在堆和元空間。
• TaskManager：核心計算節點，需平衡任務堆內存、托管內存和網絡緩沖區。
• 調優核心：根據作業類型（批/流）、狀態后端（Heap/RocksDB）和集群規模動態調整。建議通過 Flink Web UI 監控內存使用率，逐步優化配置。