關鍵字：TensorFlow 并行化、TensorFlow CPU多線程

場景：在沒有GPU或者GPU性能一般、環境不可用的機器上，對于多核CPU，有時TensorFlow或上層的Keras默認并沒有完全利用機器的計算能力（CPU占用沒有接近100%），因此想讓它通過多線程、并行化充分利用計算資源，提升效率。

1.?get_inter_op_parallelism_threads(...)? 獲取用于獨立操作之間并行執行的線程數。

• 此方法用于查詢當前配置中，可并行執行多個獨立操作（如無依賴關系的運算符）的線程池大小。獨立操作間的并行性通過線程池調度實現，適用于計算圖中無數據依賴的分支操作?。

?2.get_intra_op_parallelism_threads(...)? 獲取單個操作內部用于并行執行的線程數。

• 此方法返回單個運算符（如矩陣乘法、卷積等）內部并行計算時使用的線程數。某些復雜運算符可通過多線程加速計算，例如利用多核 CPU 并行處理子任務?。

?3.set_inter_op_parallelism_threads(...)? 設置用于獨立操作之間并行執行的線程數。

• 通過此方法調整線程池大小，控制獨立操作間的并行度。例如，在多個無依賴關系的運算符同時運行時，提高此值可提升整體吞吐量，但需避免過度占用資源導致競爭?。

?4.set_intra_op_parallelism_threads(...)?設置單個操作內部用于并行執行的線程數。

• 針對支持內部并行的運算符（如 matmul、reduce_sum），此方法設置其內部子任務的最大并行線程數。合理調整此值可優化計算密集型操作的性能，但需考慮 CPU 核心數和實際負載?。

參考鏈接：?https://www.tensorflow.org/api_docs/python/tf/config/threading

完整寫法：tf.config.threading.set_inter_op_parallelism_threads(num_threads)

注意事項?：線程數設置需在會話初始化前完成，且某些環境變量（如?OMP_NUM_THREADS）可能影響最終效果?。

import os
# 注意：環境變量需在導入TensorFlow之前設置才能確保生效
os.environ["OMP_NUM_THREADS"] = "1"       # 禁用OpenMP的多線程（由TensorFlow自己管理）
os.environ["KMP_BLOCKTIME"] = "0"         # 設置線程在空閑后立即回收import tensorflow as tfdef configure_cpu_parallelism(intra_threads=8, inter_threads=2):"""參數說明：intra_threads - 控制單個操作內部并行度（如矩陣乘法），建議設為物理CPU核心數inter_threads - 控制多個操作間的并行度，建議根據任務類型調整（計算密集/IO密集）推薦設置：對于計算密集型任務，inter_threads建議設為CPU的NUMA節點數或較小數值總線程數不應超過CPU邏輯核心數（可通過os.cpu_count()查看）"""try:# 設置操作內并行線程數（針對單個操作的多核并行）tf.config.threading.set_intra_op_parallelism_threads(intra_threads)# 設置操作間并行線程數（針對計算圖多個操作的流水線并行）tf.config.threading.set_inter_op_parallelism_threads(inter_threads)except RuntimeError as e:# TensorFlow運行時一旦初始化后無法修改配置print(f"配置失敗：{str(e)}（請確保在創建任何TensorFlow對象前調用本函數）")# 示例配置（假設8核CPU）
configure_cpu_parallelism(intra_threads=8, inter_threads=2)# 驗證配置
print("\n驗證當前線程配置：")
print(f"Intra-op threads: {tf.config.threading.get_intra_op_parallelism_threads()}")
print(f"Inter-op threads: {tf.config.threading.get_inter_op_parallelism_threads()}")
print(f"物理CPU核心數: {os.cpu_count()}")
print(f"OMP_NUM_THREADS: {os.environ.get('OMP_NUM_THREADS', '未設置')}")