混合并行訓練框架性能對比

1. 框架類型

• DeepSpeed、Megatron - LM、Colossal - AI、SageMaker、Merak、FasterMoE、Tutel、Whale、Alpa、DAPPLE、Mesh - TensorFlow
  

2. 可用并行性（Available parallelisms）

• DNN framework（深度神經網絡框架）
• DP（數據并行，Data Parallelism）
• PP（流水線并行，Pipeline Parallelism）</