隨著大語言模型（LLM）的參數規模從幾十億（B）飆升到千億（T）級別，模型的訓練與推理效率變得尤為關鍵。為了在保證精度的同時節省顯存、加快運算，混合精度訓練（Mixed Precision Training） 成為主流技術路徑。其中，bfloat16（Brain Floating Point 16）這種“腦力型”數據類型，在眾多精度方案中脫穎而出。

本文將系統介紹：

• bfloat16 是什么？

• 它和 float16、float32 有什么區別？

• 為什么在訓練和推理大模型時選擇它？

• 使用 bfloat16 的硬件要求與注意事項

一、什么是 bfloat16？

bfloat16，全稱 Brain Floating Point 16，是 Google 為其 TPU（Tensor Processing Unit）訓練深度神經網絡設計的一種 16 位浮點數格式。

雖然 bfloat16 也是 16 位，但它和常見的 IEEE 標準 float16 在結構上有本質區別：

數據類型	符號位	指數位	尾數位（有效位）	動態范圍（指數）	精度
float32	1	8	23	~ 1e-38~1e+38	高
float16	1	5	10	~ 1e-5~1e+5	中
bfloat16	1	8	7	~ 1e-38~1e+38	較低

🔍 總結一句話：

bfloat16 保留了 float32 的動態范圍，但犧牲了精度（有效位只有 7 位）

二、為什么 bfloat16 對大語言模型訓練很重要？

大語言模型的訓練常常會遇到數值非常小或非常大的梯度、激活值，數值穩定性至關重要。而選擇 bfloat16 的主要原因如下：

1. 更大的動態范圍，避免梯度溢出/下溢

由于指數位和 float32 一樣，bfloat16 能處理更大或更小的數：

• float16 的指數只有 5 位，容易溢出（如 1e+5 以上）或下溢（如 1e-5 以下）；

• bfloat16 有 8 位指數（與 float32 一致），能穩定表達極端值。

這對于訓練大模型時的 數值穩定性 非常關鍵，尤其在深層 Transformer 或 LayerNorm 操作中。

2. ?精度雖然低，但足夠用于神經網絡訓練

雖然 bfloat16 只有 7 位有效位，不如 float16（10 位）精細，但神經網絡在訓練過程中對精度的需求并不高。尤其在使用混合精度訓練（如 PyTorch AMP）時，關鍵參數仍保持高精度（如 float32 master weights），而中間值才使用 bfloat16，從而取得 速度與穩定性之間的最佳平衡。

---

3. 顯存占用更低，Batch Size 更大

bfloat16 只需 16 位（2 字節）存儲空間，和 float16 一樣，相比 float32 節省了一半顯存。這意味著：

• 可以訓練更大的模型；

• 可以增大 batch size，提高吞吐量；

• 更適合部署到顯存有限的環境中（如 A100 40GB 卡、TPU v3）。

4.?高端硬件對 bfloat16 支持強，計算更快

• Google TPU 系列（v2/v3/v4）原生支持 bfloat16；

• NVIDIA A100/H100 GPU 也對 bfloat16 提供專門硬件加速（比 float16 更快）；

• PyTorch、TensorFlow、JAX 等框架都已原生支持。

也就是說：使用 bfloat16 不僅節省顯存，而且還能獲得更快的訓練速度（不是簡單壓縮數據，而是利用硬件優化加速矩陣計算）。

三、bfloat16 在推理中的優勢

雖然訓練中使用 bfloat16 已成為主流，但在 推理（inference）階段，它依然具有多方面優勢：

推理目標	bfloat16 表現
減少延遲	16-bit 運算快于 float32
節省顯存	可加載更大模型
多并發推理	提高 batch 吞吐量
穩定性（比 float16）	動態范圍大，防止下溢

在像 vLLM、FasterTransformer、DeepSpeed-Inference 等推理框架中，bfloat16 是性能與穩定性的權衡首選。

四、什么時候不適合用 bfloat16？

雖然 bfloat16 非常強大，但它也不是萬能的：

• 對于低端消費級 GPU（如 RTX 3090/4070），可能不支持 bfloat16 加速，需要回退到 float16。

• 某些模型在推理階段可能仍對精度敏感（如科學計算場景），可能需要 float32。

建議： 有 A100/H100/TPU 時優先用 bfloat16；消費級設備優先 float16；極端壓縮可考慮 int8/int4（量化）。

五、小結

對比維度	float32	float16	bfloat16
位數	32	16	16
精度（有效位）	? 23 位	?? 10 位	?? 7 位
范圍（指數位）	? 8 位	?? 5 位	? 8 位
顯存需求	高	低	低
穩定性（訓練時）	? 穩定	?? 易溢出	? 穩定
硬件加速支持	普遍支持	普遍支持	? A100/TPU 強支持

總結：為什么 LLM 訓練和推理用 bfloat16？

• 更大數值范圍（比 float16 更穩定）

• 更小內存占用（比 float32 更高效）

• 硬件加速好（TPU、A100/H100 原生支持）

• 精度足夠，不會顯著影響模型性能

在現代深度學習中，bfloat16 已成為 float32 的“低成本替代者”，特別適合大語言模型訓練和部署。