FP16與顯存占用關系

顯存（Video RAM，簡稱 VRAM）是顯卡（GPU）專用的內存。

FP32（單精度浮點）：傳統深度學習默認使用32位浮點數

每個參數占用`4字節`例如：1億參數的模型 → 約400MB顯存

FP16（半精度浮點）：

每個參數占用`2字節`（直接減半）相同模型 → 約200MB顯存

雙精度浮點（FP64）占 8字節。
EEE 754標準：FP64遵循該國際標準，用 64位（8字節） 存儲一個浮點數

機器學習中一般使用混合精度訓練：FP16計算 + FP32存儲關鍵變量。

混合精度方案的解決方式：

關鍵部分保留FP32：模型權重在優化時會保留FP32副本（主權重）損失計算使用FP32非關鍵部分使用FP16：前向傳播的中間激活值反向傳播的梯度