梯度累積（Gradient Accumulation）原理詳解
梯度累積是一種在深度學習訓練中常用的技術，特別適用于顯存有限但希望使用較大批量大小（batch size）的情況。通過梯度累積，可以在不增加單個批次大小的情況下模擬較大的批量大小，從而提高模型的穩定性和收斂速度。
基本概念
在標準的隨機梯度下降（SGD）及其變體（如Adam、RMSprop等）中，每次更新模型參數時都需要計算整個批次數據的損失函數梯度，并立即用這個梯度來更新模型參數。然而，在處理大規模數據集或使用非常大的模型時，單個批次的數據量可能會超出GPU顯存的容量。此時，梯度累積技術就可以發揮作用。
工作原理
梯度累積的核心思想是：將多個小批次（mini-batch）的梯度累加起來，然后一次性執行一次參數更新。具體步驟如下：
- 初始化梯度累積器：在每個訓練步驟開始時，初始化一個梯度累積器（通常為零）。
- 前向傳播與梯度計算：
- 對于每一個小批次
i（從 1 到 k），執行前向傳播計算損失。 - 執行反向傳播計算該小批次的梯度。
- 對于每一個小批次
- 累積梯度：將當前小批次的梯度累加到梯度累積器中。
- 參數更新：當累積了
k個小批次的梯度后，使用累積的梯度來更新模型參數，并重置梯度累積器。
詳細步驟
假設我們希望使用的批量大小是 N，但由于顯存限制只能使用較小的批量大小 n（其中 N = k * n），那么我們可以進行 k 次前向和后向傳播，每次都計算一個小批次的梯度并將其累加，直到累積了 k 個小批次的梯度之后，再進行一次參數更新。
示例代碼
以下是一個簡單的PyTorch示例，展示了如何實現梯度累積：
import torch
import torch.nn as nn
import torch.optim as optim# 假設有一個簡單的模型
model = nn.Linear(10, 2)
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)# 設置梯度累積步數
accumulation_steps = 4
optimizer.zero_grad() # 清空梯度for i, (inputs, labels) in enumerate(data_loader):outputs = model(inputs)loss = criterion(outputs, labels)# 將損失除以累積步數，使得總的損失不變loss = loss / accumulation_steps# 反向傳播計算梯度loss.backward()if (i + 1) % accumulation_steps == 0:# 累積足夠步數后，執行優化步驟optimizer.step()optimizer.zero_grad() # 清空梯度
關鍵點解釋
-
損失縮放：由于我們將一個大批次分成多個小批次，并且每次只計算一個小批次的損失，因此需要將每個小批次的損失除以累積步數
accumulation_steps，以確保總的損失值保持不變。 -
梯度累積：每次反向傳播后，梯度會被累加而不是立即用于更新參數。只有當累積了足夠的步數后，才會使用累積的梯度進行一次參數更新。
-
參數更新：在累積了足夠的梯度后，調用
optimizer.step()來更新模型參數，并清空梯度累積器（即調用optimizer.zero_grad()）。
優點
- 突破顯存限制：通過使用較小的批量大小，可以有效地減少每一步所需的顯存量，從而允許在有限的硬件資源上訓練更大的模型或使用更大的批量大小。
- 模擬大批次訓練效果：梯度累積實際上模擬了使用較大批量大小的效果，有助于提高模型訓練的穩定性和收斂速度。
- 靈活性：可以根據實際硬件條件靈活調整累積步數，適應不同的訓練需求。
注意事項
- 學習率調整：由于梯度累積實際上是將多個小批次的梯度累加起來進行一次更新，因此需要相應地調整學習率。例如，如果原始設置的學習率為
lr，并且使用了k步梯度累積，則新的有效學習率應為lr * k。 - 隨機性影響：梯度累積可能會引入一定的隨機性，因為不同小批次之間的順序可能會影響最終的梯度累積結果。不過，在實踐中這種影響通常是可以接受的。
總結
梯度累積是一種非常實用的技術，特別是在顯存受限但希望利用更大批量大小的情況下。它不僅幫助克服了硬件限制，還能夠保持甚至提升模型訓練的質量。通過合理配置梯度累積步數和學習率，可以顯著改善訓練效率和效果。
