在深度學習的世界里，有一個看似簡單卻讓無數開發者困惑的現象：

“為什么在訓練時模型表現良好，但設置 model.eval() 后，模型的性能卻顯著下降？”

這是一個讓人抓耳撓腮的問題，幾乎每一個使用 PyTorch 的研究者或開發者，在某個階段都可能遭遇這個“陷阱”。更有甚者，模型在訓練集上表現驚艷，結果在驗證集一跑，其泛化能力顯著不足。是不是 model.eval() 有 bug？是不是我們不該調用它？是不是我的模型結構有問題？

這篇文章將帶你從理論推導、代碼實踐、系統架構、運算機制多個維度，深刻剖析 PyTorch 中 model.eval() 的真正機理，探究它背后的機制與誤區，最終回答這個困擾無數開發者的問題：

“為什么在設置 model.eval() 之后，PyTorch 模型的性能會很差？”

1. 走進 model.eval() ：它到底做了什么？

我們從一個簡單的例子出發：

import?torch
import?torch.nn?as?nn
import?torch.nn.functional?as?Fclass?SimpleNet(nn.Module):def?__init__(self):super(SimpleNet,?self).__init__()self.bn?=?nn.BatchNorm1d(10)self.dropout?=?nn.Dropout(p=0.5)self.fc?=?nn.Linear(10,?2)def?forward(self,?x):x?=?self.bn(x)x?=?self.dropout(x)x?=?self.fc(x)return?xnet?=?SimpleNet()
net.train()

此時模型處于訓練模式。如果我們打印 net.training，會得到：

>>>?net.training
True

當我們調用：

net.eval()

此時模型切換為評估模式，所有子模塊的 training 狀態也被設置為 False。

>>>?net.training
False
>>>?net.bn.training
False
>>>?net.dropout.training
False

那么 eval() 到底改變了什么？

• 所有 BatchNorm 層 會停掉更新其內部的 running_mean 和 running_var，而是使用它們進行歸一化。

• 所有 Dropout 層 會停掉隨機丟棄神經元，即變為恒等操作。

這意味著模型在 eval() 模式下的前向傳播將非常不同于訓練模式。這也是性能變化的第一個線索。

2. 訓練模式與評估模式的根本性差異

2.1 BatchNorm 的行為差異

在訓練模式下，BatchNorm 的行為如下：

output?=?(x?-?batch_mean)?/?sqrt(batch_var?+?eps)

并且會更新：

running_mean?=?momentum?*?running_mean?+?(1?-?momentum)?*?batch_mean
running_var?=?momentum?*?running_var?+?(1?-?momentum)?*?batch_var

在評估模式下：

output?=?(x?-?running_mean)?/?sqrt(running_var?+?eps)

這意味著，評估時完全不依賴當前輸入的統計量，而是依賴訓練過程中累積下來的全局統計量。

2.2 Dropout 的行為差異

#?訓練中
output?=?x?*?Bernoulli(p)#?評估中
output?=?x

這導致模型在訓練時學會了對不同的神經元組合進行平均，而在測試時僅使用一種“確定性”的路徑。

3. BatchNorm：評估模式性能下降的主要影響因素

假設你訓練了一個 CNN 網絡，使用了多個 BatchNorm 層，并且你的 batch size 設置為 4 或更小。你訓練時模型準確率高達 95%，但是一旦調用 eval()，準確率掉到了 60%。

為什么？

3.1 小 Batch Size 的問題

BatchNorm 的核心假設是：一個 mini-batch 的統計特征可以近似整個數據集的統計特征。當 batch size 很小時，這個假設不成立，導致 running_mean 和 running_var 極不準確。

3.2 可視化驗證

import?matplotlib.pyplot?as?pltprint(net.bn.running_mean)
print(net.bn.running_var)

你會發現，在小 batch size 下，這些值可能嚴重偏離真實數據的分布。

3.3 解決方案

• 使用 GroupNorm 或 LayerNorm 替代 BatchNorm，它們對 batch size 不敏感。

• 在訓練時使用較大的 batch size。

• 在訓練后重新計算 BatchNorm 的 running statistics。

#?重新計算?BN?的?running_mean?與?running_var
def?update_bn_stats(model,?dataloader):model.train()with?torch.no_grad():for?images,?_?in?dataloader:model(images)#?使用訓練集執行一次前向傳播
update_bn_stats(net,?train_loader)

4. Dropout 的雙重特性

Dropout 是訓練中的一種正則化機制，但在測試時它的行為完全不同，可能導致模型推理路徑發生大幅變化。

4.1 為什么 Dropout 影響性能？

在訓練時：

x?=?F.dropout(x,?p=0.5,?training=True)

模型學會了在缺失一部分神經元的條件下也能推斷。而評估時：

x?=?F.dropout(x,?p=0.5,?training=False)

這會導致所有神經元都被使用，激活值整體偏移，性能下降。

4.2 MC-Dropout：一種解決方法

def?enable_dropout(model):for?m?in?model.modules():if?m.__class__.__name__.startswith('Dropout'):m.train()#?測試時啟用?Dropout
enable_dropout(model)
preds?=?[model(x)?for?_?in?range(10)]
mean_pred?=?torch.mean(torch.stack(preds),?dim=0)

這種方法稱為 Monte Carlo Dropout，可以用于不確定性估計，也在一定程度上緩解 Dropout 導致的性能問題。

5. 訓練與測試數據分布差異影響

評估模式性能下降，有時并不是 eval() 的錯，而是 訓練與測試數據分布不一致。

5.1 典型例子：圖像增強

訓練時你使用：

transforms.Compose([transforms.RandomCrop(32),transforms.RandomHorizontalFlip(),transforms.ToTensor()
])

測試時你使用：

transforms.Compose([transforms.CenterCrop(32),transforms.ToTensor()
])

如果訓練和測試數據分布差異過大，BatchNorm 的 running_mean/var 就會“失效”。

6. 常見錯誤代碼與最佳實踐

錯誤示例一：沒有切換模式

#?忘記設置?eval?模式
model(train_data)
model(test_data)??#?仍在?train?模式，BN/Dropout?錯誤

錯誤示例二：訓練和驗證共享 dataloader

train_loader?=?DataLoader(dataset,?batch_size=4,?shuffle=True)
val_loader?=?train_loader??#?錯誤，共享數據增強

最佳實踐

model.eval()
with?torch.no_grad():for?images,?labels?in?val_loader:outputs?=?model(images)

7. 如何正確使用 eval()？

• 始終在驗證前調用 eval()

• 驗證時關閉梯度計算

• 確保 BatchNorm 的統計量合理

• 嘗試使用 LayerNorm 等替代方案

• 在有 Dropout 的網絡中可以使用 MC-Dropout 方法

8. 從系統設計角度看評估模式的陷阱

model.eval() 并不是“性能下降”的主要原因，它只是執行了你告訴它該做的事情。

問題出在：

• 你沒有正確地初始化 BN 的統計量

• 你訓練數據分布有偏

• 你誤用了 Dropout 或者 batch size 太小

換句話說：模型評估的失敗，是訓練設計的失敗

9. 實戰案例：ImageNet 模型測試評估結果異常的根源

許多 ImageNet 模型在訓練時 batch size 為 256，測試時 batch size 為 32 或更小。這會導致 BN 統計差異極大。

解決方法：

• 使用 EMA 平滑 BN 參數

• 使用 Fixup 初始化等替代 BN 的方案

• 再訓練一遍最后幾層 + BN

10. 結語

model.eval() 本身是一個中立的函數，它只做了兩件事：

• 停掉?Dropout

• 啟用 BatchNorm 的推理模式

它的行為是完全合理的。性能下降的根源，不在 eval()，而在于我們對模型訓練、驗證流程的理解不夠深入。

理解這背后的機理，我們才能真正掌握深度學習的本質。