LeNet 系列之后 —— VGG（詳解）：從原理到 PyTorch 實現

標題：VGG 神經網絡（詳解）—— 原理、逐層計算、PyTorch 實現與實驗指南
簡介：VGG（Visual Geometry Group）由 Simonyan & Zisserman 在 2014 年提出，主張用統一的小卷積核（3×3）堆疊并加深網絡，取得了 ImageNet 上的優秀效果。本文目標是把 VGG 的思想、結構、逐層維度/參數計算以及一個可跑通的 PyTorch 示例講清楚

---

---

1. VGG 的發展歷史與意義（一句話＋背景）

• 一句話：VGG 提出“把網絡加深并統一用小卷積核（3×3）”的設計思想，證明了深度（depth）在卷積網絡表征能力上的重要性。
• 背景/成績：VGG 的模型（其兩個最優模型）在 ILSVRC2014 的分類/定位任務中取得了非常靠前的結果（classification 與 localization 分別取得優異名次）。在 ILSVRC2014 上，GoogLeNet 為第一名，VGG 的提交在分類賽道上名列前茅（ensemble/top5 ~7.3% 左右），在定位上也表現很好。([image-net.org][1])

---

2. VGG 的核心思想（要點）

• 非常小的卷積核（3×3）并多層堆疊：用許多 3×3 卷積替代單個大核（例如 7×7），既能增加網絡深度，也能用更少的參數獲得更復雜的非線性。論文中闡明：兩層 3×3 的堆疊擁有等效的 5×5 感受野，三層 3×3 等效 7×7。
• 統一的設計范式：每個 block 中重復 “(conv3×3 → ReLU)” 若干次，再做 2×2 max-pool 下采樣；每個 block 的通道數在下采樣后翻倍（64→128→256→512）。
• 深度優先：通過把“寬度”控制在中等，重點增加“深度”，提升表達能力。
• 簡單實用：統一且模塊化，便于移植、遷移學習與微調。現成的預訓練權重也廣泛可得（PyTorch/torchvision 等）。([PyTorch Docs][2])

---

3. VGG 的主要版本（配置）

論文中給出幾種配置（A–E）；常見編號對應為：

• VGG-11 (A)
• VGG-13 (B)
• VGG-16 (D，最常見，常說的 VGG16）
• VGG-19 (E)

各配置差異主要在每個 block 內 conv 層的個數（例如 VGG16 每個 block 的 conv 層數為 2/2/3/3/3）。更多細節見論文配置表。

---

4. 逐層結構詳解 + 逐層計算舉例（以 VGG-16 為例）

4.1 形狀變化公式（卷積/池化常用公式）

• 卷積輸出寬/高計算（單層）：

  $$H_{out}=?\frac{H_{in}?K+2P}{S}?+1$$

  其中 $K$ 為核大小（例如 3），$P$ 為 padding，$S$ 為 stride。VGG 全部 conv 使用 K=3, P=1, S=1，因此空間尺度 保持不變。

• 池化（2×2, stride=2）會將寬高各除以 2：$H_{out}=H_{in}/2$。

4.2 參數數量計算公式

• 卷積層參數（含偏置）：

  $$\text{params}=C_{in}\times C_{out}\times K\times K(+C_{out}\text{biases})$$

• 全連接層參數（含偏置）：

  $$\text{params}=N_{in}\times N_{out}(+N_{out}\text{biases})$$

4.3 逐層數值舉例（VGG-16，輸入：3 × 224 × 224）

下面表格列出每層的輸入/輸出尺寸以及該層參數（含 bias）。（注：padding=1, stride=1 的 3×3 conv；池化 2×2 stride=2）

層名	類型	輸入	輸出	參數量（含 bias）
conv1_1	conv 3→64 (3×3)	3×224×224	64×224×224	1,792 （1728 + 64）
conv1_2	conv 64→64	64×224×224	64×224×224	36,928
pool1	maxpool 2×2	64×224×224	64×112×112	0
conv2_1	conv 64→128	64×112×112	128×112×112	73,856
conv2_2	conv 128→128	128×112×112	128×112×112	147,584
pool2	maxpool	128×112×112	128×56×56	0
conv3_1	conv 128→256	128×56×56	256×56×56	295,168
conv3_2	conv 256→256	256×56×56	256×56×56	590,080
conv3_3	conv 256→256	256×56×56	256×56×56	590,080
pool3	maxpool	256×56×56	256×28×28	0
conv4_1	conv 256→512	256×28×28	512×28×28	1,180,160
conv4_2	conv 512→512	512×28×28	512×28×28	2,359,808
conv4_3	conv 512→512	512×28×28	512×28×28	2,359,808
pool4	maxpool	512×28×28	512×14×14	0
conv5_1	conv 512→512	512×14×14	512×14×14	2,359,808
conv5_2	conv 512→512	512×14×14	512×14×14	2,359,808
conv5_3	conv 512→512	512×14×14	512×14×14	2,359,808
pool5	maxpool	512×14×14	512×7×7	0
flatten	—	512×7×7	25088	0
fc1	FC 25088→4096	25088	4096	102,764,544
fc2	FC 4096→4096	4096	4096	16,781,312
fc3	FC 4096→1000	4096	1000	4,097,000

• 總參數量（VGG-16）：138,357,544（約 138M）。可以看到 絕大部分參數來源于前兩層 FC（尤其是第一個 FC）。這就是為什么全連接層往往是參數與存儲瓶頸。數據來源與論文表格一致。

4.4 感受野（receptive field）直觀說明

• 單個 3×3 卷積的感受野是 3×3；兩個 3×3 連著（無下采樣）對原圖的等效感受野是 5×5；三個 3×3 等效為 7×7。直觀上，第二層卷積核“看”到的是前一層 3×3 的特征，而這些特征本身對應原始圖像上的 3×3 區域，合并后等價于更大的窗口，但通過兩次非線性（ReLU）增強了表達能力。

---

5. 關鍵設計點解析（深入）

• 為什么用 3×3 而不是 7×7/11×11？

  • 參數效率：用三個 3×3 的層實現 7×7 的等效感受野，但參數更少；例如單個 7×7（輸入 c, 輸出 d）參數為 $c\times d\times 7\times 7$，而三個 3×3 的組合參數為 $c\times m\times 3\times 3+m\times n\times 3\times 3+n\times d\times 3\times 3$（若中間通道數相同可更便宜），并且中間層帶非線性，表達更豐富。論文對這一點做了論證。

• ReLU：使用 ReLU 作為非線性，訓練收斂快且減少了梯度消失問題（當時為常用選擇）。

• FC 層大且昂貴：VGG 的 FC 層占參數大頭（約 90%+），是模型存儲的瓶頸。后來很多工作（例如全局平均池化、去掉大 FC）用來做模型輕量化。

• BN（批歸一化）：在后續實踐中，VGG-BN（在 conv 后加 BN）能顯著加速訓練并提升穩定性；PyTorch/torchvision 提供 vgg16_bn。([PyTorch Docs][3])

---

6. PyTorch 實現

下面給出兩個版本：（A）直接使用 torchvision 的預訓練模型（最簡單）；（B）自定義實現 VGG-16 的代碼（用于教學/修改）。二者都附訓練/微調的骨架。

A. 直接用 torchvision（推薦做遷移學習）

# 直接加載 torchvision 預訓練 VGG16，并替換最后的分類頭（示例：用于 CIFAR-10）
import torch
import torch.nn as nn
from torchvision import modelsdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")# 加載預訓練權重（PyTorch >= 0.13 的新 API 以 weights 參數為準）
vgg = models.vgg16(weights=models.VGG16_Weights.IMAGENET1K_V1)  # 或 weights='IMAGENET1K_V1'
# 替換 classifier 的最后一層為 10 類（CIFAR-10）
vgg.classifier[-1] = nn.Linear(in_features=4096, out_features=10)
vgg = vgg.to(device)

如果你的 PyTorch 版本沒有 weights 參數，用 pretrained=True（老版本）。

B. 自定義 VGG-16（配置 D）的實現

# 教學用：手寫 VGG-16 的構建函數（簡化版，不含 BN）
import torch.nn.functional as F
import torchdef make_vgg_layers(cfg):layers = []in_channels = 3for v in cfg:if v == 'M':layers += [nn.MaxPool2d(kernel_size=2, stride=2)]else:layers += [nn.Conv2d(in_channels, v, kernel_size=3, padding=1),nn.ReLU(inplace=True)]in_channels = vreturn nn.Sequential(*layers)# cfg for VGG-16 (D)
cfg_D = [64, 64, 'M',128, 128, 'M',256, 256, 256, 'M',512, 512, 512, 'M',512, 512, 512, 'M']class VGG16Custom(nn.Module):def __init__(self, num_classes=1000, init_weights=True):super().__init__()self.features = make_vgg_layers(cfg_D)self.classifier = nn.Sequential(nn.Linear(512*7*7, 4096),nn.ReLU(True),nn.Dropout(),nn.Linear(4096, 4096),nn.ReLU(True),nn.Dropout(),nn.Linear(4096, num_classes))if init_weights:self._initialize_weights()def forward(self, x):x = self.features(x)x = torch.flatten(x, 1)x = self.classifier(x)return xdef _initialize_weights(self):for m in self.modules():if isinstance(m, nn.Conv2d):nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')if m.bias is not None:nn.init.constant_(m.bias, 0)elif isinstance(m, nn.Linear):nn.init.normal_(m.weight, 0, 0.01)nn.init.constant_(m.bias, 0)# 使用舉例
model = VGG16Custom(num_classes=10).to(device)

訓練/微調的示例骨架（CIFAR-10）

# 訓練骨架（略去數據加載細節）
import torch.optim as optim
from torch.optim import lr_schedulercriterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9, weight_decay=5e-4)
scheduler = lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)  # 每 30 epoch lr*0.1num_epochs = 50
for epoch in range(num_epochs):model.train()for imgs, labels in train_loader:imgs, labels = imgs.to(device), labels.to(device)optimizer.zero_grad()outputs = model(imgs)loss = criterion(outputs, labels)loss.backward()optimizer.step()scheduler.step()# 驗證部分省略：計算 val_loss / val_acc 并記錄用于作圖

數據增強（CIFAR-10 推薦）：RandomCrop(32, padding=4), RandomHorizontalFlip(), Normalize(mean,std)。
PyTorch 官方 vgg16 / vgg16_bn 的細節參見 torchvision 文檔。([PyTorch Docs][2])

---

7. 訓練與評估（超參、訓練曲線、結果呈現建議）

建議超參數（可作為 baseline）

• dataset：CIFAR-10（演示）或 ImageNet（實際訓練需大量資源）
• batch_size：128（顯存允許越大越穩）
• optimizer：SGD（momentum=0.9）或 Adam（調參）
• lr：0.01（SGD）或 1e-3（Adam），配合 lr scheduler（StepLR / CosineAnnealing）
• weight_decay：5e-4（控制過擬合）
• epochs：50–200（視數據集大小而定）
• 數據增強：隨機裁剪、水平翻轉、顏色抖動（視情況）

訓練曲線繪制（示例）

• 每 epoch 記錄 train_loss, val_loss, train_acc, val_acc，使用 matplotlib 繪圖：

import matplotlib.pyplot as plt
plt.figure()
plt.plot(epochs, train_losses, label='train_loss')
plt.plot(epochs, val_losses, label='val_loss')
plt.legend(); plt.xlabel('epoch'); plt.ylabel('loss')

• 典型現象：train_loss 下降，val_loss 在開始下降后趨于平穩或上升（過擬合）→ 可加入更多增強/減小 FC/加 BN/用 dropout。

示例結果（說明）

• 說明：我無法在這里替你訓練模型拿到具體曲線，但用上面的超參和 CIFAR-10 數據增強，VGG-16（做遷移學習或從頭訓練）通常能達到 約 90%+ 的 top-1 準確率（取決于訓練時長與增強策略）。如果需要，我可以給出一個更精確的訓練腳本和繪圖代碼（但當前回答包含了足夠骨架，讓你直接運行）。（注：不同實現/數據預處理會影響最終數值）

---

8. 實驗擴展（對比/消融實驗建議）

若想在文章里做小實驗來展示設計選擇的影響，這里給出常見對比項與預期結論：

1. 3×3 堆疊 vs 大核（5×5 / 7×7）

   • 實驗：用 2×3×3 替代 1×5×5，或用單 7×7 替代三 3×3；比較參數、準確率與訓練收斂速度。
   • 預期：堆疊小核在參數相近或更少的情況下表現更好（且非線性更多）。

2. ReLU vs LeakyReLU / ELU

   • 實驗：把所有 ReLU 替換為 LeakyReLU，比較收斂和最后精度。
   • 預期：對大多數任務 ReLU 是穩健選擇，其他激活在特定任務上可能有微小提升。

3. MaxPool vs AvgPool

   • 實驗：把每個 max-pool 換成 avg-pool，或用 stride=2 卷積實現下采樣。
   • 預期：max-pool 通常保留更銳利的特征（分類任務常更優）；avg-pool 可以在某些特征統計任務上更穩定。

4. BatchNorm（VGG_BN）

   • 實驗：VGG-16 與 VGG-16-BN 對比（相同 lr/optimizer），觀察收斂速度與最終精度。
   • 預期：BN 能顯著加速訓練并提高穩定性（更容易用較大學習率訓練）。PyTorch 的 vgg16_bn 可直接使用。([PyTorch Docs][3])

5. 數據增強（與否）

   • 實驗：無增強 / 基礎增強 / 強增強（Cutout, Mixup）對比。
   • 預期：合理增強能顯著提高泛化與 val 精度，尤其在小數據集上效果明顯。

---

9. 總結與實踐建議

• VGG 的價值不僅在于當時的比賽成績，更在于它提出并驗證了“深層 + 小卷積核”的設計范式（簡單、統一、易遷移），對后續網絡設計影響深遠（ResNet/Inception 等都是在這類設計基礎上進一步改進）。
• 如果你資源有限：優先使用預訓練的 VGG 并做微調（替換最后一層 / 凍結前幾層），而不是從頭訓練 ImageNet。PyTorch torchvision 提供了便捷的接口與權重。([PyTorch Docs][2])
• 若關注模型輕量化或部署效率：考慮移除大 FC 層（換成 GAP）或改用更現代且輕量的 backbone（ResNet / MobileNet / EfficientNet 等）。

---