【作者主頁】Francek Chen
【專欄介紹】$?$PyTorch深度學習$?$ 深度學習 (DL, Deep Learning) 特指基于深層神經網絡模型和方法的機器學習。它是在統計機器學習、人工神經網絡等算法模型基礎上，結合當代大數據和大算力的發展而發展出來的。深度學習最重要的技術特征是具有自動提取特征的能力。神經網絡算法、算力和數據是開展深度學習的三要素。深度學習在計算機視覺、自然語言處理、多模態數據分析、科學探索等領域都取得了很多成果。本專欄介紹基于PyTorch的深度學習算法實現。
【GitCode】專欄資源保存在我的GitCode倉庫：https://gitcode.com/Morse_Chen/PyTorch_deep_learning。

---

??在2014年的ImageNet圖像識別挑戰賽中，一個名叫GoogLeNet的網絡架構大放異彩。GoogLeNet吸收了NiN中串聯網絡的思想，并在此基礎上做了改進。GoogLeNet論文的一個重點是解決了什么樣大小的卷積核最合適的問題。畢竟，以前流行的網絡使用小到$1\times 1$，大到$11\times 11$的卷積核。該論文的一個觀點是，有時使用不同大小的卷積核組合是有利的。本節將介紹一個稍微簡化的GoogLeNet版本：我們省略了一些為穩定訓練而添加的特殊特性，現在有了更好的訓練方法，這些特性不是必要的。

一、Inception塊

??在GoogLeNet中，基本的卷積塊被稱為Inception塊（Inception block）。這很可能得名于電影《盜夢空間》（Inception），因為電影中的一句話“我們需要走得更深”（“We need to go deeper”）。

圖1 Inception塊的架構

??如圖1所示，Inception塊由四條并行路徑組成。前三條路徑使用窗口大小為$1\times 1$、$3\times 3$和$5\times 5$的卷積層，從不同空間大小中提取信息。中間的兩條路徑在輸入上執行$1\times 1$卷積，以減少通道數，從而降低模型的復雜性。第四條路徑使用$3\times 3$最大匯聚層，然后使用$1\times 1$卷積層來改變通道數。這四條路徑都使用合適的填充來使輸入與輸出的高和寬一致，最后我們將每條線路的輸出在通道維度上連結，并構成Inception塊的輸出。在Inception塊中，通常調整的超參數是每層輸出通道數。

import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2lclass Inception(nn.Module):# c1--c4是每條路徑的輸出通道數def __init__(self, in_channels, c1, c2, c3, c4, **kwargs):super(Inception, self).__init__(**kwargs)# 線路1，單1x1卷積層self.p1_1 = nn.Conv2d(in_channels, c1, kernel_size=1)# 線路2，1x1卷積層后接3x3卷積層self.p2_1 = nn.Conv2d(in_channels, c2[0], kernel_size=1)self.p2_2 = nn.Conv2d(c2[0], c2[1], kernel_size=3, padding=1)# 線路3，1x1卷積層后接5x5卷積層self.p3_1 = nn.Conv2d(in_channels, c3[0], kernel_size=1)self.p3_2 = nn.Conv2d(c3[0], c3[1], kernel_size=5, padding=2)# 線路4，3x3最大匯聚層后接1x1卷積層self.p4_1 = nn.MaxPool2d(kernel_size=3, stride=1, padding=1)self.p4_2 = nn.Conv2d(in_channels, c4, kernel_size=1)def forward(self, x):p1 = F.relu(self.p1_1(x))p2 = F.relu(self.p2_2(F.relu(self.p2_1(x))))p3 = F.relu(self.p3_2(F.relu(self.p3_1(x))))p4 = F.relu(self.p4_2(self.p4_1(x)))# 在通道維度上連結輸出return torch.cat((p1, p2, p3, p4), dim=1)

??那么為什么GoogLeNet這個網絡如此有效呢？首先我們考慮一下濾波器（filter）的組合，它們可以用各種濾波器尺寸探索圖像，這意味著不同大小的濾波器可以有效地識別不同范圍的圖像細節。同時，我們可以為不同的濾波器分配不同數量的參數。

二、GoogLeNet模型

??如圖2所示，GoogLeNet一共使用9個Inception塊和全局平均匯聚層的堆疊來生成其估計值。Inception塊之間的最大匯聚層可降低維度。第一個模塊類似于AlexNet和LeNet，Inception塊的組合從VGG繼承，全局平均匯聚層避免了在最后使用全連接層。

圖2 GoogLeNet架構

??現在，我們逐一實現GoogLeNet的每個模塊。第一個模塊使用64個通道、$7\times 7$卷積層。

b1 = nn.Sequential(nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3),nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2, padding=1))

??第二個模塊使用兩個卷積層：第一個卷積層是64個通道、$1\times 1$卷積層；第二個卷積層使用將通道數量增加三倍的$3\times 3$卷積層。這對應于Inception塊中的第二條路徑。

b2 = nn.Sequential(nn.Conv2d(64, 64, kernel_size=1),nn.ReLU(),nn.Conv2d(64, 192, kernel_size=3, padding=1),nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2, padding=1))

??第三個模塊串聯兩個完整的Inception塊。第一個Inception塊的輸出通道數為$64+128+32+32=256$，四個路徑之間的輸出通道數量比為$64:128:32:32=2:4:1:1$。第二個和第三個路徑首先將輸入通道的數量分別減少到$96/192=1/2$和$16/192=1/12$，然后連接第二個卷積層。第二個Inception塊的輸出通道數增加到$128+192+96+64=480$，四個路徑之間的輸出通道數量比為$128:192:96:64=4:6:3:2$。第二條和第三條路徑首先將輸入通道的數量分別減少到$128/256=1/2$和$32/256=1/8$。

b3 = nn.Sequential(Inception(192, 64, (96, 128), (16, 32), 32),Inception(256, 128, (128, 192), (32, 96), 64),nn.MaxPool2d(kernel_size=3, stride=2, padding=1))

??第四模塊更加復雜，它串聯了5個Inception塊，其輸出通道數分別是$192+208+48+64=512$、$160+224+64+64=512$、$128+256+64+64=512$、$112+288+64+64=528$和$256+320+128+128=832$。這些路徑的通道數分配和第三模塊中的類似，首先是含$3\times 3$卷積層的第二條路徑輸出最多通道，其次是僅含$1\times 1$卷積層的第一條路徑，之后是含$5\times 5$卷積層的第三條路徑和含$3\times 3$最大匯聚層的第四條路徑。其中第二、第三條路徑都會先按比例減小通道數。這些比例在各個Inception塊中都略有不同。

b4 = nn.Sequential(Inception(480, 192, (96, 208), (16, 48), 64),Inception(512, 160, (112, 224), (24, 64), 64),Inception(512, 128, (128, 256), (24, 64), 64),Inception(512, 112, (144, 288), (32, 64), 64),Inception(528, 256, (160, 320), (32, 128), 128),nn.MaxPool2d(kernel_size=3, stride=2, padding=1))

??第五模塊包含輸出通道數為$256+320+128+128=832$和$384+384+128+128=1024$的兩個Inception塊。其中每條路徑通道數的分配思路和第三、第四模塊中的一致，只是在具體數值上有所不同。需要注意的是，第五模塊的后面緊跟輸出層，該模塊同NiN一樣使用全局平均匯聚層，將每個通道的高和寬變成1。最后我們將輸出變成二維數組，再接上一個輸出個數為標簽類別數的全連接層。

b5 = nn.Sequential(Inception(832, 256, (160, 320), (32, 128), 128),Inception(832, 384, (192, 384), (48, 128), 128),nn.AdaptiveAvgPool2d((1,1)),nn.Flatten())net = nn.Sequential(b1, b2, b3, b4, b5, nn.Linear(1024, 10))

??GoogLeNet模型的計算復雜，而且不如VGG那樣便于修改通道數。為了使Fashion-MNIST上的訓練短小精悍，我們將輸入的高和寬從224降到96，這簡化了計算。下面演示各個模塊輸出的形狀變化。

X = torch.rand(size=(1, 1, 96, 96))
for layer in net:X = layer(X)print(layer.__class__.__name__,'output shape:\t', X.shape)

三、訓練模型

??和以前一樣，我們使用Fashion-MNIST數據集來訓練我們的模型。在訓練之前，我們將圖片轉換為$96\times 96$分辨率。

lr, num_epochs, batch_size = 0.1, 10, 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=96)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

小結

• Inception塊相當于一個有4條路徑的子網絡。它通過不同窗口形狀的卷積層和最大匯聚層來并行抽取信息，并使用$1\times 1$卷積層減少每像素級別上的通道維數從而降低模型復雜度。
• GoogLeNet將多個設計精細的Inception塊與其他層（卷積層、全連接層）串聯起來。其中Inception塊的通道數分配之比是在ImageNet數據集上通過大量的實驗得來的。
• GoogLeNet和它的后繼者們一度是ImageNet上最有效的模型之一：它以較低的計算復雜度提供了類似的測試精度。