目錄

傳統卷積神經網絡存在的問題

如何解決

批量歸一化BatchNormalization, BN

殘差連接方式

?殘差結構

---

ResNet網絡

ResNet 網絡是在 2015年 由微軟實驗室中的何凱明等幾位大神提出，斬獲當年ImageNet競賽中分類任務第一名，目標檢測第一名。獲得COCO數據集中目標檢測第一名，圖像分割第一名。

傳統卷積神經網絡存在的問題

神經網絡都是通過卷積層和池化層的疊加組成的。 在實際的試驗中發現，隨著卷積層和池化層的疊加，學習效果不會逐漸變好，反而出現2個問題： 1、梯度消失和梯度爆炸 梯度消失：若每一層的誤差梯度小于1，反向傳播時，網絡越深，梯度越趨近于0 梯度爆炸：若每一層的誤差梯度大于1，反向傳播時，網絡越深，梯度越來越大 2、退化問題

如何解決

1. 為了解決梯度消失或梯度爆炸問題

   通過數據的預處理以及在網絡中使用 BN（Batch Normalization）層來解決。

2. 為了解決深層網絡中的退化問題

   人為地讓神經網絡某些層跳過下一層神經元的連接，隔層相連，弱化每層之間的強聯系。

如圖可以看到層數越多錯誤率越低

批量歸一化BatchNormalization, BN

Batch Normalization目的：使所有的feature map滿足均值為0，方差為1的分布規律

對每個傳入的圖片進行歸一化后，將其傳入卷積神經層進行處理后得到特征圖，然后再對這個特征圖進行歸一化處理，處理完再次進入卷積層處理，輸出的特征圖再次進行歸一化。

殘差連接方式

residual結構使用了一種shortcut的連接方式，也可理解為捷徑。讓特征矩陣隔層相加，注意F(X)和X形狀要相同，所謂相加是特征矩陣相同位置上的數字進行相加。

殘差結構

ResNet一共有5種殘差網絡結構，18層、34層、50層、101層、152層