本文重點
ResNet大名鼎鼎，它是由何愷明團隊設計的，它獲取了2015年ImageNet冠軍，它很好的解決了當神經網絡層數過多出現的難以訓練的問題，它創造性的設計了跳躍連接的方式，使得卷積神經網絡的層數出現了大幅度提升，設置可以達到上千層，可以說resnet對于網絡模型的設計具有深遠的意義。
ResNet的背景與動機
在傳統的深度神經網絡中，隨著網絡層數的增加，訓練誤差會逐漸增大，這種現象被稱為“退化”。這并不意味著網絡過擬合，因為過擬合通常表現為訓練誤差減小而測試誤差增大。退化問題表明，深層網絡難以通過簡單的堆疊層數來提高性能。ResNet的提出正是為了解決這個問題，它允許網絡學習更深層次的結構，而不遭受退化問題的影響。
ResNet的核心思想——殘差學習
ResNet的核心創新是殘差塊（Residual Block）。一個標準的殘差塊包含兩個或更多的卷積層，以及一個從輸入直接連接到塊輸出的“捷徑連接”（Shortcut Connection）。這個捷徑連接允許輸入信號直接傳遞到塊的輸出端，與經過卷積層處理后的信號相加。這樣，殘差塊的目標就變成了學習一個殘差函數，即輸入到輸出之間的差異，而不是整個映射函數。
