本文重點
在前面的課程中我們學習了殘差網絡ResNet,而DenseNet可以看成是ResNet的后續,我們看一下圖就可以看出二者的主要區別了。
特點
DenseNet是一種卷積神經網絡,它的特點是每一層都直接連接到所有后續層。這意味著,每一層都接收來自前一層的輸出,并將其作為輸入傳遞到下一層。這種連接方式實現了特征重用,使得網絡能夠更好地利用前面的特征信息,減少了參數的數量。
比較
如圖所示,主要區別就是ResNet使用相加的方式,而DenseNet使用在通道上面拼接的方式,這樣就會使得模塊A的輸出可以直接傳入模塊B后面的層,使得模塊A直接跟模塊B后面的所有層連接在了一起。
稠密塊和過渡層
稠密塊
稠密塊就是完成拼接的。拼接,就是在通道的維度上進行拼接,比如A的通道為3,而輸出的通道為10,那么拼接的通道就是13了,這會造成通道過多,從而造成模型的復雜,要想解決這個問題,此時需要使用過渡層來完成通道的降維。
過渡層
前面我們學習過1*1的卷積層可以完成這個任務,所以我們使用1*1的卷積層作為過渡層的主要部分,并且使用步幅為2的平均池化層來減半高和寬,從而進一步的降低模型的復雜度。
DenseNet的優點
參數效率高:由于每一層都直接連接到所有后續層,因此可以重用前面的特征信息,減少了參數的