1.BatchNorm2d
加速收斂:Batch Normalization 可以使每層的輸入保持較穩定的分布(接近標準正態分布),減少梯度更新時的震蕩問題,從而加快模型訓練速度。
減輕過擬合:批歸一化引入了輕微的正則化效果,因為它依賴于 mini-batch 中的統計信息,這種方式可以減少對單個樣本的過度擬合。
提高模型性能:在訓練過程中,Batch Normalization 通過動態調整激活值的分布,讓模型更容易適應數據,減少了對權重初始化的敏感性。
2. SELayer 是一種 通道注意力機制
旨在讓模型學會“關注哪些通道重要”,從而獲得更高的性能。
通常在卷積神經網絡(CNN)中使用,增強特征表達能力。
例如,一張圖片經過卷積后,每個通道可能代表某些特定的特征(比如顏色、邊緣等),SELayer 會告訴網絡“哪些通道更重要”。
3.卷積核和輸出通道數的關系
在 2D 卷積 (nn.Conv2d) 中:輸入通道數 (in_channels) 決定每個卷積核的深度。
輸出通道數 (out_channels) 決定有多少個卷積核(即生成多少個輸出通道)。
每個卷積核都會與所有輸入通道進行卷積計算,然后匯總(例如通過加權求和的方式)生成一個對應的 輸出通道。
?
4.激活函數: