??博主會經常分享自己在人工智能階段的學習筆記,歡迎大家訪問我滴個人博客!(養成系Blog!)
小牛壯士滴Blog~ - 低頭趕路 敬事如儀https://kukudelin.top/
01-卷積基礎知識
問:簡述卷積基本操作,分析其與全連接層的區別
答:卷積操作是卷積神經網絡的核心,用于提取數據的局部特征,他的兩大特性是局部連接,參數共享。
卷積層通過一個卷積核在輸入數據上滑動,逐步將與卷積核對應的元素相乘后求和得到一個標量值,最終生成一個輸出特征圖,通過局部連接和參數共享,能夠高效的提取局部特征,同時減少參數量
而全連接層中的不同神經元是的參數不同,數量較多,計算量也更大。他將卷積層提取的特征進行綜合處理,輸出最終的預測結果,適合處理一維的特征向量。
問:卷積神經網絡中,如何計算各層感受野大小
答:感受野是指網絡中某個神經元能夠感知到的輸入數據的區域大小,感受野越大,神經元能夠感知到的輸入數據的范圍就越廣
其中R是感受野,k是卷積核大小,s是步長
問:卷積層,池化層,全連接層的作用是什么?
答:
-
卷積層:提取輸入數據的局部特征,通過多層結構逐步提取更高級別的特征。(特征提取)
-
池化層:降低特征圖的空間維度,保留重要信息,減少計算量,增強平移不變性。(降維)
-
全連接層:綜合處理提取的特征,輸出最終的分類或回歸結果。(分類)
02-卷積的變種
問:簡述分組卷積及其應用場景
答:分組卷積將輸入通道分成多個組進行獨立的卷積運算,能夠顯著提高計算效率盒模型的非線性能力
目前分組卷積更多被用來構建用于移動設備的小型網絡結構,例如深度可分離卷積
03-卷積神經網絡的整體結構
問:簡述經典卷積神經網絡發展和變遷
答:LeNet:簡單的卷積層和池化層堆疊,參數有限,難以處理復雜的圖像任務,用于識別手寫數字
AlexNet:引入RELU激活函數解決了梯度消失的問題,加速了訓練;使用Dropout來防止過擬合;使用GPU對模型進行加速。但是網絡較深,參數量巨大
VGG:使用3×3卷積核替代大卷積核,減少了參數量的同時通過堆疊小卷積核增強了模型的非線性能力。但是參數量巨大
GoogLeNet:使用并行的卷積和池化操作的Inception模塊增加網絡深度和寬度,同時減小參數量;在分類的最后使用全局平均池化提高模型的泛化能力
ResNet:通過殘差模塊解決了深層網絡訓練的梯度消失問題,應用批量歸一化加速了模型訓練過程
04-卷積神經網絡基礎組件
問:批量歸一化是為了解決什么問題?它的參數有什么意義?在網絡中一般放在什么位置?☆
答:批量歸一化主要用于解決“內部協變量偏移”的問題(訓練過程中,每一層的輸入分布會隨著前面層的參數更新而發生變化。這種輸入分布的變化會影響網絡的訓練速度和穩定性,導致訓練過程變得復雜且難以收斂),批量歸一化通過歸一化每一層的輸入,使均值為0,方差為1,從而穩定訓練過程,加速收斂,并且一定程度上環節梯度消失和爆炸的問題
BN引入兩個參數(在反向傳播中更新):縮放參數γ:恢復特征尺度;偏移參數β:恢復特征的偏移
?
接收上一層輸出作為x,經過變換的y輸入下一層
位置:激活函數前后
問:用于分類任務的卷積神經網絡的最后幾層一般是什么層?可以用什么來替代?
答:網絡末端一般是全連接層,也可以用全局平均池化來替代,能夠使參數量和計算量大大降低,并且具有較好的可解釋性