卷積模型的剪枝、蒸餾---蒸餾篇--NST特征蒸餾（以deeplabv3+為例）

本文使用NST特征蒸餾實現deeplabv3+模型對剪枝后模型的蒸餾過程；
一、NST特征蒸餾簡介
下面是兩張疊加了熱力圖（heat map）的圖片，從圖中很容易看出這兩個神經元具有很強的選擇性：左圖的神經元對猴子的臉部非常敏感，右側的神經元對字符非常敏感。這種激活實際上意味著神經元的選擇性，即什么樣的輸入可以觸發這些神經元。換句話說，一個神經元高激活的區域可能共享一些與任務相關的相似特性，而這種相似特征，即為學生網絡向教師網絡學習的目標。
在這里插入圖片描述
如下圖所示為神經元選擇性遷移的架構。學生網絡不僅利用真正的標簽訓練，而且還模仿了教師網絡中間層的激活分布。圖中的每個點或三角形表示其對應的濾波器的激活圖。

NST損失函數如下所示：
在這里插入圖片描述
其中，第一項 H（y,p）為交叉熵損失，y是ground truth標簽，p是學生模型的輸出概率；第二項為最大平均差異（MMD）損失，即為NST損失，用來衡量教師和學生特征之間的差異；MMD的想法就是求兩個隨機變量在高維空間中均值的距離，

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/12891.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/12891.shtml
英文地址，請注明出處：http://en.pswp.cn/web/12891.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！