有部分內容是轉載的知乎的，如有侵權，請告知，刪除便是，但由于是總結的，所以不一一列出原作者是who。

再次感謝，也希望給其他小白受益。

首先說明：可以不用全連接層的。

理解1：

卷積取的是局部特征，全連接就是把以前的局部特征重新通過權值矩陣組裝成完整的圖。

因為用到了所有的局部特征，所以叫全連接。

理解2：

從卷積網絡談起，卷積網絡在形式上有一點點像咱們正在召開的“人民代表大會制度”。卷積核的個數相當于候選人，圖像中不同的特征會激活不同的“候選人”（卷積核）。

池化層（僅指最大池化）起著類似于“合票”的作用，不同特征在對不同的“候選人”有著各自的喜好。

全連接相當于是“代表普選”。所有被各個區域選出的代表，對最終結果進行“投票”，全連接保證了receiptive field 是整個圖像，既圖像中各個部分（所謂所有代表），都有對最終結果影響的權利。

理解3：

假設你是一只小螞蟻，你的任務是找小面包。你的視野還比較窄，只能看到很小一片區域。當你找到一片小面包之后，你不知道你找到的是不是全部的小面包，所以你們全部的螞蟻開了個會，把所有的小面包都拿出來分享了。全連接層就是這個螞蟻大會~

【感覺有點像盲人摸象】

理解4：

例如經過卷積，relu后得到3x3x5的輸出。

那它是怎么樣把3x3x5的輸出，轉換成1x4096的形式？

很簡單,可以理解為在中間做了一個卷積。

從上圖我們可以看出，我們用一個3x3x5的filter 去卷積激活函數的輸出，得到的結果就是一個fully connected layer 的一個神經元的輸出，這個輸出就是一個值。因為我們有4096個神經元。我們實際就是用一個3x3x5x4096的卷積層去卷積激活函數的輸出。

以VGG-16再舉個例子吧，

對224x224x3的輸入，最后一層卷積可得輸出為7x7x512，如后層是一層含4096個神經元的FC，則可用卷積核為7x7x512x4096的全局卷積來實現這一全連接運算過程。

它把特征representation整合到一起，輸出為一個值。

這樣做,有一個什么好處？就是大大減少特征位置對分類帶來的影響。

舉個簡單的例子：

從上圖我們可以看出，貓在不同的位置，輸出的feature值相同，但是位置不同。

對于電腦來說，特征值相同，但是特征值位置不同，那分類結果也可能不一樣。

這時全連接層filter的作用就相當于

喵在哪我不管，我只要喵，于是我讓filter去把這個喵找到，

實際就是把feature map 整合成一個值，這個值大，有喵，這個值小，那就可能沒喵

和這個喵在哪關系不大了，魯棒性有大大增強。

因為空間結構特性被忽略了，所以全連接層不適合用于在方位上找Pattern的任務，比如segmentation。
全連接層中一層的一個神經元就可以看成一個多項式，

我們用許多神經元去擬合數據分布

但是只用一層fully connected layer 有時候沒法解決非線性問題，

而如果有兩層或以上fully connected layer就可以很好地解決非線性問題了

我們都知道，全連接層之前的作用是提取特征

全連接層的作用是分類

我們現在的任務是去區別一圖片是不是貓

假設這個神經網絡模型已經訓練完了

全連接層已經知道

當我們得到以上特征，我就可以判斷這個東東是貓了。

因為全連接層的作用主要就是實現分類（Classification）

從下圖，我們可以看出

紅色的神經元表示這個特征被找到了（激活了）

同一層的其他神經元，要么貓的特征不明顯，要么沒找到

當我們把這些找到的特征組合在一起，發現最符合要求的是貓

ok，我認為這是貓了

當我們把這些找到的特征組合在一起，發現最符合要求的是貓

ok，我認為這是貓了

貓頭有這么些個特征，于是我們下一步的任務

就是把貓頭的這么些子特征找到，比如眼睛啊，耳朵啊

道理和區別貓一樣

當我們找到這些特征，神經元就被激活了（上圖紅色圓圈）

這細節特征又是怎么來的？

就是從前面的卷積層，下采樣層來的

全連接層參數特多（可占整個網絡參數80%左右）

那么全連接層對模型影響參數就是三個：

1，全連接層的總層數（長度）
2，單個全連接層的神經元數（寬度）
3，激活函數
首先我們要明白激活函數的作用是：增加模型的非線性表達能力

---------------------?
作者：向陽+?
來源：CSDN?
原文：https://blog.csdn.net/m0_37407756/article/details/80904580?
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！