深度學習-圖像分類篇章

參考筆記

卷積神經網絡

1. 英文：Convolutional Neural Network，CNN
2. 雛形：1998年LeCun的LeNet5，第一個卷積神經網絡
3. 包含：
   • 卷積層：Convolutions
   • 下采樣層：Subsampling
   • 全連階層：Full connection
     

全連階層

1. 神經元
2. BP神經網絡：神經元按列排列，列與列全臉機
   • 誤差值：從左到右網絡輸出一個值，與期望輸出對比得到
   • 每個節點的偏導數->每個節點的誤差梯度
   • 損失值應用誤差梯度->誤差的反向傳播
     

卷積層

1. 卷積網絡特有的網絡結構
2. 卷積：

• 目的：提取特征
• 過程：一個滑動窗口在特征圖上滑動
• 特性：
  • 局部感知
  • 權值共享：漸少參數量

3. 特點：

• 卷積核的channel = 輸入特征圖的channel
• 輸出特征channel = 卷積核個數

4. 偏置：

• 卷積得到的向量+偏置值

5. 激活函數

• 加入非線性變換
• 分類：
• • sigmoid：求導麻煩
• • ReLu：使用較多，但要求學習率不能太大，否則神經元失活多
    

池化層

1. 稀疏處理，漸少運算量
2. 分類：
   • maxpooling下采樣
   • averagepooling下采樣
     
3. 特點：
   • 沒有訓練參數
   • 改變w、h，不改變channel
   • 池化核大小 = 步長 -> 等比例縮小