Batch Normalization

神經元在經過激活函數之后會處于飽和狀態，無論后續怎么變化都不會再起作用。

每一層都會進行batch normalization的處理！

without normalization 會導致數據分布再飽和區

全連接層：

全連接層(fully connected layers，FC）在整個卷積神經網絡中起到“分類器”的作用。如果說卷積層、池化層和激活函數層等操作是將原始數據映射到隱層特征空間的話，全連接層則起到將學到的“分布式特征表示”映射到樣本標記空間的作用。
簡單來說:它把特征值整合到一起，輸出為一個值。這樣做有一個什么好處：就是大大減少特征位置對分類帶來的影響。注:樣本標記空間也叫樣本輸出空間