目錄

一、數據庫——數據獲取

1、Mnist

2、ImageNet

二、自編碼器（Auto-encoder）——參數初始化

1、功能

2、基本思想

1）訓練第一層

2）訓練第二層及以后的神經網絡

?

3）利用BP對整個神經網絡的參數初始值進行微調

??

3、關鍵代碼

三、卷積神經網絡

---

?

SVM適用于小樣本，神經網絡適用于大樣本

一、數據庫——數據獲取

1、Mnist

二值圖就是只有黑白兩色

2、ImageNet

二、自編碼器（Auto-encoder）——參數初始化

1、功能

用于初始化神經網絡參數，使得初始的參數w,b比較合理，進而可以保留樣本的特征信息

2、基本思想

自編碼器的基本思想如下：

假設訓練一個輸入為X，輸出為Y，神經網絡層數為N層的網絡，對于每一層的參數逐層進行訓練。通過假設每一層的輸入和輸出是一樣的，并且保持前面神經網絡層的參數不變，利用BP算法對該層進行訓練，這樣的話就得到了該層的參數的初始值

1）訓練第一層

假設第一層的輸入為X，輸出也為X，利用BP算法對這個網絡進行訓練，求得參數w1,b1,w1',b1'

以下的這個網絡就是一個自編碼器

?求得參數w1,b1,w',b'后，將w1,b1,保留，這樣就會得到經過layer1輸出的參數為三個

2）訓練第二層及以后的神經網絡

3）利用BP對整個神經網絡的參數初始值進行微調

?
?

3、關鍵代碼

通過前面就得到了整個神經網絡的比較合理的參數初始值，這樣得到的參數初始值保留了樣本特征的基本屬性

一般輸出層的神經元的個數與數據集的類別的類數相同，有多少類就輸出多少，屬于哪一類那一個神經元輸出就是1，其他神經元輸出為0，通過這樣來判斷是哪一類

上面代碼主要是完成了上一層的輸出作為下一層輸入的轉換

?

三、卷積神經網絡

后接：《機器學習——深度學習之卷積神經網絡》