CNN 適合處理圖片類輸入數據，單獨的，數據之間沒有關系。
rnn則適合處理序列類數據，視頻幀，語言。
深度神經網絡一般指隱藏層大于2的神經網絡。深層網絡相對于淺層網絡，表達能力更強。僅有一個隱藏層的神經網絡就能擬合任何一個函數，但是需要很多神經元，深層網絡用少得多的神經元就能擬合相同的函數。也即是說，為了擬合一個函數，要么使用一個淺而寬的網絡，要么使用一個深而窄的網絡，后者更節約資源。深層網絡的缺點是不容易訓練。
感知器有一個問題，當面對的數據集不是線性可分的時候，『感知器規則』可能無法收斂，這意味著我們永遠也無法完成一個感知器的訓練。為了解決這個問題，我們使用一個可導的線性函數來替代感知器的階躍函數，這種感知器就叫做線性單元。線性單元在面對線性不可分的數據集時，會收斂到一個最佳的近似上。
)
