????????雖然我們的神經?絡給出了令?印象深刻的表現，但這樣的表現帶有?分神秘

• ?絡中的權重和偏置是被?動發現的。
• 這意味著我們不能?即解釋?絡怎么做的、做了什么。
• 我們能否找 到?些?法來理解我們的?絡通過什么原理分類?寫數字？
• 并且，在知道了這些原理后，我們 能做得更好嗎？

????????因為有著?動學習得到的權重和偏置，這些是我 們?法理解的，這樣的神經?絡對我們來說是不透明的；

例子引入

假設我們要確定?幅圖像是否顯?有?臉

?????????

????????我們對該問題進行了如上的拆分，但是，它存在很多缺陷，也許我們僅僅能看到臉的部分，或者這張臉是有?度的，因此?些?部特征是模糊的。

????????不過這個 想法表明了如果我們能夠使?神經?絡來解決這些?問題，那么我們也許可以通過將這些解決 ?問題的?絡結合起來，構成?個?臉檢測的神經?絡。

??????????絡也可以被繼續分解，這看上去很合理。假設我們考慮這個問題：“左上?有?個眼睛 嗎？”。這個問題可以被分解成這些?問題：“有?個眉?嗎？”，“有睫?嗎？”，“有虹膜嗎？

????????這些?問題也同樣可以繼續被分解，并通過多個?絡層傳遞得越來越遠。最終，我們的?? 絡可以回答那些只包含若?個像素點的簡單問題。?

• 舉例來說，這些簡單的問題可能是詢問圖像中的?個像素是否構成?常簡單的形狀；

????????最終的結果是，我們設計出了?個?絡，它將?個?常復雜的問題——這張圖像是否有?張 ?臉——分解成在單像素層?上就可回答的?常簡單的問題。它通過?系列多層結構來完成， 在前?的?絡層，它回答關于輸?圖像?常簡單明確的問題，在后?的?絡層，它建?了?個更加復雜和抽象的層級結構。

????????包含這種多層結構——兩層或更多隱藏層——的?絡被稱為深度神經?絡。

• 深度?絡能夠構建起?個復雜的概念的層次結構；
• 這有點像傳統編程語?使?模塊化的設計和抽 象的思想來創建復雜的計算機程序。
• 將深度?絡與淺層?絡進?對?，有點像將?個能夠進? 函數調?的程序語?與?個不能進?函數調?的精簡語?進?對?

?學習算法的演進

??????????設計?絡中的權重和偏置?疑是不切實際的，取?代之的是，我們希望使?學習算法來讓?絡能夠?動從訓練數據中學習權重和偏差。

• 80年代和90年代的研究?員嘗試了使?隨機梯度下 降和反向傳播來訓練深度?絡；
• 不幸的是，除了?些特殊的結構，他們并沒有取得很好的效果；
• ?2006年以來，?們已經開發了?系列技術使深度神經?絡能夠學習；
• 現在訓練?個有5到10層隱藏層的?絡都是很常?的。