1、“感知機”的誕生

20世紀50年代，人工智能派生出了這樣兩個學派，分別是“符號學派”及“連接學派”。前者的領軍學者有Marvin Minsky及John McCarthy，后者則是由Frank Rosenblatt所領導。

符號學派的人相信對機器從頭編程，一個模塊一個模塊組合最終可以得到比人類更智慧的機器；

而連接學派則選擇了截然不同的道路：模仿大腦，制造大腦，最終超越人類。

連接學派的領導者Frank Rosenblatt通過模仿人類神經元的工作原理，制作出了感知機（perceptron）,如下圖所示：

感知機被證明可以很好地處理線性決策邊界分類問題，但對于非線性的分類問題表現得非常差。

與此同時，符號學派得科學家正忙著編寫解決代數問題的程序，或用機器人手臂堆砌構造模塊。在當時，這兩個學派都沒有取得太大的進展。但他們都很會推銷自己。連接學派得人宣稱感知機是智能機器得第一步，一旦成功，所獲得得只能體不僅僅是聰明而且還會有自我意識。這獲得了大眾們得廣泛關注。而符號學派更受到學術領域得關注，因此獲得了更多的資助。可以說連接學派獲得了"面子"，而符號學派獲得了“里子”。

在50年代到60年代中葉這段時期，連接學派得公眾熟識度也確實為其贏得了不少的資助，符號學派的領軍人Marvin Minsky認為這就是在浪費錢，因此他決定自己也參與研究連接學派的主張，以期能夠從更專業的角度擊敗它。

很快地，他發表了一本《感知機》的書，書中著重抨擊了使用感知機無法處理非線性分類問題。但即便是他也不得不同意Frank Rosenblatt的觀點，那就是多層的感知機可以處理非線性問題，但在當時那個階段這被認為是不可能實現的事情。

很快，連接學派的科研人員處境日漸落寞。到了70年代，Frank Rosenblatt在一次帆船運動中不幸逝世，連接學派似乎就此退出了學術舞臺。

2、神經網絡

但事情很快出現了轉機。。。

二十世紀七十年代，機器學習的研究者發現反向傳遞可以應用到多層感知器（神經網絡）的梯度計算中，這也就意味著感知器不能處理非線性分類問題的缺憾得到了彌補，連接學派的春天終于到來了。

但經過了近二十年的發展，神經網絡的發展似乎又遇到了瓶頸。反向傳遞技術的應用固然挽救了連接學派，挽救了“感知機”，但隨著神經網絡的層數增加，出現過擬合的風險越來越大，這也就意味著神經網絡似乎無法前進為深度神經網絡。

3、深度神經網絡/深度學習

20世紀90年代到本世紀初，相關的研究人員又取得了巨大的突破。他們開發了全新的權重矩陣初始化方法、全新的激活函數（Relu系列）、dropout，從而很好地克服了原本神經網絡存在的梯度消失或爆炸、神經元死亡的現象，過擬合風險顯著降低，訓練速度顯著提升。與此同時另一部分人開發了全新的神經網絡搭建方法，如卷積神經網絡，循環神經網絡等。這些新架構填補了過去幾十年間沒有任何改進的人工智能領域的空白。

此外，深度神經網絡的發展也享受到了硬件設備升級所帶來的紅利，2000年初，GPU的廣泛應用計算領域，及大幅度地提升了神經網絡的表現。

2012年，深度網絡研究團隊成員Geoffrey Hinton、 Alex Krizhevsky、 Ilya Sutskever在圖像計算機視覺比賽上使用卷積神經網絡模型AlexNet，以84.7%的準確率擊敗了在此之前表現最好的ImageNet模型（75%）。由此受到了人們的廣泛關注。以此作為分水嶺，神經網絡改頭換面，它有了新的名字：深度學習。