在過去的三十年，深度學習運動一度被認為是學術界的一個異類，但是現在，?Geoff Hinton（如圖1）和他的深度學習同事，包括紐約大學Yann LeCun和蒙特利爾大學的Yoshua Bengio，在互聯網世界受到前所未有的關注。Hinton是加拿大多倫多大學教授和研究員，目前就職于Google，他利用深度學習技術來提高語音識別、圖像標簽以及其他無數在線工具的用戶體驗，LeCun在Facebook做類似的工作。當下人工智能在微軟、IBM以及百度和許多其它公司受到極大的關注。

我非常興奮，我們發現一種可以使神經網絡變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候——Geoff Hinton?

Geoff Hinton?等人親手締造了深度學習的復興

Hinton本科階段在劍橋學習心理學，他意識到科學家們并沒有真正理解大腦——不能完全掌握數十億神經元之間的交互以及如何提升智力。這些科學家可以解釋電信號沿著一個軸突連接一個神經元到另一個，但他們無法解釋這些神經元是如何學習或計算的。Hinton認為這些都是大問題，答案可能最終讓我們實現1950年代人工智能研究人員的夢想。

?

圖1： Geoff Hinton（AI領袖級人物，目前就職于Google）?

他也沒有答案，但他將盡全力尋找答案，至少改進的人工神經網絡可以模擬人腦的某些方面。“我非常興奮，我們發現一種可以使神經網絡變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候，”Hinton說，洋溢著青春的熱情。

這些人工神經網絡可以收集信息，并且能夠做出反應，它們可以理解東西看起來什么樣或聽起來像什么。當你將單詞組合起來，它們在做決定的時候會變得更聰明，而在完成這些過程中不需要人類提供物體或對象的標簽，這是傳統的的機器學習工具做不到的。

隨著人工智能的發展，這些神經網絡將更加快速、靈活、高效，它們隨著機器規模的增加而變得更加聰明，隨著時間的推移將能夠解決越來越多的復雜任務。

早在80年代初，當Hinton和同事開始這個想法時，那時的電腦性能還遠遠不能處理神經網絡需要的巨大數據集，成功是有限的，隨后人工智能社區背棄了他們，轉而去尋找類人腦的捷徑，而不是嘗試模仿大腦的運作。

但仍然有一些研究人員堅定地支持Hinton的工作。根據Hinton和LeCun回憶，這極為艱難，甚至直到2004年——已經是Hinton和LeCun第一次開發“反向傳播”算法神經網絡20年之后了——學術界對這些毫無興趣。

但是那一年，從加拿大先進項目研究所（CIFAR）拿到的極少量資金，并在LeCun以及?Bengio?的支持下，Hinton建立了神經計算和自適應感知項目，這個項目只邀請一些計算機科學家、生物學家、電氣工程師、神經科學家、物理學家和心理學家。

通過招聘這些研究人員，Hinton旨在創建一個世界級的團隊，致力于創建模擬生物智能的模擬——模擬大腦如何篩選大量的視覺、聽覺以及書面線索來理解和應對它的環境。Hinton認為建立這樣一個組織會刺激人工智能領域的創新，甚至改變世界，事實證明，他是對的。

Geoffrey Hinton 曾感慨自己的學術生涯就像 ANN （人工神經網絡）一樣起起伏伏，所幸的是，這位 Gatsby 的創立者一直沒有放棄 ANN 的研究。他們為實現早期的想法，定期聚集在一起召開研討會，構建了更強大的深度學習算法，操作更大的數據集。期間贏得全球人工智能比賽，再然后互聯網的巨頭開始注意到他們。

2011年，一位NCAP研究員和斯坦福的Andrew Ng在Google建立了深度學習項目，今天，公司用神經網絡在Android手機和社交網絡以及Google +上標記圖像。去年，Hinton加入Google公司，其目的是進一步把這項工作做的更為深入。

每年不到一百萬美元的CIFAR投資，Hinton和他的伙伴們帶來的回報是豐厚的，這不僅發生在Google也發生在一些國家，包括加拿大。

在這個過程中，Hinton和NCAP已經改變了這個曾經拋棄他們社區的面貌，?當下大學生們從傳統機器學習項目轉到深度學習這種現象無處不在了?。毫無疑問，現在深度學習是主流。“我們不再是極端分子了”Hinton說，“我們現在可是炙手可熱的核心技術呢。 ”

Hinton也周游世界并為深度學習積極布道，Hinton有一個習慣就是喜歡突然大喊：“我現在理解大腦是如何工作的了！”這很有感染力，他每周都會這樣做，你很難模仿。

通過NCAP 和CIFAR，Hinton開辦了一家暑期學校，致力于培養新一代的人工智能研究人員。有這么多的商業公司進入這一領域，這是比以往任何時候都更加重要。不僅僅是科技巨頭加入這個領域，我們也看到大量的深度學習初創公司包括Ersatz,、Expect Labs以及 Declara。

“我們希望把AI和CIFAR帶到一個美妙的新領域，”Hinton說，“一個還沒有人或者程序到達的境界。”

和Geoff Hinton一起共同締造深度學習復興的大神還包括Yoshua Bengio（如圖2）和?Yann LeCun（圖3）教授，他們是Hinton堅定的支持者。

Yoshua Bengio（如圖2）教授也是機器學習大神之一，他的研究工作主要聚焦在高級機器學習方面，致力于用其解決人工智能問題。他是少有的幾個仍然全身心投入在深度學習學術界的教授之一，好多其他教授早已投身于工業界，加入了Google或Facebook公司。?

圖2：Montreal大學教授及AI研究者?Yoshua Bengio?

Yann LeCun和Yoshua Bengio不同，他目前就職于Facebook，任Facebook人工智能研究院主任，也是人工智能尤其是深度學習領域最知名的學者之一，在多倫多大學隨Hinton讀博士后即加盟貝爾實驗室，期間研發了卷積神經網絡（Convolutional Neural Networks）與曾廣泛用于手寫識別和OCR的圖變換網絡方法。2003年加入紐約大學，從事廣度與深度兼具的各類研究，涉及機器學習、計算機視覺、移動機器人和計算神經學。

圖3：紐約大學AI研究者及Facebook人工智能研究院的主任?Yann LeCun

毋庸置疑的是，深度學習以及整個人工智能領域已成為互聯網巨頭競爭的一個焦點。

深度學習領域人才極度稀缺

Montreal大學全職教授Yoshua Bengio表示：“深度學習現在炙手可熱，目前的困境是缺乏專家，一個博士生大概需要五年的時間培養，但是五年前還沒有博士生開始從事深度學習，這意味著現在該領域的專家特別少，可以說彌足珍貴、極度稀缺。”

據說目前深度學習領域的頂尖人才不超過50人，Andrew Ng表示深度學習領域人才匱乏的主要原因首先是數據，對于解決某些領域的問題，獲取數據并非易事；其次是計算基礎架構工具，包括計算機硬件和軟件；最后是這個領域的工程師培養時間非常長。所以科技巨頭們包括Google、Facebook、Twitter、百度等紛紛通過收購深度學習領域的初創公司來招攬人才。

Google?2013年3月收購了一家名為DNNresearch的初創公司，這家公司隸屬多倫多大學計算機科學院，只有三個人——Geoffrey Hinton 與他的研究生學生 Alex Krizhevsky 和 Ilya Sutskever。之后，Google今年1月份斥資4億美元收購人工智能初創企業DeepMind，DeepMind由人工智能程序師兼神經科學家Demis Hassabis等人聯合創立，是前沿的人工智能企業，其將機器學習和系統神經科學的最先進技術結合起來，建立強大的通用學習算法。另外，Google還收購烏克蘭面部識別技術開發商Viewdle。

Google不斷的收購深度學習領域的公司最主要的目的是“搶購”一批世界上最一流的專家，在一個迅速成長的人工智能領域里面，這些專家無一不是佼佼者。?

Facebook也在2012年以近6000萬美元的價格收購以色列人臉識別公司Face.com。人事方面，任命計算機科學家Yann LeCun（圖3）作為人工智能研究院的主任，用深度學習專業知識來幫助創建解決方案，更好地在每天上傳到Facebook上的3.5億張照片和視頻中識別人臉和對象。去年8月13日Facebook又宣布收購了語音識別及機器翻譯公司Mobile Technologies，后者將會幫助我們從圖片識別拓展到語音識別領域。假以時日，Facebook可能會開發出交互更加自然的服務，而且相對于任何現有技術，它還會幫助解決多得多的問題。

Twitter?今年7月29日收購了基于深度學習的計算機視覺創業公司Madbits。Madbits這家公司是由Facebook人工智能實驗室主任Yann LeCun以前兩名學生創辦的，開發了可自動理解、組織和提取媒介內容信息的視覺智能技術。這項基于深度學習的計算機視覺技術已經開發完成，正在測試。Twitter上每天都會出現無數的圖片。收購Madbits可以幫助Twitter推出諸如圖像搜索的功能，基于圖像內容改進搜索排名，甚至是通過分析圖像來更好地理解人們的推文內容。

其他公司。雅虎收購深度學習公司LookFlow和圖像標注公司IQEngine；QualComm收購圖像識別公司Kooaba；?Pinterest收購物體識別公司VisualGraph；Dropbox收購圖像標注公司Anchovi Labs；百度成立李彥宏親自掛帥的深度學習研究院，有Andrew Ng、余凱等技術大牛加盟；?至此，深度學習領域的幾位大牛基本上都各有所屬。

深度學習的誤區及產品化浪潮

百度首席科學家Andrew Ng表示：“目前圍繞Deep Learning存在著某種程度的夸大，它不單出現于媒體的字里行間，也存在于一些研究者之中。這是一種不健康的氛圍。將Deep Learning描繪成對人腦的模擬，這種說法非常具有吸引力，但卻是過于簡化的模仿，它距離真正的AI或人們所謂的‘奇點’還相當遙遠。”

目前這項技術主要是從海量數據當中學習，理解數據，這也是現今有關Deep Learning技術研究和產品發展的驅動力。而具備與人能力相匹配的AI需要無所不包，例如人類擁有豐富的感情，這些都是當下Deep Learning研究尚未涉及的。今天，AI領域最大的挑戰和短板是Perception，如何讓機器更好地理解人的意圖；而這正是 "深度學習"可以發光發熱的范疇。?

一項技術能夠快速成為主流，一個主要原因就是能夠快速推出成熟的產品，深度學習也不例外，所以深度學習產品化是一個大趨勢，追求不切實際的“天網”或者電影情節的高科技未免太急功近利、不切實際。目前?"深度學習"讓Google產品在語音，文本和圖像的識別上變得更加聰明，可以更準確地洞悉我們的信息輸入，更人性化地理解我們的意圖。現在，每個安卓手機的語音識別以及Google街景中的圖像處理都有"深度學習"的影子。筆者認為，隨著深度學習的發展和科技公司加大投入，會有越來越多的產品推向市場。

參考文章：

Twitter acquires deep learning startup Madbits

Yahoo acquires image recognition startup LookFlow to improve discovery in Flickr, build a deep learning group

Google Acquires Artificial Intelligence Startup DeepMind For More Than $500M?（編譯/魏偉 審校/仲浩）