一.前言

本期不涉及任何代碼，本專欄剛開始和大家介紹了一下機器學習，而本期就是大家介紹一下深度學習還有神經網絡，作為一個了解就好。

二.深度學習

2.1?什么是深度學習？

在介紹深度學習之前，我們先看下??智能，機器學習和深度學習之間的關系：

機器學習是實現??智能的?種途徑，深度學習是機器學習的?個?集，也就是說深度學習是實現機器學習 的?種?法。與機器學習算法的主要區別如下圖所示：

?

傳統機器學習算術依賴??設計特征，并進?特征提取，?深度學習?法不需要??，?是依賴算法?動提 取特征。深度學習模仿?類?腦的運??式，從經驗中學習獲取知識。這也是深度學習被看做?盒?，可解釋性差的原因。?

隨著計算機軟硬件的?速發展，現階段通過深度學習來模擬?腦來解釋數據，包括圖像，?本，?頻等內 容。?前深度學習的主要應?領域有：

1. 語?識別

2. 機器翻譯

3. ?動駕駛?

當然在其他領域也能?到深度學習的身影，?如?控，安防，智能零售，醫療領域，推薦系統等。

2.2?發展歷史?

深度學習其實并不是新的事物，深度學習所需要的神經?絡技術起源于20世紀50年代，叫做感知機。當時 也通常使?單層感知機，盡管結構簡單，但是能夠解決復雜的問題。后來感知機被證明存在嚴重的問題，因 為只能學習線性可分函數，連簡單的異或(XOR)等線性不可分問題都?能為?，1969年Marvin Minsky寫了 ?本叫做《Perceptrons》的書，他提出了著名的兩個觀點：1.單層感知機沒?，我們需要多層感知機來解 決復雜問題 2.沒有有效的訓練算法。

20世紀80年代末期，?于??神經?絡的反向傳播算法（也叫Back Propagation算法或者BP算法）的發 明，給機器學習帶來了希望，掀起了基于統計模型的機器學習熱潮。這個熱潮?直持續到今天。?們發現， 利?BP算法可以讓?個??神經?絡模型從?量訓練樣本中學習統計規律，從?對未知事件做預測。這種 基于統計的機器學習?法?起過去基于??規則的系統，在很多??顯出優越性。這個時候的??神經?絡，雖也被稱作多層感知機（Multi-layer Perceptron），但實際是種只含有?層隱層節點的淺層模型。?

2006年，杰弗?·?頓以及他的學?魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念。

2012年，在著名的ImageNet圖像識別?賽中，杰弗?·?頓領導的?組采?深度學習模型AlexNet?舉奪冠。AlexNet采?ReLU激活函數，從根本上解決了梯度消失問題，并采?GPU極?的提?了模型的運算速度。?

同年，由斯坦福?學著名的吳恩達教授和世界頂尖計算機專家Je! Dean共同主導的深度神經?絡——DNN 技術在圖像識別領域取得了驚?的成績，在ImageNet評測中成功的把錯誤率從26％降低到了15％。深度學 習算法在世界?賽的脫穎?出，也再?次吸引了學術界和?業界對于深度學習領域的關注。?

2016年，隨著?歌公司基于深度學習開發的AlphaGo以4:1的?分戰勝了國際頂尖圍棋??李世?，深度學 習的熱度?時?兩。后來，AlphaGo?接連和眾多世界級圍棋??過招，均取得了完勝。這也證明了在圍棋界，基于深度學習技術的機器?已經超越了?類?

?

2017年，基于強化學習算法的AlphaGo升級版AlphaGo Zero橫空出世。其采?“從零開始”、“?師?通”的 學習模式，以100:0的?分輕?易舉打敗了之前的AlphaGo。除了圍棋，它還精通國際象棋等其它棋類游戲，可以說是真正的棋類“天才”。此外在這?年，深度學習的相關算法在醫療、?融、藝術、??駕駛等多 個領域均取得了顯著的成果。所以，也有專家把2017年看作是深度學習甚?是??智能發展最為突?猛進 的?年。?

2019年，基于Transformer 的?然語?模型的持續增?和擴散，這是?種語?建模神經?絡模型，可以在 ?乎所有任務上提?NLP的質量。Google甚?將其?作相關性的主要信號之?，這是多年來最重要的更新。?

2020年，深度學習擴展到更多的應?場景，?如積?識別，路?塌陷等，?且疫情期間，在智能外呼系 統，?群測溫系統，?罩?臉識別等都有深度學習的應?。?

三.神經網絡

3.1?什么是神經網絡？?

??神經?絡（ Arti!cial Neural Network， 簡寫為ANN）也簡稱為神經?絡（NN），是?種模仿?物神經?絡結構和功能的 計算模型。?腦可以看做是?個?物神經?絡，由眾多的神經元連接?成。各個神經 元傳遞復雜的電信號，樹突接收到輸?信號，然后對信號進?處理，通過軸突輸出信號。下圖是?物神經元示意圖：?

?

當電信號通過樹突進?到細胞核時，會逐漸聚集電荷。達到?定的電位后，細胞就會被激活，通過軸突發出電信號。?

3.2 人工神經網絡?

那怎么構建??神經?絡中的神經元呢？?

?

這個流程就像，來源不同樹突(樹突都會有不同的權重)的信息, 進?的加權計算, 輸?到細胞中做加和，再通過激活函數輸出細胞值。?

接下來，我們使?多個神經元來構建神經?絡，相鄰層之間的神經元相互連接，并給每?個連接分配?個強度，如下圖所示：?

?

神經?絡中信息只向?個?向移動，即從輸?節點向前移動，通過隱藏節點，再向輸出節點移動。其中的基本部分是:?

1. 輸?層: 即輸? x 的那?層?

2. 輸出層: 即輸出 y 的那?層

3. 隱藏層: 輸?層和輸出層之間都是隱藏層?

特點是：

同?層的神經元之間沒有連接。 第 N 層的每個神經元和第 N-1層 的所有神經元相連（這就是full connected的含義), 第N-1層神經元的輸出就是第N層神經元的輸?。每個連接都有?個權值。?

四.總結?

本章節主要是介紹了一下深度學習和神經網絡的發展史和概念，大家做個了解，理解一下就來開始接下來的學習。?

?

?