一、機器學習和深度學習的區別

????????機器學習：利用計算機、概率論、統計學等知識，輸入數據，讓計算機學會新知 識。機器學習的過程，就是訓練數據去優化目標函數。

????????深度學習：是一種特殊的機器學習，具有強大的能力和靈活性。它通過學習將世 界表示為嵌套的層次結構，每個表示都與更簡單的特征相關，而抽象的表示則用 于計算更抽象的表示。

????????傳統的機器學習需要定義一些手工特征，從而有目的的去提取目標信息，非常依賴任 務的特異性以及設計特征的專家經驗。而深度學習可以從大數據中先學習簡單的特 征，并從其逐漸學習到更為復雜抽象的深層特征，不依賴人工的特征工程，這也是深 度學習在大數據時代受歡迎的一大原因。

二、人工神經網絡

????????人工神經網絡(Artificial Neural Network,ANN)可以對一組輸入信號和一組輸出信號之間的關系進行建模，其靈感源于動物的神經中樞，由大量的人工神經元連接而成；

????????神經網絡，也稱為人工神經網絡（ANN）或模擬神經網絡（SNN），是機器學習的 子集，并且是深度學習算法的核心。其名稱和結構是受人類大腦的啟發，模仿了生物 神經元信號相互傳遞的方式，但實際上并不十分相通。一般分為3個層次：輸入層， 輸出層，隱藏層

????????在上圖中，所有的“圓圈”有一個共同的名字，叫做神經節點。一個神經網絡是由很多 個節點來構成的，不同層的節點會有不同的作用。?

????????比如節點“x”所在的層叫做輸入層。每一個神經網絡都只有一個輸入層，但輸入層可 以有很多個“輸入”節點，所有的特征都從該層進行輸入。比如上面的神經網絡中輸入 層只有“x”一個節點，也就意味著該神經網絡只有一個輸入特征，例如根據用水量判 斷水費，“x”就是用水量。

????????節點“ a1_1”和節點“a2_1 ”所在的層叫做隱藏層，一個神經網絡可以有很多個隱藏層， 每一個隱藏層中也可以有很多個節點。

????????隱藏層是用來對輸入的特征進行計算的結果，層數越多，模型越復雜。

????????上面的神經網絡中有一層隱藏層，該隱藏層中有兩個節點，其中“a1_1 ”節點下角標的 第一個“1”表示該節點是本層的第一個節點，第二個“1”表示是神經網絡的第1層（第一 個隱藏層是第一層）。? ?

????????由此，“ a2_1”節點的下角標代表本節點是該網絡第一層隱藏層中的第二個節點。

????????節點“a1_2?”所在的層叫做輸出層，一個神經網絡只能有一個輸出層，例如根據用水量 判斷水費，水費就是輸出。輸出層的節點可以有很多個，例如某地的用水量不僅僅影 響用水費，還有水資源費改稅和污水處理費。同時在分類任務中，目標有幾類，輸出 層就會有幾個節點，例如根據圖片判斷這是貓還是狗。

????????輸出層是輸入層經過隱藏層計算后得到的結果，比如上面的神經網絡的輸出層中就只 有一個輸出節點“a1_2 ”。同時，節點“a1_2 ”表示該節點是該網絡第二層的第一個節 點，“z1_2 ”先不用管，后續前向計算時會說到。

????????還有w11_1、w12_1?、b1_1 、b2_1等參數，它們是神經網絡計算過程中必不可少的參 數，并且每個參數的下角標都不一樣，不同下角標的參數所代表的意義不一樣。

????????比如，第一個“1”代表計算對象是前一層的第一個節點；第二個“1”代表計算后的結果 （需要激活）是本層的第一個節點；第三個“1”代表本參數是第一層的參數。

????????由此，表示該參數是第一層的參數，其計算對象是上一層的第一個節點，計算后的結 果（需要激活）是本層的第二個節點，表示該參數是第二層的參數，其計算對象是上 一層的第一個節點，計算后的結果（需要激活）是本層的第一個節點；表示該參數是 第一層的參數，計算結果（需要激活）是本層的第一個節點，表示該參數是第一層的 參數，計算結果（需要激活）是本層的第二個節點。

三、全連接神經網絡

????????全連接神經網絡（Fully Connected Neural Network），是一種連接方式較為簡單的人工神經網絡結構，顧名思義，它的每個節點都 與下一層的所有節點有連接。這種網絡通過調整內部大量節點之間相互連接的關系， 從而達到處理信息的目的。在工程與學術界，全連接神經網絡也常直接簡稱為“神經 網絡”或類神經網絡。上面例子中的神經網絡就是一個結構簡單的全連接神經網絡。

四、感知器工作機制?

????????感知器即單層神經網絡，也即"人工神經元"，是組成神經網絡的最小單元