按誤差反向傳播(簡稱誤差反傳)訓練的多層前饋網絡

線性回歸或者分類不需要使用神經元，原有最小二程即可。求解

?J依次變小。使用泰勒展開，只看第一階。

偏導是確定的，需要讓J小于0的delta Wk

Wk構造完成后?J（Wk+1）已知，依次完成。構造出 內積，形成模的平方乘比例帶負號。

梯度下降法，也是BP基本思想。

只看到坡的一小圈，下山要找下降最快的方向，一步一步向前走。沿負梯度走，步長alpha，所有的神經網絡和深度學習都是這個原理。

前向傳播

第i個輸出神經元a 是上一層神經元向量和權值共同作用的結果。

由鏈式求導更新w權重矩陣。Sigmoid函數求導特性導致計算簡便性。deta i 是隱含層 aj? 連接第i個 神經元等效輸出和第j個神經元輸出 確定權值決定

神經元在長期進化過程中學會了求偏導，Hebb的生物學定義完全一直

先要算出delta 也就是隱含層向輸出層等效輸出，再求前一層，直到輸入層，這也是反向傳播的意思。