先看了《深度學習入門：基于python的理論和實踐》這本電子書，早上因為入迷還坐過站了。。

因為里面的反向傳播和鏈式法則特別難懂，又網上搜了相關內容進行進一步理解，參考的以下文章（個人認為都講的都非常好）：
神經網絡15分鐘入門：https://zhuanlan.zhihu.com/p/65472471
神經網絡中的鏈式法則：https://zhuanlan.zhihu.com/p/790621956
反向傳播到底是怎么傳播的？https://zhuanlan.zhihu.com/p/66534632

什么是卷積：https://zhuanlan.zhihu.com/p/526705694

CNN卷積神經網絡30分鐘入門：https://zhuanlan.zhihu.com/p/635438713

機器學習的問題大體上可以分為回歸問題和分類問題
關于輸出層的激活函數，回歸問題使用恒等函數；分類問題一般使用softmax函數（概率函數）

學習指的是從訓練數據中自動獲取最優權重參數的過程。引入損失函數衡量調整的指標，學習的目的找出使得損失函數的值達到最小的權重參數。

1 forward 正向傳播，由輸入到輸出的過程 ---推理處理
backward 反向傳播，由輸出到輸入的過程 ---機器學習
2 激活函數
線性函數 可以表示為cx，c為常量，x為輸入，也就是可以用一條直線標識，不適用于神經網絡
非線性函數
階躍函數 ?感知機使用的，大于某個值，輸出是另一個值
神經網絡使用平滑變化的sigmoid或ReLU函數
softmax函數 ? 概率函數，所有輸出加起來是1

機器學習中一般將數據分為訓練數據（也可以成為監督數據）和測試數據分別進行學習和實驗（評價得到的模型的實際能力，損失函數）。

學習數據：
MINIST數據集 ?---手寫數字圖像集（0到9，圖形是28像素*28的），經常作為實現數據出現；比如訓練圖片6w張，測試圖片1w張
正規化--將數據限定再一定范圍，比如0-1

圖像的特征量通常表示為向量的形式。在計算機視覺領域，常用的特征量包括SIFT、SURF和HOG等。
使用這些特征量將圖像數據轉換為向量，然后對轉換后的向量使用機器學習中的SVM、KNN等分類器進行學習。

泛化能力 ?評價學習能力，能否將訓練模型應用于未來的數據預測。
過度擬合問題：指模型在訓練數據上表現優異，但在測試數據或新數據上表現不佳的現象。原因：
（1）模型復雜度過高：捕捉到了訓練數據中的一些特定的局部的特點（噪聲）
（2）訓練數據不足

????????神經網絡學習用的指標成為損失函數，可以是任何函數，一般用均方差（mean squared error）等。
????????機器學習使用訓練數據學習，嚴格來說，就是針對訓練數據計算損失函數的值，找出使得該值最小的參數。

導數、偏導數、梯度
導數就是計算某個瞬間的變化量。
為了尋找使損失函數最小的參數，需要計算該參數的導數（確切的說就是梯度？），然后以這個導數為指引，逐步更新參數值。
損失函數其實是對權重參數求偏導數（因為神經元有多個參數，對某個參數求的是偏導數）。

像這樣的由全部變量的偏導數匯總而成的向量稱為梯度(gradient)。這個梯度意味著什么？可以用圖像直觀表示。
梯度呈現為有向向量（箭頭）。我們發現梯度指向函數的“最低處”（最小值），就像指南針一樣，所有的箭頭都指向同一點。其次，
我們發現離“最低處”越遠，箭頭越大。梯度指示的方向是各點處的函數值減少最多的地方，無法保證梯度所指的方向就是函數的最小值或者真正應該前進的方向。
雖然梯度的方向并不一定指向最小值，但沿著它的方向能夠最大限度地減小函數的值。因此，
在尋找函數的最小值（或者盡可能小的值）的位置的任務中，要以梯度的信息為線索，決定前進的方向。
梯度法：位置沿著梯度方向前進一定距離，然后在新的地方重新求梯度，再沿著新梯度方向前進，如此反復，不斷地沿梯度方向前進。
像這樣，通過不斷地沿梯度方向前進，逐漸減小函數值的過程就是梯度法(gradient method)。梯度法是解決機器學習中最優化問題的常用方法，特別是在神經網絡的學習中經常被使用。
梯度下降法和梯度上升法本質上是一樣的，將損失函數加個負號即可。

神經網絡的學習分成下面4個步驟。
步驟1(mini-batch)
從訓練數據中隨機選出一部分數據，這部分數據稱為mini-batch。我們的目標是減小mini-batch的損失函數的值。
步驟2（計算梯度）
為了減小mini-batch的損失函數的值，需要求出各個權重參數的梯度。梯度表示損失函數的值減小最多的方向。
步驟3（更新參數）
將權重參數沿梯度方向進行微小更新。
步驟4（重復）
重復步驟1、步驟2、步驟3。
神經網絡的學習按照上面4個步驟進行。這個方法通過梯度下降法更新參數，不過因為這里使用的數據是隨機選擇的mini batch數據，所以又稱為隨機梯度下降法(stochastic gradient descent)。
在很多神經網絡，隨機梯度下降法一般由一個名為SGD的函數來實現，也就是隨機梯度下降的首寫字母。

數值微分，可以計算權重的梯度，但還有一種更高效的計算梯度的方法，但實現較復雜，誤差反向傳播法計算梯度效率比較高，它利用鏈式法則計算
反向傳播是基于鏈式法則的。
如果一個函數由復合函數表示，則該復合函數的導數就是各個函數的導數的乘積表示。
比如 z = t*t ?t=x+y ?則z對x的導數可以用z對t導數 * t對x導數。
反向傳播的理解====有點兒難度。。。可能我腦子不好使了
鏈式法則（Chain Rule）是微積分中的重要規則，用于計算復合函數的導數。在神經網絡的反向傳播算法中，鏈式法則是計算梯度的核心工具。它允許我們通過將復雜的神經網絡分解為簡單的函數來逐層計算梯度，從而優化網絡的權重。

?