torch.unsqueeze()將一維數據變為二維數據，torch只能處理二維數據

tensor不能反向，variable可以反向。variable.data.numpy()轉換為numpy

第3章 神經網絡

• 實現softmax函數時的注意事項：為防止e的指數運算造成溢出

?

矩陣的第 0 維是列方向,第 1 維是行方向

第4章 神經網絡的學習

損失函數：

均方誤差

交叉熵誤差

求所有訓練數據的損失函數的總和,以交叉熵誤差為例,可以寫成

數值微分：利用微小的差分求導數的過程稱為數值微分。所謂數值微分就是用數值方法近似求解函數的導數的過程。

梯度法：在梯度法中，函數的取值從當前位置沿著梯度方向前進一定距離，然后在新的地方重新求梯度，再沿著新梯度方向前進, ?如此反復，不斷地沿梯度方向前進。像這樣，通過不斷地沿梯度方向前進, ?逐漸減小函數值的過程就是梯度法。

學習率決定在一次學習中,應該學習多少,以及在多大程度上更新參數

第5章 誤差反向傳播法

5.1?計算圖

用圖形表示計算過程，從左向右計算

實際上,使用計算圖最大的原因是,可以通過反向傳播高效計算導數。即計算輸入變量對最終輸出的影響。

5.2?鏈式法則