線性回歸
線性回歸是一種統計方法,用于發現變量之間的關系。在機器學習背景下,線性回歸可找出特征(Feature)與標簽(Lable)之間的關系。
例如,假設我們想要根據汽車的重量預測汽車的每加侖汽油行駛里程(mpg),并且我們有以下數據集:
線性回歸方程 Linear regression equation
具有多個特征的模型
損失 Loss
損失是一個數值指標,用于描述模型的預測有多不準確。損失函數用于衡量模型預測與實際標簽之間的距離。訓練模型的目標是盡可能降低損失,將其降至最低值。
下圖中,損失可視化為從數據點指向模型的箭頭。箭頭表示模型的預測結果與實際值之間的差距。
丟失距離
在統計學和機器學習中,損失函數用于衡量預測值與實際值之間的差異。
損失函數側重于值之間的距離,而不是方向。因此可以說,損失距離是一個標量
,而非矢量
因此,所有用于計算損失的方法都會移除符號。移除此標記的兩種最常用方法如下:
- 計算實際值與預測值之間的差值的絕對值。
- 計算實際值與預測值之間的差值的平方。
計算損失
在上述預測汽車車重與油耗的例子中,我們得到最佳擬合線,其中,權重和偏差分別為:
- Weight:-0.36
- Bias:30
根據最優擬合線,模型預測 2,370 磅的汽車每加侖可行駛 21.5 英里;但實際上,每加侖可行駛 24 英里,我們將按如下方式計算 L2 損失: