【1】引言

前序學習進程中，對用scikit-learn表達線性回歸進行了初步解讀。
線性回歸能夠將因變量$y$表達成由自變量$x$、線性系數矩陣$w$和截距$b$組成的線性函數式：
$$y=\sum _{i=1}^n{w}_i?x_i+b=w^{T}x+b$$實際上很多時候數據之間不一定是理想化的線性關系，所以需要對線性關系式進行修正，這個時候就可以考慮嶺回歸。

嶺回歸是修正后的線性回歸，相對于普通線性回歸，增加了一個參數：均方誤差。

【2】線性回歸均方誤差

對于線性回歸，均方誤差的計算式子為：
$$L(w,b)=\sum _{i=1}^n(y_i?\widehat{y_i}{)}^2=\sum _{i=1}^n(y_i?(w^T{x}_i+b){)}^2$$在這里，$y$是第i個樣本的真實值，$\hat{y}$是第i個樣本的預測值。
線性回歸的均方誤差將真實值和預測值作差后求平方和即可。

【3】嶺回歸均方誤差

嶺回歸相對于線性回歸，均方誤差的計算式子增加了對參數權重平方和的計算，稱之為L2正則化懲罰項：
$$L(w,b)=\sum _{i=1}^n(y_i?\widehat{y_i}{)}^2+\alpha \sum _{j=1}^m{w}_j^2=\sum _{i=1}^n(y_i?(w^T{x}_i+b){)}^2+\alpha \sum _{j=1}^m{w}_j^2$$在這里，$y$是第i個樣本的真實值，$\hat{y}$是第i個樣本的預測值。
新增加的L2正則化懲罰項為$\alpha {\sum }_{j=1}^m{w}_j^2，其中\alpha \ge 0$

實際上根據上述說明，從線性回歸到嶺回歸主要的變化發生在均方誤差的定義上。
嶺回歸大名鼎鼎，在均方誤差項里面增加了一個L2正則化懲罰項。既然可以有L2正則化，顯然也可以有L1正則化，這就是Lasso套索回歸方。

【4】套索回歸Lasso

嶺回歸相對于普通線性回歸，區別在于添加了L2正則化懲罰項，這一變化解決了普通線性回歸至少兩個問題：多重共線性和過擬合。

套索回歸Lasso相對于普通線性回歸，添加L1正則化懲罰項，此時的均方誤差公式為：
$$L(w,b)=\frac{1}{2n}\sum _{i=1}^n(y_i?\widehat{y_i}{)}^2+\alpha \sum _{j=1}^n\left|w_j\right|=\frac{1}{2n}\sum _{i=1}^n(y_i?(w^T{x}_i+b){)}^2+\alpha \sum _{j=1}^n\left|w_j\right|$$
新增加的L1正則化懲罰項為$\alpha {\sum }_{j=1}^m\left|w_j\right|$，其中：
$\alpha \ge 0$是L1正則化懲罰項強度，可以控制對后面部分懲罰的力度；
${\sum }_{j=1}^n\left|w_j\right|$是所有線性系數絕對值的和。
當$\alpha >0$時，隨著$\alpha$增加，正則化強度增加，會增強對系數絕對值和的約束，使得$w\to 0$；
當$\alpha =0$，懲罰項不起作用，Lasso回歸退回到普通線性回歸。

【5】套索回歸Lasso的特點

嶺回歸和線性回歸都是線性關系式的推演，但嶺回歸通過L2正則化懲罰項讓線性系數$w_j$保持在合理且較小的范圍，讓回歸模型更穩健、更準確。
套索回歸Lasso會讓部分線性系數直接精確約束至0，即自動剔除不重要的特征，是的模型最終只保留少數非零系數特征，這個特性讓Lasso非常適合高維數據的降維和變量篩選；

此外L1正則化懲罰項的存在，很顯然對線性系數發揮約束作用可以防止線性回歸過擬合。
此外應該強調的是，較小的$\alpha$可以保留相對多的特征，特征多可能過擬合，所以使用Lasso回歸應對L1正則化懲罰項的系數$\alpha$進行選取嘗試，已實現獲取最佳效果。

【6】總結

初步學習了套索回歸Lasso的基本概念，了解了套索回歸在對高維數據降維上的優勢和防止數據過擬合應該采取的措施。