Lasso與嶺回歸的同和異

1. Lasso、嶺回歸都可以預防模型過擬合

2. Lasso回歸懲罰項為L1正則，嶺回歸為L2正則

3. Lasso回歸可用來特征選擇，嶺回歸則不能

4. Lasso回歸用坐標下降法求解，嶺回歸用梯度下降法求解。

為什么Lasso可用于特征選擇，而嶺回歸不能

我們首先來看一下Lasso、嶺回歸的目標函數。

假設在二維特征上，并轉化為約束問題為：

其中SSE表示殘差平方和，也就是目標函數的前半部分，代表特征權重，反應在二維圖像上如下所示，其中紅色圈代表SSE等高線，越往外SSE值越小，并且滿足約束條件，在Lasso回歸上既可以滿足最優解，又能使為0，多邊形更容易和等高線碰撞出稀疏解。

梯度下降法求解目標函數

目標函數：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ??

首先目標函數是個凸函數，沿著負梯度方向迭代?總能找到最小值，具體步驟如下：

1. 初始化(隨機初始化)

2. 沿著負梯度方向迭代，更新后的使得更小，如下公式所示，其中為學習率、步長。

其中求解如下所示：

怎么解決欠擬合和過擬合問題？

使用線性回歸的必要條件

線性、獨立、正態、齊性。(1)自變量與因變量之間存在線性關系? ? ? ? 可以通過繪制散點圖矩陣進行考察因變量隨各自變量值的變化情況。如果因變量與某個自變量之間呈現出曲線趨勢，可嘗試通過變量變換予以修正，常用的變量變換方法有對數變換、倒數變換、平方根變換、平方根反正弦變換等。(2)各觀測間相互獨立? ? ? ?任意兩個觀測殘差的協方差為0 ，也就是要求自變量間不存在多重共線性問題。對于如何處理多重共線性問題，我們之后會討論。(3)殘差服從正態分布。(4的大小不隨所有變量取值水平的改變而改變，即方差齊性。