L1正則化和L2正則化是機器學習中常用的兩種正則化方法，用于防止模型過擬合。它們的區別主要體現在數學形式、作用機制和應用效果上。以下是詳細對比：

1. 數學定義

• L1正則化（也叫Lasso正則化）：
  在損失函數中加入權重參數的絕對值之和，即 $\lambda \sum |w_i|$。
  公式：
  $Loss=Los{s}_{原始}+\lambda \sum |w_i|$
  其中 $w_i$ 是模型的權重參數，$\lambda$ 是正則化強度的超參數。

• L2正則化（也叫Ridge正則化）：
  在損失函數中加入權重參數的平方和，即 $\lambda \sum w_i^2$。
  公式：
  $Loss=Los{s}_{原始}+\lambda \sum w_i^2$

2. 幾何解釋

• L1正則化：
  在參數空間中，L1正則化對應一個菱形（或高維的絕對值約束）。優化時，損失函數的最優解傾向于落在菱形的頂點上，導致部分權重被精確地壓縮到0，具有稀疏性。

• L2正則化：
  對應一個圓形（或高維球面約束）。優化時，權重傾向于均勻縮小，但不會精確到0，而是變得很小。

3. 作用效果

• L1正則化：

  • 傾向于產生稀疏解，即部分權重變為0。
  • 適合特征選擇，因為它可以自動剔除不重要的特征。

• L2正則化：

  • 傾向于讓所有權重變小但不為0，保持權重分布更平滑。
  • 更適合處理多重共線性（特征之間高度相關）的情況。

4. 計算復雜度

• L1正則化：
  由于絕對值函數不可導，優化時需要特殊的算法（如次梯度下降或坐標下降法），計算復雜度稍高。

• L2正則化：
  平方項是連續可導的，可以直接用梯度下降等方法優化，計算上更簡單。

5. 應用場景

• L1正則化：

  • 當特征數量很多且你懷疑只有少部分特征重要時（如高維數據降維）。
  • 示例：Lasso回歸。

• L2正則化：

  • 當所有特征都可能有貢獻，但需要控制權重大小以避免過擬合時。
  • 示例：Ridge回歸、神經網絡中的權重衰減。

6. 組合使用

在實踐中，L1和L2正則化可以結合使用，稱為Elastic Net，公式為：
$Loss=Los{s}_{原始}+{\lambda }_1\sum |w_i|+{\lambda }_2\sum w_i^2$
這種方法兼具L1的稀疏性和L2的平滑性。

總結

特性	L1正則化	L2正則化
懲罰項	絕對值 $w$	平方 $w^2$
權重結果	稀疏（部分為0）	小但非0
幾何形狀	菱形	圓形
主要用途	特征選擇	權重平滑、防止過擬合
計算難度	稍高	較低

簡單來說，L1更像“選擇性淘汰”，L2更像“整體削弱”。根據具體任務需求選擇合適的正則化方法！

---

補充：$L_{21}norm$范數正則化與Elastic Net 的區別

Elastic Net和L21范數正則化是兩種不同的正則化方法，它們的主要區別如下：

• 原理不同
  • Elastic Net：結合了L1和L2正則化的特點，在損失函數中同時引入L1范數和L2范數作為正則化項，通過一個混合參數來平衡兩者的貢獻。其正則化項的表達式為(R(\boldsymbol{w})=\lambda_1|\boldsymbol{w}|_1+\lambda_2|\boldsymbol{w}|_2^2)，其中(\boldsymbol{w})是模型的參數，(\lambda_1)和(\lambda_2)是正則化參數。
  • L21范數正則化：是對矩陣的每一行或每一列的L2范數進行求和，然后將其作為正則化項添加到損失函數中。對于一個矩陣(\boldsymbol{W})，其L21范數正則化項的表達式為(R(\boldsymbol{W})=\sum_{i}|\boldsymbol{w}_i|_2)，其中(\boldsymbol{w}_i)表示矩陣(\boldsymbol{W})的第(i)行或第(i)列。
• 應用場景不同
  • Elastic Net：常用于線性回歸、邏輯回歸等模型中，當數據存在多個相關特征時，它可以有效地選擇出重要的特征，并對模型進行正則化，防止過擬合。
  • L21范數正則化：在一些需要對矩陣結構進行約束的場景中更為常用，如圖像處理、信號處理等領域，它可以用于特征選擇、矩陣分解等任務。
• 效果不同
  • Elastic Net：由于同時包含L1和L2正則化的特性，它既能夠實現特征的稀疏性，又能夠對模型的參數進行平滑處理，使得模型具有較好的泛化能力。
  • L21范數正則化：主要作用是促進矩陣的行或列的稀疏性，使得一些行或列的元素趨近于零，從而實現特征選擇或矩陣結構的簡化。

Elastic Net和L21范數正則化在原理、應用場景和效果等方面都存在一定的區別，在實際應用中，需要根據具體的問題和數據特點選擇合適的正則化方法。