正則化（Regularization）是機器學習中用于防止模型過擬合（Overfitting）的一種技術，通過在模型訓練過程中引入額外的約束或懲罰項，降低模型的復雜度，從而提高其泛化能力（即在未見數據上的表現）。核心思想是在擬合訓練數據和控制模型復雜度之間取得平衡。

一、常見的正則化方法

1. L1 正則化（Lasso回歸）

? ? 在損失函數中添加模型權重（參數）的L1 范數（絕對值之和）作為懲罰項。
?
? ?特點： ?
? ?會傾向于產生稀疏權重矩陣（即部分權重變為0），適用于特征選擇（自動篩選重要特征）。

?2. L2 正則化（Ridge回歸）

? ?在損失函數中添加模型權重的 L2 范數（平方和）作為懲罰項。
??
? ?特點： ?
? ?使權重值均勻縮小，避免某些特征權重過大，但不會完全消除特征。

3. 彈性網絡（Elastic Net）

? ?結合 L1 和 L2 正則化，通過比例參數調節兩者權重。
??
? 適用于高維數據且特征間存在相關性時。

?

4. Dropout（神經網絡專用）

? ?在訓練過程中隨機“丟棄”（臨時禁用）神經網絡中的部分神經元，迫使網絡不依賴單一神經元，增強魯棒性。

5. 早停法（Early Stopping）

? ?在訓練過程中監控驗證集誤差，當誤差不再下降時提前停止訓練，防止過擬合。

二、正則化的作用

1.防止過擬合：限制模型對訓練數據的過度擬合，尤其當數據量少或模型復雜時。
2.改善泛化能力：使模型在測試數據或真實場景中表現更穩定。
3.特征選擇（L1 正則化）：自動篩選對預測最重要的特征。

三、超參數 λ 的作用

λ（lambda）是正則化項的系數，控制懲罰力度： ?
λ 過大：模型可能欠擬合（權重被過度壓制）。 ?
λ 過小：正則化效果微弱，可能過擬合。 ?

通常通過交叉驗證（Cross-Validation）選擇最優的 λ。

四、示例場景

1.線性回歸：使用 L2 正則化（Ridge）或 L1 正則化（Lasso）。 ?
2.深度學習：常用 Dropout 或 L2 正則化。 ?
3.高維數據（如基因數據）：L1 或 Elastic Net 更有效。

正則化是機器學習模型調優的重要工具之一，合理使用能顯著提升模型性能。