目錄

一、按學習范式分類

1.?監督學習（Supervised Learning）

2.?無監督學習（Unsupervised Learning）

3.?半監督學習（Semi-supervised Learning）

4.?強化學習（Reinforcement Learning, RL）

5.?遷移學習（Transfer Learning）

6.?自監督學習（Self-supervised Learning）

二、按訓練技術分類

1.?數據增強（Data Augmentation）

2.?正則化（Regularization）

3.?優化算法（Optimization Algorithms）

4.?模型集成（Ensemble Learning）

5.?分布式訓練（Distributed Training）

三、按任務特性分類

1.?在線學習（Online Learning）

2.?元學習（Meta-Learning）

3.?課程學習（Curriculum Learning）

四、典型應用場景

五、選擇訓練方法的關鍵因素

---

你的痛苦，我都心疼，想為你解決

????????????????????????????????????????????????—— 25.2.15

一、按學習范式分類

1.?監督學習（Supervised Learning）

• 核心思想：使用帶有標簽（已知輸入-輸出對）的數據訓練模型。

• 常見任務：分類（如垃圾郵件識別）、回歸（如房價預測）。

• 典型方法：

  • 梯度下降法：通過反向傳播調整模型參數，最小化損失函數。

  • 批量訓練（Batch Training）：每次迭代使用全部數據計算梯度。

  • 小批量梯度下降（Mini-batch Gradient Descent）：每次使用一小部分數據（平衡速度和穩定性）。

  • 隨機梯度下降（SGD）：每次使用單個樣本（收斂快但噪聲大）。

---

2.?無監督學習（Unsupervised Learning）

• 核心思想：從無標簽數據中學習數據的內在結構。

• 常見任務：聚類（如客戶分群）、降維（如PCA）、生成（如GAN生成圖像）。

• 典型方法：

  • K-Means聚類：通過迭代優化簇中心和樣本分配。

  • 自編碼器（Autoencoder）：學習數據的低維表示。

  • 生成對抗網絡（GAN）：生成器和判別器對抗訓練。

---

3.?半監督學習（Semi-supervised Learning）

• 核心思想：結合少量標注數據和大量未標注數據訓練。

• 適用場景：標注成本高（如醫學圖像分析）。

• 典型方法：

  • 自訓練（Self-training）：用已訓練模型預測未標注數據，擴展訓練集。

  • 一致性正則化（Consistency Regularization）：鼓勵模型對擾動后的未標注數據預測一致（如FixMatch）。

---

4.?強化學習（Reinforcement Learning, RL）

• 核心思想：通過試錯與獎勵機制訓練智能體（Agent）。

• 常見任務：游戲AI（如AlphaGo）、機器人控制。

• 典型方法：

  • Q-Learning：學習狀態-動作價值函數。

  • 策略梯度（Policy Gradient）：直接優化策略函數。

  • 深度確定性策略梯度（DDPG）：結合深度學習和Actor-Critic框架。

---

5.?遷移學習（Transfer Learning）

• 核心思想：將預訓練模型的知識遷移到新任務。

• 典型應用：

  • 微調（Fine-tuning）：在預訓練模型（如BERT、ResNet）基礎上調整參數。

  • 特征提取：凍結預訓練層，僅訓練新分類層。

---

6.?自監督學習（Self-supervised Learning）

• 核心思想：通過設計輔助任務（Pretext Task）自動生成標簽。

• 典型方法：

  • 對比學習（Contrastive Learning）：如SimCLR，通過對比樣本增強視圖。

  • 掩碼語言建模（Masked Language Modeling）：如BERT預測被遮蔽的詞語。

---

二、按訓練技術分類

1.?數據增強（Data Augmentation）

• 目的：增加數據多樣性，防止過擬合。

• 方法：

  • 圖像：旋轉、裁剪、加噪聲。

  • 文本：同義詞替換、回譯（Back Translation）。

  • 音頻：變速、加背景噪聲。

---

2.?正則化（Regularization）

• 目的：限制模型復雜度，提高泛化能力。

• 方法：

  • L1/L2正則化：在損失函數中添加參數懲罰項。

  • Dropout：隨機丟棄神經元（如全連接層設置0.5丟棄率）。

  • 早停法（Early Stopping）：驗證集性能不再提升時終止訓練。

---

3.?優化算法（Optimization Algorithms）

• 常用優化器：

  • Adam：結合動量（Momentum）和自適應學習率（如NLP任務常用）。

  • RMSProp：自適應調整學習率（適合非平穩目標）。

  • AdaGrad：稀疏數據優化（如推薦系統）。

---

4.?模型集成（Ensemble Learning）

• 目的：結合多個模型提升魯棒性。

• 方法：

  • Bagging：并行訓練多個模型并投票（如隨機森林）。

  • Boosting：串行訓練，糾正前序模型的錯誤（如XGBoost）。

  • Stacking：用元模型組合基模型的輸出。

---

5.?分布式訓練（Distributed Training）

• 目的：加速大規模數據/模型的訓練。

• 方法：

  • 數據并行：多GPU同步訓練（如PyTorch的DataParallel）。

  • 模型并行：將模型拆分到不同設備（如大型Transformer）。

---

三、按任務特性分類

1.?在線學習（Online Learning）

• 特點：模型逐步更新，適應數據流（如推薦系統實時反饋）。

2.?元學習（Meta-Learning）

• 特點：學習“如何學習”，快速適應新任務（如小樣本學習）。

3.?課程學習（Curriculum Learning）

• 特點：從簡單到復雜逐步訓練（模仿人類學習過程）。

---

四、典型應用場景

方法	適用場景
監督學習	數據標注充足（如圖像分類、文本情感分析）
半監督學習	標注數據少，未標注數據多（如醫學影像）
強化學習	動態決策場景（如游戲、機器人控制）
遷移學習	目標領域數據少，但有相關預訓練模型（如NLP）
自監督學習	無標注數據豐富（如預訓練語言模型）

---

五、選擇訓練方法的關鍵因素

1. 數據量級：數據少時優先遷移學習或半監督學習。

2. 標注成本：標注困難時考慮自監督或弱監督學習。

3. 任務類型：分類/回歸用監督學習，生成任務用GAN或VAE。

4. 實時性要求：在線學習適合需要快速更新的場景。