深度學習---負樣本訓練

1. 定義與范疇
負樣本（Negative Sample）是與目標樣本（正樣本）在語義、特征或任務目標上存在顯著差異的樣本。其核心價值在于通過對比學習引導模型學習樣本間的判別性特征，而非僅記憶正樣本分布。

場景差異：
- 分類任務：負樣本為非目標類樣本（如垃圾郵件分類中“非垃圾郵件”）。
- 排序/推薦系統：負樣本為用戶未交互但相關的項目（如未點擊的商品）。
- 對比學習：負樣本為同一數據增強空間中的非相似樣本（如同一圖像的不同失真版本）。

2. 核心目標

1. 基礎采樣方法

隨機采樣（Random Sampling）
- 原理：從非正樣本中均勻隨機選取負樣本。
- 優缺點：簡單易實現，但可能引入大量無關樣本（如推薦系統中隨機選取用戶不感興趣的類別商品），導致模型學習低效。
- 適用場景：數據量充足、正負樣本分布均衡的簡單任務。
分層采樣（Stratified Sampling）
- 原理：按類別/特征分層采樣，確保負樣本覆蓋各類別（如在圖像分類中，負樣本需包含所有非目標類的少量樣本）。
- 優勢：避免負樣本偏向某一類，提升樣本多樣性。

2. 困難樣本挖掘（Hard Negative Mining）

核心思想：聚焦“難分負樣本”（模型易誤判為正樣本的負樣本），優先訓練此類樣本以提升模型魯棒性。
實現方式：
- 離線挖掘：訓練后根據模型輸出概率/距離篩選難樣本，重新加入訓練集（如Faster R-CNN中對候選框的loss排序）。
- 在線挖掘：在訓練過程中動態選擇難樣本（如Siamese網絡中實時計算樣本間距離，選取最近的負樣本）。
關鍵參數：難樣本比例（通常控制在10%-30%，避免模型被噪聲主導）。

3. 基于密度的采樣

4. 對抗生成負樣本

對抗樣本（Adversarial Examples）：通過微小擾動生成接近正樣本的負樣本（如FGSM算法），迫使模型學習更魯棒的特征（如對抗訓練提升模型抗攻擊能力）。
生成模型（GANs/VAE）：利用生成模型合成逼真負樣本（如在人臉驗證中，生成與正樣本相似但身份不同的人臉）。

1. 損失函數設計

二元分類場景
- 交叉熵損失（Cross-Entropy Loss）：
  $\frac{1}{N} \sum_{i=1}^N \left[ y_i \log p_i + (1-y_i) \log (1-p_i) \right]$
  其中負樣本 $y_i=0)$ 通過 $log(1-p_i)$ 項驅動模型降低對其預測為正的概率。
- 焦點損失（Focal Loss）：
  
  $\frac{1}{N} \sum_{i=1}^N (1-p_i)^\gamma \log p_i \quad (\text{當} \ y_i=1)$
$\frac{1}{N} \sum_{i=1}^N p_i^\gamma \log (1-p_i) \quad (\text{當} \ y_i=0)$
通過 $\gamma$ 調節對難負樣本的關注程度 $(\gamma>0$ 時，難負樣本的權重更高）。
對比學習場景
- 三元組損失（Triplet Loss）：
  
  $\max(0, d(A,P) - d(A,N) + \text{margin})$
  要求正樣本對（Anchor-Positive）的距離小于負樣本對（Anchor-Negative）的距離至少 $ma r g in$ ，其中(N)為負樣本。
- NT-Xent損失（對比學習標準損失）：
  $\frac{1}{2N} \sum_{i=1}^N \left[ \log \frac{e^{sim(z_i, z_i^+) / \tau}}{e^{sim(z_i, z_i^+) / \tau} + \sum_{k=1}^{2N} e^{sim(z_i, z_k^-) / \tau}} \right]$
  其中 $z_i^+$ 為正樣本（同一數據的不同增強）， $z_k^-$ 為負樣本（其他數據的增強），通過溫度參數 $\tau$ 調節對比難度。

2. 訓練技巧

1. 負樣本質量問題

挑戰1：混淆樣本（Ambiguous Negatives）
- 表現：負樣本與正樣本高度相似（如細粒度分類中“金漸層貓”與“銀漸層貓”），導致模型難以區分。
- 解決方案：
  - 人工標注難負樣本邊界（如在數據集中增加難負樣本類別）；
  - 使用度量學習（如Siamese網絡）顯式建模樣本間距離。
挑戰2：無關負樣本（Irrelevant Negatives）
- 表現：負樣本與正樣本語義無關（如推薦系統中為用戶推薦跨品類商品），導致模型學習無效特征。
- 解決方案：
  - 基于內容過濾負樣本（如通過用戶歷史行為篩選相關類別）；
  - 引入注意力機制，讓模型自動忽略無關特征。

2. 計算效率瓶頸

挑戰：大規模數據中負樣本數量龐大（如推薦系統中負樣本數可達正樣本的1000倍），導致計算成本激增。
解決方案：
- 分層抽樣（Hierarchical Sampling）：先按粗粒度類別（如商品大類）抽樣，再在類內細選（如電子產品下的手機品類）；
- 負樣本共享（Negative Sharing）：多個正樣本共享同一批負樣本（如對比學習中一個batch內的樣本互為負樣本）；
- 近似最近鄰（ANN）：通過向量檢索（如FAISS、NSW）快速找到難負樣本，避免全局遍歷。

3. 類別不平衡與偏差

挑戰：負樣本類別分布不均（如長尾分布），模型易偏向高頻負類，忽視稀有負類。
解決方案：
- 類別加權損失：對低頻負類賦予更高權重（如根據類別頻率的倒數設置權重）；
- 元學習（Meta-Learning）：訓練模型快速適應新出現的負類別（如小樣本學習中的負樣本泛化）。

1. 推薦系統中的負樣本優化

場景：用戶點擊商品為正樣本，未點擊但曝光的商品為負樣本（顯式負樣本），未曝光商品為隱式負樣本。
策略：
- 優先采樣“曝光未點擊”的顯式負樣本（更具區分度）；
- 使用逆 propensity 加權（IPW）校正負樣本偏差（如曝光概率高但未點擊的商品更可能為真負樣本）；
- 案例：YouTube Recommendations通過“均勻采樣+熱門負樣本降權”提升推薦多樣性。

2. 圖像識別中的難負樣本挖掘