文章大綱

• 3.2.3 預訓練任務設計：`掩碼語言建模（MLM）`與下一句預測（NSP）
• • 1. 掩碼語言建模（`Masked Language Modeling, MLM`）
  • • 1.1 MLM的核心原理與數學形式
    • 1.2 高級掩碼優化技術
    • • 1.2.1 `Span Masking（SpanBERT）`
      • 1.2.2 自適應掩碼（`AMLM`）
  • 2. 下一句預測（`Next Sentence Prediction, NSP`）
  • • 2.1 NSP任務設計
  • 3. MLM與NSP的聯合訓練
  • • 3.1 聯合目標函數
    • 3.2 動態課程學習
  • 4. 工程實現與優化
  • • 4.1 數據預處理流水線
    • 4.2 顯存優化策略
  • 5. 實驗分析與效果驗證
  • • 5.1 消融實驗（`Wikipedia數據集`）
    • 5.2 跨語言泛化能力
  • 6. 總結與最佳實踐
  • • 6.1 預訓練任務設計準則
    • 6.2 領域適配方案