大模型微調時節約顯存和內存是一個至關重要的話題，尤其是在消費級GPU（如RTX 3090/4090）或資源有限的云實例上。下面我將從顯存（GPU Memory） 和內存（CPU Memory） 兩個方面，為你系統地總結節約策略，并從易到難地介紹具體技術。

核心問題：顯存和內存被什么占用了？

• 顯存占用大頭：

  1. 模型權重：以FP16格式存儲一個175B（如GPT-3）的模型就需要約350GB顯存，這是最主要的占用。
  2. 優化器狀態：如Adam優化器，會為每個參數保存動量（momentum）和方差（variance），這通常需要2倍于模型參數（FP16）的顯存。例如，對于70億（7B）參數的模型，優化器狀態可能占用 7B * 2 * 2 = 28 GB（假設模型權重占14GB FP16）。
  3. 梯度：梯度通常和模型權重保持同樣的精度（例如FP16），這又需要一份1倍的顯存。
  4. 前向傳播的激活值：用于在反向傳播時計算梯度，這部分占用與batch size和序列長度高度相關。
  5. 臨時緩沖區：一些計算操作（如矩陣乘）會分配臨時空間。

• 內存占用大頭：

  1. 訓練數據集：尤其是將整個數據集一次性加載到內存中。
  2. 數據預處理：tokenization、數據增強等操作產生的中間變量。

---

一、 節約顯存（GPU Memory）的策略

這些策略通常需要結合使用，效果最佳。

1. 降低模型權重精度（最直接有效）

• FP16 / BF16 混合精度訓練：這是現代深度學習訓練的標配。

  • 原理：將模型權重、激活值和梯度大部分時間保存在FP16（半精度）或BF16（Brain Float）中，進行前向和反向計算，以節約顯存和加速計算。同時保留一份FP32的權重副本用于優化器更新，保證數值穩定性。
  • 節省效果：顯著。模型權重和梯度占用幾乎減半。
  • 實現：框架（如PyTorch）自帶（torch.cuda.amp），或深度學習庫（如Hugging Face Trainer）只需一個參數 fp16=True 即可開啟。

• INT8 / QLoRA 量化微調：

  • 原理：將預訓練模型的權重量化到低精度（如INT8），甚至在使用QLoRA時量化到4bit，然后在微調時再部分反量化回BF16/FP16進行計算，極大減少存儲模型權重所需的顯存。
  • 節省效果：極其顯著。QLoRA可以讓一個70B模型在單張48GB顯存卡上微調。
  • 實現：使用 bitsandbytes 庫和 peft 庫可以輕松實現。

2. 優化優化器和梯度（針對優化器狀態）

• 使用內存高效的優化器：
  • 如：Adafactor, Lion, 或 8-bit Adam (bitsandbytes.optim.Adam8bit)。
  • 原理：這些優化器以不同的方式減少了動量、方差等狀態的存儲需求。例如，8-bit Adam將優化器狀態也量化到8bit存儲。
  • 節省效果：顯著。可以節省大約 0.5~1倍 模型權重的顯存（原本需要2倍）。

3. 減少激活值占用

• 梯度檢查點（Gradient Checkpointing）：
  • 原理：在前向傳播時只保存部分層的激活值，而不是全部。在反向傳播時，對于沒有保存激活值的層，重新計算其前向傳播。這是一種 “用計算時間換顯存” 的策略。
  • 節省效果：非常顯著。可以將激活值占用的顯存減少到原來的 1/sqrt(n_layers) 甚至更少，但訓練時間會增加約20%-30%。
  • 實現：在Hugging Face Transformers中，只需在 TrainingArguments 中設置 gradient_checkpointing=True。

4. 降低計算過程中的開銷

• 減少Batch Size和序列長度：
  • 這是最直接但可能影響效果的方法。Batch Size和序列長度會線性影響激活值顯存占用。
• 使用Flash Attention：
  • 原理：一種更高效、顯存友好的Attention算法實現。它通過分塊計算避免存儲完整的 N x N 注意力矩陣，從而大幅減少中間激活值的顯存占用。
  • 節省效果：顯著，尤其對于長序列任務。
  • 實現：需要安裝對應的庫（如 flash-attn），并確保你的模型支持。

5. 分布式訓練策略（多卡或卸載）

• 數據并行（Data Parallelism）：多張GPU，每張存有完整的模型副本，處理不同的數據批次。這是最常見的方式，能增大有效Batch Size，但不減少單卡顯存占用。
• 張量并行（Tensor Parallelism）：將模型層的矩陣運算拆分到多個GPU上。例如，一個大的線性層，將其權重矩陣切分到4張卡上計算。能減少單卡模型權重存儲，但卡間通信開銷大。
• 流水線并行（Pipeline Parallelism）：將模型的不同層放到不同的GPU上。例如，前10層在GPU0，中間10層在GPU1，最后10層在GPU2。能極大減少單卡模型存儲。
• ZeRO（Zero Redundancy Optimizer）：
  • 原理：DeepSpeed庫的核心技術。它將優化器狀態、梯度和模型參數在所有GPU間進行分區，而不是每張GPU都保留一份完整副本。需要時通過通信從其他GPU獲取。
  • ZeRO-Stage 1：分區優化器狀態。
  • ZeRO-Stage 2：分區優化器狀態 + 梯度。
  • ZeRO-Stage 3：分區優化器狀態 + 梯度 + 模型參數。
  • 節省效果：極其顯著。ZeRO-Stage 3幾乎可以將顯存占用隨GPU數量線性減少。
  • CPU卸載（Offload）：ZeRO-Infinity等技術甚至可以將優化器狀態、梯度或模型參數卸載到CPU內存和NVMe硬盤，從而在單張GPU上微調超大模型。代價是通信速度慢。

---

二、 節約內存（CPU Memory）的策略

1. 使用迭代式數據加載：
   • 不要一次性將整個數據集加載到內存中。使用PyTorch的 Dataset 和 DataLoader，它們會按需從磁盤加載和預處理數據。
2. 使用高效的數據格式：
   • 將數據集保存為parquet、arrow（Apache Arrow）或tfrecord等高效二進制格式，而不是json或csv文本格式，加載更快，占用內存更小。
3. 優化數據預處理：
   • 使用多進程進行數據預處理（DataLoader的 num_workers 參數），讓CPU預處理和GPU計算重疊進行，避免GPU等待CPU，從而間接提升GPU利用率。

---

實踐路線圖（從易到難）

對于個人開發者或資源有限的團隊，推薦按以下順序嘗試：

1. 基礎必備三件套：

   • 開啟混合精度訓練 (fp16=True 或 bf16=True)。
   • 使用梯度檢查點 (gradient_checkpointing=True)。
   • 使用內存高效優化器 (如 AdamW8bit)。

   僅這三步，就足以讓微調模型所需顯存減少 50% 或更多。

2. 進階：QLoRA + 上述技巧：

   • 如果基礎三件套還不夠，使用 QLoRA。
   • 它結合了4bit量化、LoRA（低秩適配） 和分頁優化器等技術，是當前在單卡上微調大模型的首選方案。

3. 高級：分布式訓練框架：

   • 如果你擁有多卡服務器，需要全參數微調超大模型，那么需要學習使用 DeepSpeed（配置ZeRO）或 FSDP（Fully Sharded Data Parallel，PyTorch的原生方案，類似ZeRO-3）。

總結對比表

策略	主要節省對象	節省效果	實現難度	額外開銷
混合精度 (FP16/BF16)	模型權重、梯度	顯著（~50%）	低	幾乎無
梯度檢查點 (G-Checkpoint)	激活值	非常顯著	低	增加計算時間 (~20%)
8-bit 優化器 (e.g., Adam8bit)	優化器狀態	顯著 (~50%)	低	幾乎無
QLoRA (4bit + LoRA)	模型權重、優化器狀態	極其顯著	中	輕微性能損失
DeepSpeed ZeRO (Stage 2/3)	優化器狀態、梯度、模型參數	極其顯著	高	增加通信開銷
減少Batch Size/Seq Length	激活值	直接但有限	低	可能影響效果
Flash Attention	激活值 (Attention)	顯著（長序列）	中	無

希望這份詳細的總結能幫助你高效地微調大模型！根據你的硬件條件和任務需求，選擇合適的組合策略即可。