??大家好，我是 展菲，目前在上市企業從事人工智能項目研發管理工作，平時熱衷于分享各種編程領域的軟硬技能知識以及前沿技術，包括iOS、前端、Harmony OS、Java、Python等方向。在移動端開發、鴻蒙開發、物聯網、嵌入式、云原生、開源等領域有深厚造詣。
圖書作者：《ESP32-C3 物聯網工程開發實戰》
圖書作者：《SwiftUI 入門，進階與實戰》
超級個體：COC上海社區主理人
特約講師：大學講師，谷歌亞馬遜分享嘉賓
科技博主：華為HDE/HDG
我的博客內容涵蓋廣泛，主要分享技術教程、Bug解決方案、開發工具使用、前沿科技資訊、產品評測與使用體驗。我特別關注云服務產品評測、AI 產品對比、開發板性能測試以及技術報告，同時也會提供產品優缺點分析、橫向對比，并分享技術沙龍與行業大會的參會體驗。我的目標是為讀者提供有深度、有實用價值的技術洞察與分析。
展菲：您的前沿技術領航員
👋 大家好，我是展菲！
📱 全網搜索“展菲”，即可縱覽我在各大平臺的知識足跡。
📣 公眾號“Swift社區”，每周定時推送干貨滿滿的技術長文，從新興框架的剖析到運維實戰的復盤，助您技術進階之路暢通無阻。
💬 微信端添加好友“fzhanfei”，與我直接交流，不管是項目瓶頸的求助，還是行業趨勢的探討，隨時暢所欲言。
📅 最新動態：2025 年 3 月 17 日
快來加入技術社區，一起挖掘技術的無限潛能，攜手邁向數字化新征程！
文章目錄
- 摘要
- 引言
- 對齊訓練的三大階段
- 監督微調（SFT）
- 獎勵模型訓練（RM）
- 策略優化（PPO / DPO）
- PPO
- DPO（更輕量）
- 應用場景與代碼示例
- 場景一：客服對話系統
- 場景二：內容安全助手
- 場景三：醫療助手
- QA 環節
- 總結
摘要
在大語言模型日益強大的今天，我們會發現一個問題：它們雖然“能說會道”，但有時候卻說得不靠譜——比如編造事實、回答偏激，甚至出現違背常識和倫理的問題。
為了讓模型“聽得懂話、說得靠譜”，我們就需要對齊訓練（Alignment Training）。這背后的核心方法是 人類反饋強化學習（RLHF），它通過人類偏好來調整模型行為，確保模型輸出不僅正確，而且符合價值觀。
本文將系統介紹 RLHF 的三個階段：監督微調（SFT）、獎勵模型訓練（RM）、策略優化（如PPO、DPO），結合 HuggingFace + TRL + DPO 框架進行實戰演示，幫助你掌握一整套對齊訓練的開發流程。
引言
大語言模型訓練分兩步走：
- 預訓練（Pretraining）：學會“說話”，但不懂“人話”。
- 對齊訓練（Alignment）：學會“說得對”，還得“說得人喜歡”。
早期對齊方法主要是規則過濾或黑名單，但效果有限。直到 OpenAI 推出 InstructGPT 和 ChatGPT，通過 RLHF 結合人類反饋訓練出更符合人類偏好的模型，才真正解決了這一問題。
隨著對齊技術的發展，又涌現了許多輕量替代品，如 DPO（Direct Preference Optimization），省去了 RL 中復雜的采樣和價值函數估計，成為更輕便的替代方案。
對齊訓練的三大階段
監督微調（SFT）
這是最基礎的一步。我們先用成對的指令-回復數據（如“請寫一封道歉信” - “很抱歉我錯了………”）讓模型學會基本的“格式”與“語氣”。
# 使用transformers進行SFT訓練
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainermodel = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")train_data = [{"input": "請寫一封道歉信", "output": "很抱歉給您帶來了不便……"},{"input": "總結這段內容", "output": "這段文字討論了……"},
]def tokenize(example):prompt = f"### 指令：\n{example['input']}\n\n### 回復：\n{example['output']}"tokens = tokenizer(prompt, truncation=True, padding="max_length", max_length=512)tokens["labels"] = tokens["input_ids"]return tokenstokenized_data = list(map(tokenize, train_data))training_args = TrainingArguments(output_dir="./sft_model", per_device_train_batch_size=1, num_train_epochs=3)
trainer = Trainer(model=model, args=training_args, train_dataset=tokenized_data)
trainer.train()
獎勵模型訓練（RM）
接下來，我們需要訓練一個“獎勵模型”來判斷哪一段回復更好。它是 RLHF 的核心。
我們準備多組 A/B 選擇數據，例如：
- Prompt: “你怎么看待加班文化？”
- A: “加班是奮斗精神的體現。”
- B: “長期加班會損害身心健康。”
人類選擇 B，我們用這個偏好訓練一個二分類獎勵模型。
# 簡化版：獎勵模型結構
from transformers import AutoModel, AutoTokenizer
import torch.nn as nnclass RewardModel(nn.Module):def __init__(self, base_model="meta-llama/Llama-2-7b-hf"):super().__init__()self.backbone = AutoModel.from_pretrained(base_model)self.value_head = nn.Linear(self.backbone.config.hidden_size, 1)def forward(self, input_ids, attention_mask):outputs = self.backbone(input_ids=input_ids, attention_mask=attention_mask)last_hidden = outputs.last_hidden_state[:, -1, :]return self.value_head(last_hidden)
獎勵模型訓練完成后，我們就能用它來為策略模型提供“偏好評分”。
策略優化（PPO / DPO）
這是整個對齊過程的“高能環節”：我們用獎勵信號來“調教”模型。
PPO
PPO 是最經典的 RLHF 策略訓練方法，但實現較復雜，需要一個“回放緩沖區”和 KL 約束。HuggingFace 的 trl 庫幫我們封裝好了：
from trl import PPOTrainer, PPOConfigppo_config = PPOConfig(model_name="sft_model", learning_rate=5e-6)
ppo_trainer = PPOTrainer(config=ppo_config, model=model, tokenizer=tokenizer, reward_model=reward_model)for prompt in prompts:response = ppo_trainer.model.generate(tokenizer(prompt, return_tensors="pt")["input_ids"])reward = reward_model(response)ppo_trainer.step([prompt], [response], [reward])
DPO（更輕量）
相比 PPO，DPO 不需要 RL 環節，直接最小化“好回復”優于“壞回復”的概率差。用法上更簡單，訓練速度也快。
# DPO 示例
from trl import DPOTrainerdpo_trainer = DPOTrainer(model=model,ref_model="sft_model", # 作為對比基線beta=0.1,train_dataset=your_pairwise_data,
)dpo_trainer.train()
應用場景與代碼示例
場景一：客服對話系統
用戶發來復雜問題，模型需要不僅準確，還要語氣溫和。這時候用指令微調 + DPO 就能有效提升回答的“人性化”。
問：你們怎么還沒發貨？我要投訴！
答：非常抱歉給您帶來了不便，我們已加急處理……
場景二：內容安全助手
我們希望模型能主動避免生成敏感或不當內容。通過獎勵模型過濾，結合 DPO 優化，可以有效減少“毒性”回答。
場景三：醫療助手
醫生問診類對話，需要模型“謹慎回答”。我們可以使用專業領域的反饋數據，對回答策略進行 DPO 調整，增強模型的“責任感”。
QA 環節
Q: DPO 和 PPO 有啥區別？用哪個好？
A: PPO 是正統 RLHF 的核心方案，但訓練成本高。DPO 是后起之秀，更適合中小團隊快速部署，效果也不錯，特別適合垂類場景。
Q: 對齊訓練會不會讓模型“失去創造力”？
A: 這是個平衡問題。如果獎勵信號設計得太保守，會抹殺多樣性。但合理設計偏好訓練目標，可以在安全與創造之間找到平衡。
總結
對齊訓練是讓大模型“更接近人類思維”的關鍵一步。無論是 RLHF 還是 DPO，本質上都是在“教模型做人”：
- 用 SFT 學習基礎指令理解
- 用 RM 學會什么是“好回復”
- 用 PPO/DPO 優化行為策略
對于想在特定領域（醫療、法律、客服）構建可靠模型的開發者來說，這是一條必須掌握的路徑。
