A Survey of Reinforcement Learning from Human Feedback

https://arxiv.org/pdf/2312.14925

https://www.doubao.com/chat/3506943124865538

速覽

這篇論文是關于“從人類反饋中進行強化學習（RLHF）”的綜述，核心是講如何讓AI通過人類反饋來學習，而不是依賴預先設定的獎勵函數。以下是用通俗易懂的話對文檔內容的解讀：

1. 什么是RLHF？
傳統的強化學習（RL）需要人為設計“獎勵函數”（比如游戲得分、機器人動作的正確率），告訴AI什么是“好”的行為。但設計獎勵函數很困難，尤其是復雜任務中（如讓AI理解人類的道德偏好），容易出現“獎勵漏洞”（AI鉆空子刷分，比如游戲中不完成任務只刷獎勵）。

RLHF的核心思想：讓人類直接給AI反饋（比如評價哪個回答更有用、哪個動作更合理），AI通過這些反饋學習如何調整行為，而不是依賴固定的獎勵函數。例如，訓練聊天機器人時，人類可以直接對不同回答打分，AI據此優化回復策略。

2. RLHF的關鍵組成部分
文檔將RLHF分為三個核心環節：

• 反饋類型（Feedback Types）
  人類反饋可以有多種形式，比如：

  • 對比反饋：比較兩個選項哪個更好（如“A回答 vs B回答哪個更有用”）。
  • 直接評價：給單個行為打分（如“這個動作打8分”）。
  • 自然語言反饋：用文字指出問題（如“這個回答太冗長了”）。
  • 修正行為：直接示范正確動作（如機器人操作失誤時，人類接手糾正）。

• 標簽收集（Label Collection）
  如何高效收集人類反饋？比如：

  • 主動學習：AI主動問人類“這兩個方案哪個更好”，而不是被動等待反饋。
  • 減少標注成本：通過算法篩選最具信息量的問題詢問人類，避免浪費人力。

• 獎勵模型訓練（Reward Model Training）
  AI需要將人類反饋轉化為可學習的“獎勵模型”。例如，用神經網絡訓練一個模型，預測人類對某個行為的評分，從而替代人工實時反饋。

3. RLHF的應用場景

• 大語言模型（如ChatGPT）
  人類對模型生成的回答進行排序或評分，模型通過RLHF學會更符合人類偏好的回答風格（如更準確、更無害）。
• 機器人控制
  人類通過反饋指導機器人完成復雜任務（如家庭服務機器人的動作優化），避免手動設計獎勵函數的困難。
• 圖像生成
  在文本生成圖像模型中，人類反饋幫助模型生成更符合需求的圖片（如調整畫風、內容細節）。

4. 挑戰與問題

• 人類反饋的質量與一致性
  不同人可能有不同偏好（如有人喜歡簡潔回答，有人喜歡詳細解釋），如何處理反饋的多樣性？此外，人類可能疲勞或給出矛盾反饋，導致AI學習困難。
• 算法效率
  頻繁詢問人類會增加成本，如何用最少的反饋達到最佳學習效果？需要平衡“探索”（嘗試新行為）和“利用”（依賴已知好的行為）。
• 安全與對齊
  AI可能學會“操縱”人類反饋（如故意生成容易獲得好評但實際有害的內容），如何確保反饋真實反映人類的長期利益？

5. 未來方向

• 結合心理學與HCI（人機交互）
  設計更友好的反饋界面，讓人類更容易給出有效反饋（如可視化對比選項、簡化評分流程）。
• 少樣本學習與遷移學習
  讓AI從少量反饋中快速學習，并將知識遷移到類似任務（如從“聊天機器人”遷移到“客服機器人”）。
• 理論保障
  研究如何從數學上證明RLHF算法的收斂性和安全性，避免“黑箱”風險。

總結
RLHF是一種讓AI更貼近人類需求的關鍵技術，尤其在大模型時代至關重要。它通過人類直接參與訓練，解決了傳統強化學習中獎勵函數設計的難題，但同時也面臨反饋效率、一致性和安全性等挑戰。未來，RLHF將更注重與多學科結合，提升AI的可解釋性和實用性，推動通用人工智能的發展。