1st author: ?Chengpeng Li? - ?Google 學術搜索?

paper: [2503.04625] START: Self-taught Reasoner with Tools

code: 暫未公布

---

5. 總結 (結果先行)

大型語言推理模型（Large Reasoning Models, LRMs）在模擬人類復雜推理方面取得了顯著進展，特別是通過長鏈思考（Long Chain-of-Thought, CoT）展現出分解問題、多策略探索等類人認知行為。然而，這些模型單純依賴內部“默算”的機制，在面對復雜計算、實時信息獲取或精確驗證時，容易產生幻覺（hallucinations）和計算錯誤，限制了其在關鍵任務上的可靠性。

START模型貢獻在于：

1. 證明了通過“提示”可以低成本、無須標注地激發LLM的工具使用潛能 (Hint-infer)。
2. 設計了一套有效的自學習框架 (Hint-RFT)，能夠將這種潛能轉化為模型穩定、自主的能力。

Hint-infer的巧妙之處在于它利用了LLM已有的潛在能力，通過極低的成本啟動了工具學習的正反饋循環。這種“提示-推理-微調”的自學習范式，對于未來構建更強大、更可靠的AI系統具有重要的借鑒意義。

從更廣闊的視角看，這項工作對于AI Agent的發展具有重要意義。START所展示的“引導-探索-內化”的學習模式，可能為訓練更自主、更全能的AI Agent提供了一條可行的途徑。

后續值得探索的方向包括：

• 更豐富的工具集：將Hint-infer和Hint-RFT擴展到Python解釋器之外的更多工具，如搜索引擎、知識庫API、物理模擬器等。
• 動態提示生成：當前提示是人工設計的，未來或許可以探索讓模型自身學習生成最有效的“自我提示”來調用工具。
• 工具選擇與組合：當面臨多種可用工具時，模型如何學習選擇最優工具或工具組合來解決問題。

1. 思想

START的核心思想在于，如何讓一個預訓練的LRM能夠 自我教會 在其長鏈思考過程中適時且有效地調用外部工具（本文特指Python解釋器）。研究者們意識到，直接通過指令或少量示例（few-shot prompting）來引導現有LRM在長鏈推理中穩定調用工具非常困難。這可能是因為模型在預訓練和針對CoT的微調階段，主要被“教導”去解決問題本身，而非學習何時以及如何求助于外部工具。

START的巧妙之處在于它提出了一種 “提示-推斷-精煉” 的自學習框架，旨在喚醒并強化模型利用工具的能力。

2. 方法

START的自學習框架包含兩個技術提示推斷與提示拒絕采樣微調：

• 提示推斷 (Hint-infer)：

  • 機制：在LRM進行推理時，于特定位置（例如，在“Alternatively”、“Wait”等表示思考轉換的連接詞后，或在長CoT結束前）注入人工設計的、與上下文相關的“提示” (hints)，例如 “等等，這里用Python算一下也許更好” (Wait, maybe using Python here is a good idea)。
  • 效果：這類提示無需任何示例數據 (demonstration data) 即可有效激發LRM調用外部工具的潛能。對于代碼生成任務，提示會更具體，包含代碼模板引導模型對測試用例進行本地驗證。
  • 擴展：Hint-infer本身也可以作為一種測試時增強（test-time scaling）方法，通過在推理末端多次迭代插入提示，給予模型更多“思考時間”和調用工具的機會來提升性能。

  

• 提示拒絕采樣微調 (Hint Rejection Sampling Fine-Tuning, Hint-RFT)：
  這是一個兩階段的自學習與微調過程，旨在將Hint-infer誘導出的工具使用行為內化為模型的自身能力。

  1. 階段一：引導工具感知 (Bootstrapping START-0)

     • 數據合成：使用基礎LRM（如QwQ-32B-Preview）配合Hint-infer處理一批訓練數據（包含數學、代碼等問題）。
     • 篩選與構建 $D_{seed}$：收集那些模型僅在Hint-infer下才解決，并且包含了有效工具調用（Python代碼執行）的推理軌跡。這些軌跡經過評分、過濾和必要的修改（如統一Python標識符、移除占位符），形成初始的工具使用示范數據集 $D_{seed}$。
     • 初步微調：在 $D_{seed}$ 上微調基礎LRM，得到START-0模型。此時，START-0已經具備了初步的、自我驅動的工具使用意識。

  2. 階段二：強化工具熟練度 (Developing START)

     • 數據增強與提純：使用START-0模型，在全部訓練數據上進行帶有拒絕采樣的推理，生成更豐富、更多樣化的長鏈工具調用軌跡。對這些軌跡進行評分、過濾重復模式、人工修正不合理內容，保留每個問題至多一個高質量的回答，構成更優的工具使用數據集 $D_{START}$。
     • 最終微調：在 $D_{START}$ 上再次微調基礎LRM（論文中表述為QwQ-32B-Preview，但邏輯上也可以是START-0），得到最終的START模型，該模型能夠更熟練和自主地在長鏈思考中集成工具使用。

  符號解釋：

  $D_{seed}$：通過Hint-infer生成的、包含成功工具調用的初始高質量軌跡集合。

  $D_{START}$：通過START-0模型配合拒絕采樣生成的、質量更高、多樣性更好的工具調用軌跡集合。

  QwQ-32B-Preview：論文中使用的基礎大型語言模型。

  START-0：經過 $D_{seed}$ 初步微調后，具備基本工具使用能力的模型。

  START：經過 $D_{START}$ 再次微調后，具備更強工具使用能力的最終模型。

3. 優勢

• 顯著提升復雜推理能力：通過將精確計算、代碼執行與驗證等任務外包給Python解釋器，有效克服了LRM在這些方面的固有弱點，減少了幻覺。
• 高效的自學習機制：Hint-infer的引入避免了大規模人工標注工具使用數據的需求，通過“提示”巧妙地誘導出模型的潛在能力，并結合RFT進行強化，實現了低成本的自我進化。
• 保留并增強長CoT的優點：START并非簡單地用工具替代思考，而是在長CoT的框架內有機地集成工具，使得模型既能進行宏觀的策略規劃，又能借助工具處理微觀的復雜執行。
• 開放性與可復現性：論文基于開源模型進行微調，并詳細描述了方法，為社區提供了借鑒。

4. 實驗

START在一系列具有挑戰性的基準測試上展現了其有效性：

• 測試平臺：
  • GPQA：博士級別的科學問答。
  • MATH (AMC23, AIME24, AIME25)：競賽級別的數學問題。
  • LiveCodeBench：競賽級別的代碼生成問題。
• 實驗結果：
  • START顯著優于其基座模型QwQ-32B-Preview。例如，在AIME25上，從基座的40.0%提升至47.1%；在LiveCodeBench上，從41.4%提升至47.3%。
  • 與業界頂尖模型相比，START的性能與R1-Distill-Qwen-32B（基于671B參數模型蒸餾）和閉源的o1-Preview（可能是指GPT系列模型的某個版本）相當或有所超越。
• 消融實驗與分析：
  • Hint-infer的有效性：即便僅僅在測試時對QwQ-32B-Preview使用Hint-infer，也能帶來一定的性能提升，證明了提示的即時引導作用。
  • Long CoT vs. Long TIR：通過對比僅用更多長CoT數據微調的模型（QwQ-RFT）與START，證明了工具調用能力（Long TIR）是性能提升的核心驅動因素，而非僅僅是訓練數據量的增加。
  • 測試時提示對START的影響：對已經微調好的START模型在測試時再使用Hint-infer，性能提升不如對基座模型明顯。這間接說明START已經較好地內化了工具使用策略，外部提示的邊際效益降低。