Code repo: https://github.com/SakanaAI/self-adaptive-llms

---

摘要

自適應大型語言模型（LLMs）旨在解決傳統微調方法的挑戰，這些方法通常計算密集且難以處理多樣化的任務。本文介紹了Transformer2（Transformer-Squared），一種新穎的自適應框架，通過在推理時選擇性地調整權重矩陣的單個奇異分量來實時適應未見過的任務。Transformer2在參數數量較少且效率更高的情況下，持續優于LoRA等常用方法。此外，Transformer2在不同LLM架構和模態（包括視覺語言任務）中表現出色，代表了自適應LLMs的重大進步。

引言

自適應LLMs代表了人工智能的重大進步，提供了一個框架，使模型能夠實時調整以適應不同的任務和動態環境。傳統的LLM訓練方法試圖在一次廣泛的訓練會話中優化模型的多種能力，這在實踐中難以實現。相比之下，自適應模型提供了一種更靈活和高效的方法，允許模型根據手頭的任務動態修改其行為。

相關工作

• 自適應LLMs：定義為一組LLMs或一個獨立的LLM，能夠響應其操作環境或內部狀態的變化而評估和修改其行為。
• 低秩適應：如LoRA，通過引入小的可訓練低秩矩陣來實現任務特定的更新。
• SVD用于LLM微調：使用SVD來近似原始權重矩陣，以提高效率。

方法

Transformer2

Transformer2的構建包括兩個主要步驟：

1. 奇異值微調（SVF）：通過RL學習緊湊且可組合的專家向量，基于基礎模型權重的SVD。

2. 自適應策略：在推理時動態組合SVF訓練的專家向量，提供三種不同的自適應策略：

   • 提示工程：構建新的“適應”提示，直接詢問LLM分類輸入提示。
   • 分類專家：使用專門的系統處理任務識別。
   • 少樣本適應：通過線性插值在K個學習到的SVF向量之間進行加權組合。

實驗

實驗評估了Transformer2在多個任務和模型上的表現：

1. SVF性能：在GSM8K、MBPP-Pro和ARC-Easy任務上，SVF提供了顯著且一致的性能提升。
2. 自適應性能：在未見過的任務（如MATH、Humaneval、ARC-Challenge）上，Transformer2的自適應策略展示了改進。

結論

本文介紹了Transformer2，提供了一個實現自適應LLMs的新藍圖。通過SVF和三種自適應策略，Transformer2展示了在提高模型適應性和任務特定性能方面的優勢。未來的工作可以集中在模型合并和高效適應技術上，以實現更強大的自適應LLMs。