📖標題：Talk to Right Specialists: Routing and Planning in Multi-agent System for Question Answering
🌐來源：arXiv, 2501.07813

🌟摘要

🔸利用大型語言模型（LLM），代理可以利用檢索增強生成（RAG）技術來整合外部知識并提高其響應的可靠性。當前基于RAG的代理集成了單一的、特定于領域的知識源，限制了它們的能力，并導致在處理跨領域查詢時產生幻覺或不準確的響應。將多個知識庫集成到一個統一的基于RAG的代理中會帶來重大挑戰，包括在涉及敏感數據時增加檢索開銷和數據主權。
🔸在這項工作中，我們提出了RopMura，這是一種新型的多智能體系統，通過結合高效的路由和規劃機制來解決這些局限性。RopMura有兩個關鍵組件：一個路由器，它根據知識邊界智能地選擇最相關的代理；一個規劃器，它將復雜的多跳查詢分解為可管理的步驟，從而協調跨域響應。
🔸實驗結果表明，RopMura有效地處理了單跳和多跳查詢，路由機制為單跳查詢提供了精確的答案，而組合路由和規劃機制為復雜查詢提供了準確的多步解決方案。

🛎?文章簡介

🔸研究問題：在多代理系統中，如何有效地選擇和協調多個基于檢索增強生成（RAG）的代理來回答復雜問題，特別是單跳和多跳問題。
🔸主要貢獻：論文提出了一個名為RopMura的多代理系統，結合了路由器和規劃器，能夠智能地選擇最相關的代理來處理查詢，并通過遞歸分解和細化復雜查詢來確保系統從多個代理中協調地收集知識，從而實現全面和準確的回答。

📝重點思路

🔸主要思想：RopMura包括一個根據知識邊界智能選擇最相關代理的路由器，以及一個將復雜的多跳查詢分解為可管理步驟的規劃器，從而可以協調跨域響應。
🔸路由機制設計：論文提出了一種有效的路由機制，通過層次聚類將知識片段劃分為不相交的簇，并計算每個聚類的中心點，根據查詢與簇中心之間的相似性選擇最合適的代理。
🔸規劃機制設計：論文引入了一種新的規劃機制，通過遞歸分解和細化復雜查詢，將多跳問題分解為多個子問題，確保系統從多個代理中協調地收集知識。規劃器包括四個子模塊：問題拆分器、問題選擇器、判斷器和防御器。
🔸實驗設計：論文進行了單跳和多跳問題的實驗，評估了路由機制和規劃機制的有效性。實驗使用了Natural Questions和HotpotQA數據集，并比較了不同檢索方法（Dense、BM25和Mixture）和不同規劃策略（One-shot、Presplit和Greedy）的性能。

🔎分析總結

🔸單跳問題：路由機制能夠精確選擇相關代理，顯著提高了回答的準確性和相關性。Mixture檢索方法在整體性能上表現最佳，平衡了回答率和文檔檢索質量。
🔸多跳問題：結合路由機制和規劃機制的RopMura系統在處理復雜多跳問題時表現出色，能夠生成連貫和準確的多步回答。盡管RopMura的token消耗較高，但其在準確性和計算效率之間取得了最佳平衡。
🔸代理數量影響：隨著代理數量的增加，回答率提高，但單個代理的貢獻率下降，表明更多代理的參與有助于提高整體準確性，但單個代理的貢獻可能變得不那么顯著。

💡個人觀點

論文的核心在于根據知識相關性選擇代理，并通過規劃機制實現復雜問題遞歸分解。

🧩附錄