1. 構建和編排Agent的框架

如果您是從頭開始構建，請從這里開始。這些工具可以幫助您構建Agent的邏輯——做什么、何時做以及如何處理工具。您可以將其視為將原始語言模型轉化為更自主的模型的核心大腦。

2. 計算機和瀏覽器的使用

一旦你的Agent能夠規劃，它就需要采取行動。此類別包含的工具可讓你的Agent點擊按鈕、輸入字段、抓取數據，并像人類一樣控制應用或網站。

3. 聲音

如果您的Agent需要說話或聆聽，這些工具可以處理音頻方面的問題——將語音轉換為文本，然后再轉換為文本。非常適合免提用例或語音優先的座席。有些工具甚至足以勝任實時對話。

4. 文檔理解

現實世界中，大量數據以 PDF、掃描件或其他雜亂的格式存在。這些工具可以幫助您的客服人員真正閱讀并理解這些數據內容——無論是發票、合同還是基于圖像的文件。

5.記憶

為了超越一次性任務，你的Agent需要記憶。這些庫可以幫助它記住剛剛發生的事情、你之前告訴它的內容，甚至隨著時間的推移構建一個長期檔案。

6.測試與評估

事情難免會出錯。這些工具可以幫助您在錯誤影響生產之前發現它們——通過運行場景、模擬交互以及檢查Agent的行為是否合理。

7. 監控和可觀察性

Agent上線后，您需要了解其運行情況和性能。這些工具可幫助您跟蹤使用情況、調試問題并了解成本或延遲影響。

8.模擬

在將Agent投入實際使用之前，請先在安全的沙盒環境中進行測試。模擬環境可讓您在受控的環境中進行實驗、優化決策邏輯并發現極端情況。

9.垂直Agent

并非所有東西都需要從零開始構建。這些是專為特定任務（例如編碼、研究或客戶支持）構建的現成Agent。您可以按原樣運行它們，也可以根據您的工作流程進行自定義。

1. 構建和編排Agent的框架

要構建真正能完成任務的Agent，您需要一個堅實的基礎——能夠處理工作流、內存和工具集成，而不會變成一堆亂七八糟的腳本。這些框架為您的Agent提供了理解目標、制定計劃并執行所需的結構。

• CrewAI——協調多個Agent協同工作。非常適合需要協調和基于角色的行為的任務。

• Agno——專注于記憶、工具使用和長期互動。非常適合需要記憶和適應能力的助手。

• Camel——專為多Agent協作、模擬和任務專業化而設計。

• AutoGPT — 通過規劃和執行循環自動化復雜的工作流程。最適合需要獨立運行的Agent。

• AutoGen——讓Agent相互溝通以解決復雜問題。

• SuperAGI——簡化設置，快速構建和運送自主Agent。

• Superagent——一個靈活的開源工具包，用于創建自定義 AI 助手。

• LangChain和LlamaIndex——用于管理內存、檢索和工具鏈的首選工具。

2. 計算機和瀏覽器的使用

一旦你的Agent具備了思考能力，下一步就是幫助它行動。這意味著它能夠像人類一樣與計算機和網絡交互——點擊按鈕、填寫表單、瀏覽頁面以及運行命令。這些工具彌合了推理和行動之間的差距，讓你的Agent能夠在現實世界中運作。

• 開放解釋器——將自然語言翻譯成機器上的可執行代碼。想要移動文件或運行腳本？只需描述即可。

• 自操作計算機——讓Agent完全控制您的桌面環境，允許他們像人一樣與您的操作系統進行交互。

• Agent-S——一個靈活的框架，讓 AI Agent像真實用戶一樣使用應用程序、工具和界面。

• LaVague——使網絡Agent能夠瀏覽網站、填寫表格并實時做出決策——非常適合自動執行瀏覽器任務。

• Playwright——跨瀏覽器自動化網頁操作。方便測試或模擬用戶流程。

• Puppeteer——一款可靠的 Chrome 或 Firefox 控制工具。非常適合抓取和自動化前端行為。

3. 聲音

語音是人類與 AI Agent交互最直觀的方式之一。這些工具可以處理語音識別、語音合成和實時交互，讓您的Agent感覺更像人類。

Speech2Speech

• Ultravox——頂級語音對語音模型，可流暢處理實時語音對話。快速響應。

• Moshi——語音轉語音任務的另一款強大選擇。在實時語音交互方面表現可靠，但 Ultravox 在性能上更勝一籌。

• Pipecat——用于構建語音Agent的全棧框架。支持語音轉文本、文本轉語音，甚至基于視頻的交互。

Speech2text

• Whisper ——OpenAI 的語音轉文本模型——非常適合跨多種語言的轉錄和語音識別。

• Stable-ts — 一個更方便開發者使用的 Whisper 封裝器。添加了時間戳和實時支持，非常適合用于對話Agent。

• 說話人分類 3.1 — Pyannote 用于檢測說話人何時說話的模型。這對于多說話人對話和會議式音頻至關重要。

Text2speech

• ChatTTS——迄今為止我發現的最好的模型。它速度快、穩定，并且適用于大多數生產環境。

• ElevenLabs（商業版）——當質量比開源更重要時，這是您的首選。它提供高度自然的聲音，并支持多種風格。

• Cartesia （商業）——如果您正在尋找超越開放模型所能提供的富有表現力、高保真的語音合成，這是另一個強大的商業選擇。

其他工具

它們并不完全適合某一類別，但在構建或改進語音Agent時非常有用。

• Vocode — 用于構建語音驅動的 LLM Agent的工具包。它可以輕松地將語音輸入/輸出與語言模型連接起來。

• Voicelab——用于測試和評估語音Agent的框架。可用于輸入正確的提示、語音角色或模型設置。

4. 文檔理解

大多數有用的業務數據仍然以非結構化格式存在——PDF、掃描件、基于圖像的報告。這些工具可以幫助您的客服人員讀取、提取并理解這些雜亂的數據，而無需復雜的 OCR 流程。

• Qwen2-VL——阿里巴巴強大的視覺語言模型。在混合圖像和文本的文檔任務上，其性能優于 GPT-4 和 Claude 3.5 Sonnet，非常適合處理復雜的現實世界格式。

• DocOwl2 — 一個輕量級的多模態模型，無需OCR 即可理解文檔。它快速、高效，并且能夠從雜亂的輸入中提取結構和含義，準確率極高。

5.記憶

如果沒有記憶，客服人員就會陷入循環——把每一次互動都當成第一次。這些工具讓他們能夠回憶過去的對話，追蹤他們的偏好，并建立連續性。這能讓一個一次性的助手隨著時間的推移變得更加有用。

• Mem0 — 一個自我改進的記憶層，可讓您的Agent適應之前的交互。非常適合構建更加個性化和持久的 AI 體驗。

• Letta（原名 MemGPT） ——為 LLM Agent添加長期記憶和工具使用功能。可以將其視為需要記憶、推理和進化的Agent的支架。

• LangChain——包括即插即用的內存組件，用于跟蹤對話歷史和用戶上下文——在構建需要在多個回合中保持接地的Agent時非常方便。

6.測試與評估

當您的Agent不再只是聊天——瀏覽網頁、做出決策、大聲說話——您需要了解他們如何處理特殊情況。這些工具可以幫助您測試Agent在不同情況下的行為，及早發現錯誤，并追蹤故障點。

• eeVoice Lab——一個用于測試語音Agent的綜合框架，確保您的Agent的語音識別和響應準確而自然。

• AgentOps——一套用于跟蹤和基準測試 AI Agent的工具，幫助您發現任何問題并在問題影響用戶之前優化性能。

• AgentBench——用于評估 LLM Agent在各種任務和環境中的表現的基準工具，從網頁瀏覽到游戲，確保多功能性和有效性。

7. 監控和可觀察性

為了確保您的 AI Agent能夠大規模、順暢高效地運行，您需要深入了解其性能和資源使用情況。這些工具能夠提供必要的洞察，讓您能夠監控Agent行為、優化資源，并在問題影響用戶之前將其捕獲。

• openllmetry——使用 OpenTelemetry 為 LLM 應用程序提供端到端可觀察性，讓您清楚地了解Agent性能，并幫助您快速排除故障和優化。

• AgentOps——一款全面的監控工具，可跟蹤Agent商的績效、成本和基準，幫助您確保Agent商高效且在預算之內。

8.模擬

在部署之前模擬真實環境將帶來翻天覆地的變化。這些工具可讓您創建受控的虛擬空間，讓您的Agent能夠在其中進行交互、學習和決策，而無需擔心在真實環境中出現意外后果。

• AgentVerse——支持在不同的應用程序和模擬中部署多個基于 LLM 的Agent，確保在各種環境中有效運行。

• Tau-Bench——一種基準測試工具，用于評估零售或航空等特定行業的Agent與用戶之間的交互，確保順利處理特定領域的任務。

• ChatArena——一個Agent之間可以交互的多Agent語言游戲環境，非常適合在安全、可控的空間中研究Agent行為和改進溝通模式。

• AI Town——一個虛擬環境，其中 AI 角色可以進行社交互動、測試決策并模擬真實世界場景，從而幫助微調Agent行為。

• Generative Agents——斯坦福大學的一個項目，專注于創建模擬復雜行為的類人Agent，非常適合在社交環境中測試記憶和決策。

9.垂直Agent

垂直Agent是專門為解決特定問題或優化特定行業任務而設計的工具。雖然這類工具的生態系統正在不斷發展，但以下是我個人使用過的一些特別有用的工具：

編碼：

• OpenHands——一個由人工智能驅動的軟件開發Agent平臺，旨在自動化編碼任務并加快開發過程。

• aider——一種直接與您的終端集成的結對編程工具，提供 AI 副駕駛來協助您的編碼環境。

• GPT 工程師——使用自然語言構建應用程序；只需描述您想要的內容，AI 就會闡明并生成必要的代碼。

• 屏幕截圖到代碼?——使用 HTML、Tailwind、React 或 Vue 將屏幕截圖轉換為功能齊全的網站，非常適合快速將設計想法轉化為實時代碼。

研究：

• GPT 研究員——自主Agent，進行全面研究、分析數據并撰寫報告，簡化研究流程。

SQL：

• Vanna — 使用自然語言查詢與您的 SQL 數據庫交互；不再需要復雜的 SQL 命令，只需提出問題，Vanna 就會檢索數據。

結論

回想我早期嘗試開發研究助手的經歷，我發現自己把事情搞得太復雜了。最終，這個項目變得一團糟——過時的代碼、不成熟的工具，甚至連PDF這種簡單的文件都處理不順暢。

但矛盾的是，這正是我學到最多的地方。

關鍵不在于找到完美的工具，而在于堅持有效的方法，并保持簡潔。那次失敗讓我明白，最可靠的Agent是建立在務實、直接的技術棧上的，而不是追逐各種炫酷的新工具。

成功的Agent開發并不需要重新發明輪子。

關鍵在于選擇合適的工具，精心集成，并不斷完善原型。無論您是要實現工作流程自動化、構建語音Agent，還是解析文檔，一個精心挑選的技術棧都能讓流程更加順暢高效。

所以，開始嘗試吧，讓好奇心引領你。生態系統正在不斷發展，可能性無窮無盡。