二八法則-task設計最重要
80%精力設計tasks,20%精力定義agents
花最多的實踐定義任務說明
清晰定義輸入輸出
增加示例和預期結果來約束輸出
剩下的精力完善agent的role、goal、backstory
1、Agent設計三要素
role-goal-backstory框架
Role - 職能定義
- 足夠具體【作家× ,科技文檔專家√】
- 參考現實世界
- 添加專業領域知識和技能點【一位擅長于數字信號處理的高級算法工程師】
Goal - 目標和動機定義
- 清晰且輸出聚焦
- 具體的質量標準,包括預期是什么
- 對什么是好的進行直觀定義
Backstory - 經驗和觀點補充
- 解釋agent的技能樹有哪些,如何獲得的
- 描述agent如何實現他們的工作
- 創造一個具體的人物形象,確保元素、角色、目標一致性
2、專家vs通才
一定要定義成聚焦于特定領域的專家
3、專家和多功能的平衡
- 專注于role定義,應用可以廣泛一點
- 避免過于狹隘的定義
- 考慮多agent的協作環境
4、設置合適的專家等級
- 新手:頭腦風暴、簡單執行類工作、草稿
- 普通:多數標準任務
- 專家:有深度、復雜的任務
- 世界級專家:特別復雜有挑戰的任務
task設計
聚焦于要干什么以及怎么干:
1、任務描述
- 詳細的執行說明
- 背景和上下文信息
- 范圍和限制條件
- 詳細的執行步驟
2、預期輸出
- 格式說明
- 結構和規格說明
- 質量標準
- 高質量輸出的具體示例
3、設計要領
- 單一目標單一輸出(有多少個目標就設置多少個task)
- 詳細的輸入輸出設定
- 描述目的并提供上下文信息
- 用類似json、xml等格式約束輸出
進階設計要領
- 不同agent的技能要互補
- agent之間的工作交互接口要清晰
- 運用合適的工具
迭代式agent設計
- 從原型設計開始,一開始就構建可以運行的agent系統,逐漸優化完善
- 使用特定的任務反復測試,評估性能
- 仔細分析輸出:了解優劣勢
- 逐步完善定義:根據結果來調整角色、目標、背景;優化任務定義
- 協作測試:評估系統在其他協作場景下的表現
結論
- 二八法則,主要是聚焦于task的定義【清晰的輸入輸出描述,單一目標,提供上下文】
- agent設計上要多個專家協作,每一種能力設定一個agent,而不是搞一個多功能的全才
- 根據最佳實踐經驗,進行迭代式優化,不要指望一次性成功【構建原型逐漸迭代,分析輸出進行優化,多agent協作的時候尤其注意接口清晰,技能互補的心法】