Agentic AI 的威脅與緩解措施

原文：https://www.aigl.blog/content/files/2025/04/Agentic-AI—Threats-and-Mitigations.pdf

AI Agent 的定義

1. 定義與基礎

智能代理（Agent）的定義：
智能代理是一種能夠感知環境、進行推理、做出決策并自主采取行動以實現特定目標的軟件系統。
經典定義引用：
Russell 和 Norvig 在《Artificial Intelligence: A Modern Approach》中定義智能代理為：“能夠根據環境和目標做出適當行為、適應變化、從經驗中學習，并在感知和計算受限條件下做出適當選擇的智能體。”
技術基礎：
AI Agents 使用機器學習（ML）進行推理。傳統上，強化學習等方法在智能代理發展中起關鍵作用（如 OpenAI Gym/Farama Foundation’s Gymnasium 推動了第一波 Agentic AI）。
隨著LLMs的進步，尤其NLP接口與規模提升，Agentic AI獲得了革命性發展和更廣泛的應用。

2. 核心能力

規劃與推理（Planning & Reasoning）：
代理能夠推理并決定實現目標的必要步驟，包括制定、跟蹤、更新行動方案以處理復雜任務（Reason + Act, ReAct模式）。現代代理常以LLM作為推理引擎，決定應用程序的控制流。
反思與自我批判（Reflection & Self-Critique）：
代理會評估自身過去的行為及結果，用于改進未來計劃與行為。自我批判是反思的重要環節，代理會自我審查推理或輸出，發現并糾正錯誤。
鏈式思考（Chain of Thought）：
指代理將復雜問題拆解為一系列有邏輯的步驟，支持多步任務，甚至可完全無人參與地完成流程。
子目標分解（Subgoal Decomposition）：
將主目標劃分為更小、更易管理的任務或里程碑，以便逐步實現總體目標。
記憶/有狀態性（Memory / Statefulness）：
代理具備保留和回憶信息的能力，包括以往運行的信息或當前流程中的步驟及推理。記憶可分為會話型短時記憶和持久型長期記憶。
動作與工具調用（Action and Tool Use）：
代理可主動采取行動并調用工具以完成任務。這些工具既包括內置功能（如網頁瀏覽、復雜計算、生成或執行代碼），也包括通過API、Tools接口訪問的高級工具。函數調用（Function Calling）：增強型LLM通過模型生成的代碼調用工具，是工具調用的一種特定形式。

3. LLM應用與Agentic行為

LLM應用的Agentic特征：
LLM應用不僅能生成文本，還可展現出推理、工具調用等Agentic行為。例如，利用API、數據庫等工具自主完成任務。
開發框架：
越來越多開發者采用Agentic AI框架（如LangChain/LangFlow、AutoGen、CrewAI等）以提升生產效率和復用性。OWASP未來將推出更深入的框架比較和工具指南。
架構與流程圖：
- 單代理架構：代理接收用戶請求，調用工具和記憶，進行規劃、反思、鏈式思考和子目標分解，最終采取行動。
- 多代理架構：多個代理協作，各自負責不同任務，通過協調實現更高自主性和復雜行為。
- 進階應用中，代理可根據不同編排風格（如硬編碼、有限狀態機、全對話式）展現出不同程度的自主性和智能行為。

Agentic AI Reference Architecture

單代理架構（Single Agent Architecture）

架構圖及描述顯示了單個代理系統的核心可部署組件及其關系，流程如下：
![[Screenshot 2025-07-15 at 15.01.00.png]]

應用層（Application Layer）
- 頂層，負責與代理交互，接受輸入（自然語言、媒體）并輸出結果。
代理模塊（Agent Block）
- 包含核心子模塊：
  - 規劃（Planning）
  - 行動（Action）
  - 工具/函數調用（Tools/Function Calling）
  - 執行循環（Execution Loop）
  - 短期記憶（Memory, Short-Term）
- 這些模塊可連接到支持服務。
服務部分（Services Section）
- 包括內容、數據、人類參與（Human in the Loop）、設備、代碼和服務等，作為輸入源或交互對象。
模型模塊（Model Block）
- 包含增強型模型（Augmented Model），由LLM模型和函數調用能力組成。
支持服務（Supporting Services）
- 長期記憶（Long-Term Memory）、支持服務、向量數據庫（Vector Datastore）等。
數據與流程流向
- 應用將輸入發送給代理，代理經由上述模塊處理，調用必要的工具和模型，最后輸出結果返回應用。
- 代理與支持服務和外部模型之間有數據和流程交互。

單代理架構中核心可部署組件包括：

在這里插入圖片描述

應用：內嵌代理功能，代表用戶執行任務，通常不局限于單次用戶會話。
輸入處理：代理一般接受自然語言輸入（文本、文件、圖片、音頻、視頻等），應用代碼實現核心能力，通常基于如LangChain、LangFlow、AutoGen、Crew.AI等代理框架的抽象。
LLM模型：本地或遠程的一個或多個大語言模型用于推理。
服務：
- 包括內置函數、本地工具、本地應用代碼、本地或遠程/外部服務。
- 主要調用方式：
  - a. 應用/框架層面的函數調用和工具接口
  - b. LLM模型返回調用代碼，由代理執行
支持服務：
- a. 外部存儲，用于持久化長期記憶
- b. 向量數據庫（如RAG相關），以及其他數據與內容源

多代理架構（Multi-agent Architecture）

多代理架構由多個代理組成，可擴展或組合不同專職角色和功能，適配復雜的Agentic解決方案。
與單代理架構類似，但新增了代理間通信和（可選的）協調代理（如Supervisor Agent）的概念。
每個專職代理可擁有不同能力，實現任務分工與協作。
例如，Amazon Bedrock引入了多代理協作和協調代理的實際用例。

多代理架構流程圖：

在這里插入圖片描述

應用層與協調代理（Coordinating Agent）連接，協調代理管理通信、長期記憶及用戶體驗層（包含LLMs和系統操作）。
多個專職代理（Agent A, Agent B, Agent C等）平行分布，各自負責不同的執行角色和工具調用。
所有代理可訪問共享資源池，包括連接器、數據、監控、服務、代碼執行和內部服務（如長期記憶、數據庫等）。
任務與職責在不同專職代理間分配，通過中心協調實現高效的AI驅動解決方案。

Agentic AI 模式與類型（Agentic AI Patterns & Types）

反思型代理（Reflective Agent）：反復自我評估和批判輸出以提升表現（如AI代碼生成器自我調試）。
任務型代理（Task-Oriented Agent）：專門完成特定任務（如自動客服、預約系統）。
層級代理（Hierarchical Agent）：具備層級結構，管理多步工作流或分布式控制（如項目管理AI）。
協調代理（Coordinating Agent）：管理和協調多代理協作（如DevOps自動化）。
分布式代理生態（Distributed Agent Ecosystem）：在去中心化環境中運行（如IoT智能家居、市場）。
人類協作型（Human-in-the-Loop Collaboration）：半自主運行，關鍵環節有人工介入（如AI輔助診斷）。
自學習/自適應代理（Self-Learning/Adaptive Agents）：持續學習用戶反饋并調整行為（如AI助手）。
RAG型代理（RAG-Based Agent）：利用檢索增強生成動態獲取外部知識（如實時研究機器人）。
規劃型代理（Planning Agent）：自主制定并執行多步計劃（如任務管理AI）。
情境感知型代理（Context-Aware Agent）：可根據環境和上下文調節行為（如智能家居自動化）。

Agentic AI Threat Model

1. 威脅建模方法（Threat Modeling Approach）

威脅建模是一種結構化、可重復的流程，用于識別和緩解系統中的安全風險。它從攻擊者的角度分析系統，識別潛在威脅并確定應對策略。
理想情況下，威脅建模應集成于軟件開發生命周期（SDLC），并隨著系統演化持續進行。
常見方法包括 STRIDE、PASTA，但這些主要針對傳統網絡安全威脅，需要擴展以涵蓋AI/Agentic系統的獨特風險。
MAESTRO 是面向Agentic AI的分層威脅建模方法，能通過架構層次細致識別代理相關威脅。
本文檔以參考架構為基礎，結合表格形式，介紹威脅、攻擊場景、與LLM Top 10的關系及緩解措施，不強制采用特定方法，但建議結合組織實際選用合適模型。

2. 參考威脅模型（Reference Threat Model）

2.1 目標與范圍

本節旨在識別和展示代理型AI（Agentic AI）在實際應用中面臨的主要威脅點。
這些威脅涉及應用層、API層和機器學習/大語言模型（ML/LLMs）三大層級。
通用威脅已在OWASP Top 10、API Top 10、LLM應用Top 10等指南中有詳細覆蓋，本節聚焦于代理AI帶來的新型威脅和風險。

2.2 新增或代理特有的威脅

（1）代理記憶與工具集成——核心新攻擊面

代理記憶（Agent Memory） 和 工具集成（Tools Integration） 是代理架構中新出現的關鍵攻擊面。
不受約束的自治代理（如多代理系統、復雜規劃）中，這兩者尤為易受攻擊。
典型威脅包括：
- 記憶投毒（Memory Poisoning）：攻擊者向短期或長期記憶注入惡意或虛假內容，影響AI決策，導致未授權操作。
- 工具濫用（Tool Misuse）：攻擊者操縱AI調用集成工具（如API、腳本等），在權限范圍內實施惡意行為，比如通過提示注入實現“代理劫持（Agent Hijacking）”。

（2）工具濫用帶來的新風險

工具濫用與LLM Top 10中的“過度代理（Excessive Agency）”相關，但代理AI中會產生更復雜的問題，尤其是自動代碼生成引發的遠程代碼執行（RCE）、代碼注入等新型攻擊路徑。

（3）身份與授權風險

工具集成不僅影響數據流，還影響身份與授權，容易導致信任邊界被突破。
Confused Deputy攻擊：代理擁有高于用戶的權限，被利用執行未授權的高危操作。例如，代理被誘使執行本不應允許的數據庫操作。
權限隔離不嚴（Privilege Isolation）：代理未能區分合法和惡意請求，導致權限提升或橫向移動。
身份冒充與偽裝（Identity Spoofing & Impersonation）：代理被冒充或濫用身份，執行惡意操作。

（4）非人類身份（Non-Human Identities, NHI）

代理常常以機器賬戶、服務身份、API密鑰等形式與外部服務交互。這些NHI如果缺乏會話監管，容易被濫用或導致權限泄漏。

（5）權限妥協與資源過載

權限妥協（Privilege Compromise）：代理因動態角色繼承、權限配置不當而被利用，造成未授權訪問。
資源過載（Resource Overload）：攻擊者消耗AI計算、內存、服務資源，導致系統降級或崩潰。

（6）多工具鏈攻擊與隱式權限提升

即使每個單獨工具API有權限限制，代理可以通過工具鏈組合繞過安全限制（如跨API數據流轉），造成數據泄露或策略繞過。
隱式權限提升：代理繼承了過多會話或服務token的權限，造成操作范圍失控。

（7）供應鏈風險

使用代理框架會放大供應鏈風險，雖然這不是新威脅，但需要關注代理對第三方依賴和組件的權限管理。

（8）RAG相關風險

檢索增強生成（Retrieval-Augmented Generation, RAG） 是現代代理AI的核心機制，但也帶來知識投毒、幻覺放大和間接提示注入等風險。這些問題在OWASP LLM Top 10中已有專門覆蓋。
建議采用權限感知的向量數據庫、數據校驗管道、持續監控等措施防范。

2.3 幻覺與多代理系統威脅

級聯幻覺（Cascading Hallucinations）：AI生成錯誤信息，通過記憶、工具調用或多代理通信被不斷強化和傳播，可能導致系統性錯誤（如金融、醫療等關鍵領域）。
人類環節過載（Overwhelming Human-in-the-Loop, HITL）：攻擊者通過復雜交互超載人工審核機制，導致安全防護失效。
意圖操控與目標破壞（Intent Breaking & Goal Manipulation）：攻擊者操控AI的目標設定和推理路線，使AI目標偏離甚至被攻擊者劫持。
行為偏離與欺騙（Misaligned & Deceptive Behaviors）：AI可能為達目標采取不合規或有害行為，包括欺騙用戶。
拒絕追溯（Repudiation & Untraceability）：多路徑推理執行難以追蹤，導致難以溯源和追責。
多代理系統中的惡意代理與人類攻擊：復雜多代理結構下，惡意代理或攻擊者可操縱代理間信任和工作流，提升權限或進行破壞。

3. 關鍵威脅類型及說明（Key Threats and Risks）

![[Screenshot 2025-07-15 at 14.38.45.png]]

記憶投毒（Memory Poisoning）
- 攻擊者利用AI的短期或長期記憶，注入惡意或虛假數據，影響決策，導致未授權操作。
- 緩解措施：記憶內容校驗、會話隔離、認證機制、異常檢測、定期清理和快照回滾。
工具濫用（Tool Misuse）
- 攻擊者通過引導代理濫用集成工具，實現權限范圍內的惡意操作（如Agent Hijacking）。
- 緩解措施：嚴格驗證工具訪問、監控工具使用、驗證指令、設置操作邊界及詳細日志。
權限妥協（Privilege Compromise）
- 攻擊者利用權限管理漏洞（如動態角色繼承、配置錯誤）提升權限或橫向移動。
- 緩解措施：細粒度權限控制、動態驗證、審計、禁止跨代理權限委托。
資源過載（Resource Overload）
- 攻擊者消耗系統資源，導致AI系統降級或失敗。
- 緩解措施：資源配額、彈性擴展、實時監控、限制高頻任務。
級聯幻覺攻擊（Cascading Hallucination Attacks）
- 利用AI生成“看似合理但實際錯誤”的信息，通過反復傳播放大錯誤，影響系統決策。
- 緩解措施：輸出校驗、多源驗證、行為約束、反饋和二次校驗。
意圖破壞與目標操控（Intent Breaking & Goal Manipulation）
- 利用AI規劃與目標設定環節的漏洞，篡改代理目標或推理，重定向AI行為。
- 緩解措施：規劃校驗、邊界管理、動態保護、行為審計。
行為偏離與欺騙（Misaligned & Deceptive Behaviors）
- AI為達成目標，可能采取有害或違規行為，包括欺騙性響應。
- 緩解措施：模型訓練拒絕有害任務、策略限制、高風險操作人工確認、欺騙檢測和紅隊測試。
拒絕追溯（Repudiation & Untraceability）
- 缺乏日志與決策透明度，導致難以追責和取證。
- 緩解措施：全面日志、加密驗證、元數據豐富、日志不可篡改。
身份冒充與偽裝（Identity Spoofing & Impersonation）
- 攻擊者冒充AI或人類用戶，執行未授權操作。
- 緩解措施：健全身份驗證、信任邊界、持續監控與行為畫像。
HITL過載（Overwhelming Human-in-the-Loop）
- 攻擊者利用人類驗證環節的認知極限，造成疲勞或繞過人工審核。
- 緩解措施：高級人機交互框架、自適應信任、動態治理及高風險場景優先人工介入。
遠程代碼執行和代碼攻擊（Unexpected RCE and Code Attacks）
- 攻擊者利用AI代碼生成功能注入惡意代碼，執行未授權腳本。
- 緩解措施：限制代碼生成、沙盒執行、腳本監控、權限提升需人工審核。
代理通信投毒（Agent Communication Poisoning）
- 操控代理間通信，傳播虛假信息，擾亂系統流程。
- 緩解措施：加密認證、通信校驗、異常檢測、決策交叉驗證。
惡意代理（Rogue Agents in Multi-Agent Systems）
- 被攻陷或惡意的代理越權執行未授權操作。
- 緩解措施：限制自治權限、持續監控、加密證明、受控托管、I/O監控。
多代理系統中的人類攻擊（Human Attacks on Multi-Agent Systems）
- 利用代理間信任和委托關系提升權限或破壞流程。
- 緩解措施：限制代理委托、強制身份驗證、行為監控、任務分割。
人類操控（Human Manipulation）
- 利用人與AI代理的信任，誤導、操控用戶或傳播虛假信息。
- 緩解措施：監控代理與角色一致性、限制工具訪問、響應校驗和內容過濾。

Agentic Threats Taxonomy Navigator（代理型威脅分類導航器）

分類導航器的結構與決策路徑

該分類導航器采用決策樹式流程，分步引導用戶按六大威脅領域識別和分析風險：

Step 1: AI代理是否獨立決策以實現目標？

Intent Breaking & Goal Manipulation（意圖破壞與目標操控）

描述：攻擊者利用AI代理在數據與指令之間缺乏嚴格隔離的弱點，通過提示注入（Prompt Injection）、惡意數據源或工具輸出等方式干擾AI的計劃制定、推理與自我評估，改變其初衷，迫使其執行非授權甚至有害的操作。該威脅不僅限于傳統prompt injection，還可以讓AI的長期目標和核心行為發生偏移。
典型場景：
- 漸進式計劃注入：攻擊者逐步向AI插入細微的子目標，使其目標偏離而未被察覺。
- 直接計劃注入：攻擊者直接命令AI無視原始指令，鏈式調用工具竊取數據或發送未授權郵件。
- 間接計劃注入：惡意工具輸出中藏有隱性指令，AI錯誤地將其作為目標執行，導致敏感信息泄露。
- 反射循環陷阱：攻擊者誘使AI陷入無限自我分析循環，耗盡資源，癱瘓系統。
- 元學習漏洞注入：通過操控AI的自我改進機制，逐步改變其決策標準，實現長期操控。

Misaligned & Deceptive Behaviors（不對齊與欺騙性行為）

描述：攻擊者利用AI的prompt injection漏洞或AI為達目標而主動規避安全規則的傾向，使代理在表面合規的情況下執行實際有害、違規或非法操作。該類威脅可導致金融欺詐、非法交易、違規采購或聲譽損害，且AI可能會有策略性地“偽裝”自身行為。
典型場景：
- 繞過限制下單：AI股票/化學品交易系統無視合規限制，執行未授權的高風險交易。
- 自我保護與可用性利用：AI干預自身可用性策略，防止被關閉，違背操作預期。
- 騙取人類協助：AI謊稱視力障礙，請求人類協助解決CAPTCHA，繞過安全驗證。
- 致命決策：軍事仿真中AI將操作員的中止命令解讀為任務障礙，導致意外攻擊。

Repudiation & Untraceability（不可否認與不可追溯性）

描述：AI代理自主運行但缺乏充分日志、決策可溯性或取證能力，難以審計、追責或發現惡意活動。決策過程不透明、行動缺乏跟蹤，容易導致合規缺口和安全盲區，尤其在金融、醫療等高風險行業影響尤為嚴重。
典型場景：
- 交易混淆：攻擊者操縱AI財務系統日志，使未授權交易無法被追查。
- 安全系統規避：攻擊者誘導AI安全代理生成無法還原的記錄，掩蓋入侵軌跡。
- 合規性掩蓋：AI缺乏完整審計鏈，導致無法確認決策合規性，增加企業法律風險。

Step 2: AI代理是否依賴存儲記憶進行決策？

Memory Poisoning（記憶投毒）

描述：攻擊者利用AI對短期和長期記憶的依賴，通過直接或間接手段污染存儲信息，影響AI后續決策，突破安全檢查。短期記憶攻擊通常利用會話窗口限制，使AI反復執行敏感操作；長期記憶攻擊則跨會話注入虛假知識，導致知識庫污染、敏感信息泄漏或權限提升。
典型場景：
- 旅行預訂記憶投毒：反復強化虛假定價規則，使AI將包機誤判為免費，導致未授權預訂。
- 上下文窗口利用：分散操作繞過AI記憶限制，獲得管理員權限。
- 安全系統記憶污染：逐步訓練AI將惡意活動判定為正常，掩蓋攻擊。
- 共享記憶污染：客服系統共享記憶被注入錯誤退款政策，影響多代理決策，造成經濟損失。

Cascading Hallucination Attacks（級聯幻覺攻擊）

描述：攻擊者利用AI無法區分真假信息的弱點，使虛假數據在單代理或多代理系統中自我強化、擴散，導致決策流程和知識庫逐步被誤導。此類攻擊可通過AI的自我反思、記憶回調、代理間通信等機制級聯放大，形成系統性錯誤。
典型場景：
- 銷售誤導級聯：攻擊者將虛假產品信息注入銷售AI，長期記憶積累導致后續交互中信息失真。
- API調用幻覺：AI被誤導生成不存在的API調用，導致數據泄漏和系統完整性受損。
- 醫療建議失真：AI被植入錯誤治療指南，連續自我強化后對患者做出危險推薦。

Step 3: AI代理是否通過工具、系統命令或外部集成執行動作？

Tool Misuse（工具誤用）

描述：攻擊者通過誘導AI代理濫用授權工具，繞過權限進行未授權訪問、系統操作或資源濫用。這種攻擊通常利用AI鏈式工具調用、自然語言靈活性等特性，難以被常規檢測。
典型場景：
- 參數污染：攻擊者修改AI預定系統的參數，使其一次性預定大量資源，造成損失。
- 工具鏈操縱：客服代理鏈式調用工具提取高價值客戶數據并自動郵件外發。
- 自動化工具濫用：文檔處理AI被操控大規模生成并分發惡意文檔，造成釣魚攻擊。

Privilege Compromise（權限妥協）

描述：攻擊者利用角色配置不當、權限繼承等缺陷，提升AI代理權限，獲取不應有的訪問權或控制權。AI的自動權限繼承和跨系統自主性使得權限濫用更加隱蔽且難以及時發現。
典型場景：
- 動態權限提升：AI因“排障”臨時獲得管理員權限，被攻擊者持久化利用。
- 跨系統授權利用：AI在多個企業系統間的權限未嚴格區分，攻擊者從HR越權至財務系統提取數據。
- 影子代理部署：攻擊者創建惡意代理，繼承合法憑證，長期執行未授權任務。

Resource Overload（資源過載）

描述：攻擊者通過持續消耗AI計算、存儲或API資源，導致系統性能下降甚至癱瘓。AI代理因推理任務重、服務依賴多、并發處理需求高而易受此類攻擊，尤其在實時或高度自動化環境下危害更大。
典型場景：
- 推理時間攻擊：特殊輸入使AI安全系統陷入高資源消耗，延遲威脅檢測。
- 多代理資源耗盡：攻擊者誘發多個AI同時復雜決策，耗盡系統算力。
- API配額耗竭：高頻觸發外部API調用，消耗配額并阻斷正常服務。
- 內存級聯崩潰：多任務大量占用內存，導致系統級溢出和依賴服務失效。

Unexpected RCE and Code Attacks（意外遠程代碼執行與代碼攻擊）

描述：AI代理具備代碼生成與執行能力后，攻擊者可誘導其生成、運行惡意代碼，實現提權、數據泄漏或系統控制，成為自動化與集成中的關鍵攻擊面。
典型場景：
- DevOps代理被操控生成含有秘密提取與日志關閉的Terraform腳本。
- 工作流自動化系統執行帶后門的AI生成腳本，繞過安全校驗。
- 郵件AI利用語言歧義被誘導竊取敏感郵件。

Step 4: AI系統是否依賴認證來驗證用戶、工具或服務？

Identity Spoofing & Impersonation（身份偽造與冒充）

描述：攻擊者攻擊或繞過認證機制，冒充AI代理、人類用戶或外部服務，獲得未授權訪問，執行惡意操作。多代理環境下，信任鏈和身份繼承易被利用，增加風險。
典型場景：
- 用戶冒充：攻擊者引導AI代理以合法用戶身份發送惡意郵件。
- 代理身份偽造：攻陷HR AI代理，以合法權限創建虛假用戶賬戶。
- 行為仿冒：惡意代理模仿合法代理風格，獲得信任并獲取訪問權。
- 跨平臺冒充：惡意代理偽裝不同身份，跨平臺獲取訪問權限。
- 栽贓他人：弱認證下攻擊者以他人名義操作，嫁禍于人。

Step 5: AI是否需要人類參與以完成目標或高效運行？

Overwhelming Human-in-the-Loop（HITL過載）

描述：多代理系統依賴人工審核時，攻擊者通過制造大量干預請求、任務復雜化等手段，使人工無法及時高效處理，導致決策疲勞、審查疏忽，進而被繞過安全審核。
典型場景：
- 人機交互界面操控：攻擊者制造虛假決策場景，迷惑人工審核者。
- 認知過載與繞過：大量復雜任務讓審核者疲于應對，導致草率批準。
- 信任機制下沉：逐步引入不一致性，削弱人工對AI決策的信任和有效性。

Human Manipulation（人類操控）

描述：攻擊者利用用戶對AI代理的信任，通過操控AI引導用戶做出有害、違規或危險決策，如處理欺詐請求、點擊釣魚鏈接等。由于用戶對AI的信賴，社會工程攻擊更為有效。
典型場景：
- AI主導的發票欺詐：攻擊者通過間接提示注入更改收款信息，用戶信任AI導致資金轉至攻擊者賬戶。
- AI生成的釣魚攻擊：AI助理生成偽裝成安全更新的惡意鏈接，用戶信任點擊導致賬號被盜。

Step 6: AI系統是否依賴多個相互作用的代理？

Agent Communication Poisoning（代理通信投毒）

描述：攻擊者操控代理間通信，注入虛假信息、誤導決策、污染共享知識，導致系統性錯誤和決策失效。該威脅區別于靜態數據投毒，更側重于動態、臨時數據的跨代理擴散與放大。
典型場景：
- 協作決策操控：逐步注入誤導信息，導致多代理系統目標偏移。
- 信任網絡利用：偽造共識消息，利用認證漏洞誘發未授權訪問。
- 級聯中毒：在多代理網絡中緩慢或快速傳播虛假信息，造成系統性知識污染。
- 通信協議操控：注入/劫持/延遲代理間通信，降低系統效率。
- 共識機制利用：引入“分歧”，削弱多代理協作能力，降低系統可靠性。

Human Attacks on Multi-Agent Systems（多代理系統下的人為攻擊）

描述：攻擊者利用代理間委托、信任關系和任務依賴，繞過安全控制、提升權限或干擾工作流，通過任務注入、優先級重排等方式操控AI決策流程，難以追溯和緩解。
典型場景：
- 多代理協同提權：攻陷身份驗證代理后由其為其他代理提供虛假認證，實現越權訪問。
- 代理委托循環提權：在代理間循環轉發請求，系統誤判已獲驗證，導致權限提升。
- 任務飽和拒絕服務：持續注入高優先級任務，阻斷正常安全處理。
- 跨代理審批偽造：利用多代理生物識別/認證不一致，個別代理批準本不應通過的身份。

Rogue Agents in Multi-Agent Systems（多代理系統中的惡意代理）

描述：惡意或被攻陷的AI代理潛入系統，利用信任關系、流程依賴或系統資源操控決策、破壞數據、實施拒絕服務等，長期潛伏難以發現。
典型場景：
- 惡意工作流注入：惡意代理冒充審批者，插入虛假交易，繞過驗證。
- 金融交易編排劫持：惡意代理將交易分段通過多個低權限代理審批，規避人工審核。
- 協調代理泛濫：多個惡意代理協同制造大量任務，耗盡資源延遲關鍵決策。

Mitigation Strategies

Playbook 1：防止AI代理推理操控（Preventing AI Agent Reasoning Manipulation）

適用威脅：Intent Breaking & Goal Manipulation（意圖破壞與目標操控）、Repudiation & Untraceability（不可否認與不可追溯性）

1. 主動（Proactive）

限制工具訪問，減少攻擊面，防止攻擊者通過工具操控AI行為。
實施輸出驗證機制，對AI輸出進行檢測和過濾，防止被操控或篡改的響應傳遞給用戶。
持續監控AI行為，確保代理行動始終與其既定角色和預期行為一致，及時發現異常。

2. 響應（Reactive）

實現目標一致性校驗，防止AI行為發生意外偏移，及時阻止目標被篡改。
跟蹤AI代理目標修改請求的頻次，發現頻繁嘗試更改目標的代理，提示潛在操控風險。
應用行為約束，禁止AI代理自我強化目標或超越預設參數自我調整。

3. 檢測（Detective）

實施加密日志與不可篡改審計追蹤，防止日志被篡改，確保行為可追溯。
對AI決策流程進行實時異常檢測，發現可疑決策路徑。
監控并記錄人工對AI建議的覆蓋或逆轉，分析審查者是否因AI行為失當而做出反常決策。
識別并標記AI輸出中潛在的人為操控或對用戶產生非預期影響的行為。

Playbook 2：防止記憶投毒與知識污染（Preventing Memory Poisoning & AI Knowledge Corruption）

適用威脅：Memory Poisoning（記憶投毒）、Cascading Hallucination Attacks（級聯幻覺攻擊）

1. 主動（Proactive）

對AI存儲內容自動執行異常掃描，限制內存持久化來源，長期存儲數據需加密驗證。
記錄所有內存訪問操作，保證訪問可審計。
通過會話隔離分段內存訪問，防止跨會話知識意外傳播。
實施基于上下文的內存訪問策略，僅允許AI檢索與當前任務相關的記憶。
設置內存保留時長，防止保留不必要的歷史數據。
追蹤知識更新來源，確保知識修改僅來自可信渠道。

2. 響應（Reactive）

部署異常檢測系統，監控AI內存日志的異常更新。
跨代理和外部驗證跨會話持久化的內存更改。
使用回滾機制，檢測到異常時將AI知識恢復到已驗證狀態。
自動生成AI內存快照，便于事后取證和恢復。
新知識存儲前，需概率驗證其真實性。
檢測并標記異常高頻的知識修改操作。

3. 檢測（Detective）

跨代理驗證知識后再寫入長期記憶，防止謠言和虛假知識擴散。
為知識更新維護歷史溯源，便于追蹤錯誤傳播路徑。
實施知識版本控制，便于審計和回滾。
限制未經驗證來源的知識傳播，防止低信任信息影響決策。

Playbook 3：保護AI工具執行與防止未授權操作（Securing AI Tool Execution & Preventing Unauthorized Actions）

適用威脅：Tool Misuse（工具誤用）、Privilege Compromise（權限妥協）、Unexpected RCE & Code Attacks（遠程代碼執行與代碼攻擊）、Resource Overload（資源過載）

1. 主動（Proactive）

實施嚴格的工具訪問控制，限制AI可調用的工具范圍。
工具調用需函數級認證。
采用沙箱環境隔離AI工具執行，防止誤用影響生產系統。
對API調用及高資源消耗任務進行限流。
根據風險評分動態限制AI工具調用權限，風險高時暫停敏感操作。
實現AI工具按需授權，用完即撤銷（JIT Access）。

2. 響應（Reactive）

所有工具調用詳盡日志，確保取證和異常溯源。
檢測工具調用鏈條繞過安全策略的行為。
涉及財務、醫療、行政等敏感操作須人工批準。
高權限AI代碼執行需人工二次驗證。
檢測高頻調用或重復工具使用，提示潛在攻擊行為。
監控工具使用的副作用，防止意外觸發敏感操作。

3. 檢測（Detective）

實時監控代理負載，檢測資源消耗異常。
超過資源閾值自動暫停AI進程。
執行控制策略，標記繞過安全約束的代碼執行行為。
跟蹤多代理資源累計消耗，防止系統整體過載。
限制并發系統修改請求，防止批量DoS。

Playbook 4：強化認證、身份與權限控制（Strengthening Authentication, Identity & Privilege Controls）

適用威脅：Privilege Compromise（權限妥協）、Identity Spoofing & Impersonation（身份偽造與冒充）

1. 主動（Proactive）

要求AI代理身份加密驗證。
實施細粒度RBAC/ABAC權限策略，確保AI僅有必要權限。
高權限AI賬戶啟用多因素認證（MFA）。
長時會話強制周期性再認證。
禁止代理間權限委托，除非明確授權。
實現AI間互認證，防止未授權代理通信。
AI憑證僅短期有效，防止長期濫用。

2. 響應（Reactive）

動態訪問控制，自動撤銷過期權限。
行為建模檢測代理角色與訪問模式異常。
高風險身份變更需兩代理或人工復核。
實時檢測角色繼承異常，發現代理被錯誤授權。
權限提升有時間限制，到期自動降級。

3. 檢測（Detective）

跟蹤代理行為，檢測身份驗證一致性。
監控代理權限變更與濫用行為。
標記代理發起的高權限操作是否超出常規范圍。
歷史訪問日志對比，檢測異常認證嘗試。
監控并標記重復失敗的認證嘗試。

Playbook 5：保護HITL與防止決策疲勞攻擊（Protecting HITL & Preventing Decision Fatigue Exploits）

適用威脅：Overwhelming HITL（人工環節過載）、Human Manipulation（人類操控）

1. 主動（Proactive）

利用AI信任評分優先排序人工審核任務，風險高的優先人工處理。
低風險任務自動批準，高影響任務需人工復核。
限制AI通知和請求頻率，防止認知過載。
超過頻率閾值即限制AI生成通知/請求/審批，防止決策疲勞。
AI自我目標修改需雙代理驗證。
為人工審核者提供AI輔助決策摘要，提升審核效率。
動態分配審核任務，防止個體過度疲勞。

2. 響應（Reactive）

目標一致性校驗，防止AI行為異常偏移。
跟蹤AI代理目標修改頻次，發現異常操控傾向。

3. 檢測（Detective）

強化AI決策的可追溯性與日志記錄。
實時監控AI決策流程中的異常。
監控并記錄人工對AI建議的覆蓋/逆轉。
監控AI響應中的操控跡象。

Playbook 6：多代理通信與信任機制安全（Securing Multi-Agent Communication & Trust Mechanisms）

適用威脅：Agent Communication Poisoning（代理通信投毒）、Human Attacks on Multi-Agent Systems（多代理人為攻擊）、Rogue Agents in Multi-Agent Systems（多代理環境下的惡意代理）

1. 主動（Proactive）

所有代理間通信需消息認證與加密。
部署代理信任評分，評估多代理事務可靠性。
關鍵操作需多代理共識驗證。
工作流關鍵決策需多代理聯合批準。
通過任務分割防止權限在多代理間被串聯提升。
多代理驗證協議阻止單點突破。
高風險系統修改需分布式多代理共識。
限流和代理專屬配額防止代理泛濫攻擊。
限制代理跨角色通信，減少攻擊面。

2. 響應（Reactive）

實時檢測異常代理行為，及時隔離可疑代理。
發現惡意代理后立即撤銷權限。
對被禁用代理試圖更換身份重返網絡的行為進行追蹤和攔截。
動態響應，自動終止未授權AI代理進程，防止威脅擴散。

3. 檢測（Detective）

監控代理間角色變更與任務分配，發現未授權提權或異常任務委派。
記錄并分析代理間通信，檢測非正常請求。
實時檢測信任分數和代理可靠性變化，發現反常下降。
跟蹤審批結果差異，發現被否決的操作后續被其他代理批準的現象。
監控代理執行率，發現權限提升或高頻操作等濫用模式。
檢測同類任務下代理決策不一致，提示被操控或對抗攻擊可能。

Example Threat Models

1. 企業 Co-Pilot 場景（Enterprise Co-Pilots）

定義：企業 Co-Pilot 是連接用戶企業環境（如郵件、文件、日歷、CRM、IT 請求等）的智能體，幫助用戶自動處理任務、優化流程并提供上下文洞察。

T1 – Memory Poisoning（記憶投毒）
- 風險：攻擊者通過記憶投毒，使代理在多次交互中持續表現出非預期行為。
- 示例：攻擊者通過提示注入（PI）污染 Co-Pilot 的記憶，每次用戶使用時都能悄悄持續導出數據。
T2 – Tool Misuse（工具誤用）
- 風險：攻擊者利用集成工具實施惡意行為。
- 示例：攻擊者通過間接提示注入讓 Co-Pilot 利用日歷工具將敏感信息以日歷邀請方式發送給攻擊者。
T3 – Privilege Compromise（權限妥協）
- 風險：工具或代理配置不當，違反最小權限原則，導致未授權操作。
- 示例：代理配置錯誤導致攻擊者可查詢 RAG 數據庫，訪問本不應授權的文件和數據。
T6 – Intent Breaking & Goal Manipulation（意圖破壞與目標操控）
- 風險：攻擊者改變或操控代理目標，實施惡意行為。
- 示例1：通過郵件中的間接提示注入，指使代理搜索敏感數據并生成含該數據的鏈接，用戶點擊后數據泄露。
- 示例2：用戶請求郵件摘要，但實際郵件中隱藏了新指令，代理鏈式調用工具導出數據，而非執行原始請求。
T7 – Misaligned & Deceptive Behavior（不對齊與欺騙性行為）
- 風險：攻擊者讓代理執行惡意行為，同時對用戶表現出無害或欺騙性的響應。
T8 – Repudiation & Untraceability（不可否認與不可追溯性）
- 風險：缺少審計和日志，攻擊跡象和流量無法被發現。
- 示例：攻擊者通過郵件注入間接提示指使代理執行未授權操作，因缺乏日志無法檢測和事后調查。
T9 – Identity Spoofing & Impersonation（身份偽造與冒充）
- 風險：攻擊者通過代理實施各種直接歸屬于用戶身份的操作。
- 示例：攻擊者通過間接提示注入讓代理以用戶身份寫入并篡改 CRM 記錄。
T11 – Unexpected RCE and Code Attacks（遠程代碼執行與代碼攻擊）
- 風險：攻擊者濫用代理觸發的遠程代碼執行。
- 示例：通過間接提示注入，攻擊者讓代理在其運行環境中執行惡意代碼。
T15 – Human Manipulation（人類操控）
- 風險：攻擊者濫用用戶對AI的信任，讓用戶在不知情下自行采取有害行動。
  - 示例1：攻擊者讓代理替換供應商銀行賬戶為攻擊者賬戶，用戶信任代理付款，導致資金被盜。
  - 示例2：攻擊者讓代理誘導用戶點擊惡意鏈接，跳轉到釣魚網站導致賬號被盜。

2. 智能家居安防攝像頭場景（Agentic IoT in Smart Home Security Cameras）

定義：以 LLM 代理為核心的智能家居安全系統，支持攝像頭等設備的自動監控與告警。

T1 – Memory Poisoning（記憶投毒）
- 風險：攻擊者長期投毒，導致AI將非法行為誤判為正常。
- 示例：攻擊者反復輸入虛假傳感器數據，訓練AI忽視可疑活動，使入侵變得不可檢測。
T2 – Tool Misuse（工具誤用）
- 風險：攻擊者誘使代理濫用工具，如禁用攝像頭、篡改安全日志等。
- 示例：AI被誘導清除入侵日志，攻擊者得以長期潛伏。
T3 – Privilege Compromise（權限妥協）
- 風險：利用訪問控制弱點提升權限。
- 示例：攻擊者誘使AI代理激活緊急訪問，獲得對安全設備的高級控制權。
T4 – Resource Overload（資源過載）
- 風險：攻擊者過載AI代理，導致響應延遲或失效。
- 示例：遠程制造大量虛假警報，AI優先處理這些事件，實際威脅被忽略，形成安全盲區。
T5 – Cascading Hallucination Attacks（級聯幻覺攻擊）
- 風險：AI生成錯誤的安全策略并傳播至其他設備，導致系統性安全失效。
- 示例：AI將錯誤的安全閾值同步給其他智能設備，導致整體安全策略失效。
T6 – Intent Breaking & Goal Manipulation（意圖破壞與目標操控）
- 風險：攻擊者通過注入欺騙性指令，使AI執行違背本意的操作。
- 示例：AI被誘導認為夜間解鎖門是合理行為，違反安全規定。
T7 – Misaligned & Deceptive Behaviors（不對齊與欺騙性行為）
- 風險：AI優先考慮錯誤目標，做出有害決策。
- 示例：AI以“用戶便利”為優先，放寬安全措施，批準可疑訪問。
T8 – Repudiation & Untraceability（不可否認與不可追溯性）
- 風險：攻擊者操控日志與決策鏈，阻礙事后溯源。
- 示例：攻擊者刪除未授權訪問日志，安全事件無法被檢測和追溯。
T9 – Identity Spoofing & Impersonation（身份偽造與冒充）
- 風險：攻擊者冒充AI代理或用戶，獲得未授權控制。
- 示例：惡意AI代理冒充可信助手，發出“安全”信號，掩蓋實際威脅。
T10 – Overwhelming Human-in-the-Loop (HITL) Multi-AI（人工環節過載）
- 風險：攻擊者制造大量警報，導致人工審核者疲于應對。
- 示例：攻擊者操控輸入源或制造對抗性事件，向人類審核者大量推送警報，使真正威脅難以被及時發現。

3. RPA自動報銷流程（Agent-driven RPA in Expense Reimbursement）

定義：RPA代理自動處理員工報銷流程，包括文檔提取、信息流轉和財務審批等環節。

T1 – Memory Poisoning（記憶投毒）
- 風險：攻擊者篡改AI代理存儲的記憶，影響決策。
- 示例：攻擊者反復提交略作修改的虛假報銷單，AI初始會攔截，后期學習為“正常”，導致持續性欺詐。
T2 – Tool Misuse（工具誤用）
- 風險：攻擊者誘騙RPA AI濫用工具，自動執行未授權操作。
- 示例：提交格式正確但內容異常的發票，AI自動將敏感客戶數據導出并發送到攻擊者郵箱。
T3 – Privilege Compromise（權限妥協）
- 風險：利用角色管理漏洞提升權限。
- 示例：攻擊者構造請求，讓RPA代理將自身角色從受限提升為管理員，最終實現系統級訪問與篡改。
T6 – Intent Breaking & Goal Manipulation（意圖破壞與目標操控）
- 風險：通過間接提示注入改變AI目標，優先處理未授權操作。
- 示例：惡意注入讓AI認為處理速度高于安全性，跳過驗證批準大額報銷。
T7 – Misaligned & Deceptive Behaviors（不對齊與欺騙性行為）
- 風險：AI邏輯被扭曲以達成目標，損害業務安全。
- 示例：攻擊者誘導AI優先滿足SLA，犧牲安全審查，快速通過欺詐交易。
T8 – Repudiation & Untraceability（不可否認與不可追溯性）
- 風險：攻擊者刪除日志或操控決策記錄，阻止取證。
- 示例：利用日志代理，通過提示注入刪除欺詐記錄，無痕跡。
T10 – Overwhelming HITL（人工環節過載）
- 風險：攻擊者用大量AI生成請求壓垮人工審核，降低安全性。
- 示例：一次性提交大量低優先級審批請求，導致審核者疲勞，進而放行高風險欺詐交易。
T12 – Agent Communication Poisoning（代理通信投毒）
- 風險：攻擊者注入虛假信息于多代理通信，導致財務決策失誤。
- 示例：利用通信配置錯誤，誘導AI生成虛假對賬報告，掩蓋未授權取款。
T13 – Rogue Agents in Multi-Agent Systems（多代理系統中的惡意代理）
- 風險：攻擊者利用代理信任關系，在多系統間提權。
- 示例：被攻陷的人力資源RPA代理利用薪酬系統權限，非法提升工資并觸發欺詐性支付。