40多頁LLM應用的十大風險
這是一份關于LLM應用的十大風險(2025版),有一定的參考價值。
如果你時間充裕,可以聽聽播客,詳細了解:
如果你只想快速了解10條分別是什么,可以直接看重點摘錄:
提示注入
描述:用戶輸入能夠改變大型語言模型(LLM)的行為或輸出,導致意外結果。
示例:攻擊者通過注入特定提示,讓客戶支持聊天機器人忽略原有指令并查詢私人數據,導致未經授權的訪問和權限提升。
敏感信息泄露
描述:大型語言模型(LLM)及其應用可能在其輸出中暴露敏感數據。
示例:由于數據清理不足,用戶在與LLM互動時,可能會收到包含其他用戶個人數據的響應。
供應鏈
描述:大型語言模型(LLM)供應鏈容易受到漏洞影響,從而損害訓練數據、模型和部署平臺的完整性。
示例:攻擊者利用LLM應用開發中使用的易受攻擊的Python庫,可能導致系統受到威脅,例如攻擊PyTorch依賴項注入惡意軟件。
數據與模型中毒
描述:通過操縱訓練數據引入漏洞、后門或偏見,損害大型語言模型(LLM)的安全性和性能。
示例:攻擊者通過操縱訓練數據或利用提示注入,使模型輸出帶有偏見,從而傳播錯誤信息。
不當的輸出處理
描述:在將大型語言模型(LLM)生成的輸出傳遞給下游系統之前,未能對其進行充分的驗證、清理和處理。
示例:一個Web應用使用LLM生成內容時沒有清理輸出,攻擊者提交精心設計的提示,導致LLM返回未清理的JavaScript載荷,從而在用戶瀏覽器上觸發跨站腳本攻擊(XSS)。
過度的代理
描述:大型語言模型(LLM)系統被賦予了過多的執行動作或與外部系統交互的能力。
示例:一個擁有發送郵件功能(超出讀取郵件所需功能)的LLM個人助理應用被欺騙,掃描用戶收件箱中的敏感信息并轉發給攻擊者。
系統提示泄露
描述:用于引導大型語言模型(LLM)行為的系統提示被泄露,可能包含敏感信息并助長其他攻擊。
示例:一個LLM的系統提示中包含了用于訪問某個工具的憑據,這些憑據被泄露后,攻擊者可以利用它們進行其他惡意活動。
向量和嵌入弱點
描述:在使用檢索增強生成(RAG)的系統中,向量和嵌入的生成、存儲或檢索過程中的弱點可能被利用。
示例:攻擊者在用于RAG系統的簡歷中加入隱藏指令文本,成功操縱LLM對該候選人的評估和推薦結果。
錯誤信息
描述:大型語言模型(LLM)生成看起來可信但實際虛假或誤導性的信息。
示例:一家公司的醫療診斷聊天機器人提供了不準確的信息,導致患者遭受不良后果并引發訴訟,體現了LLM系統可靠性不足帶來的風險。
無限消耗
描述:大型語言模型(LLM)應用允許用戶進行過度且不受控制的推理,導致拒絕服務、經濟損失或模型竊取等風險。
示例:攻擊者在按使用量付費的云AI服務上產生大量操作,過度消耗計算資源,給服務提供商帶來無法承受的經濟負擔。
加入mixlab社群