40多頁LLM應用的十大風險
這是一份關于LLM應用的十大風險（2025版），有一定的參考價值。
如果你時間充裕，可以聽聽播客，詳細了解：
如果你只想快速了解10條分別是什么，可以直接看重點摘錄：
提示注入
描述：用戶輸入能夠改變大型語言模型（LLM）的行為或輸出，導致意外結果。
示例：攻擊者通過注入特定提示，讓客戶支持聊天機器人忽略原有指令并查詢私人數據，導致未經授權的訪問和權限提升。
敏感信息泄露
描述：大型語言模型（LLM）及其應用可能在其輸出中暴露敏感數據。
示例：由于數據清理不足，用戶在與LLM互動時，可能會收到包含其他用戶個人數據的響應。
供應鏈
描述：大型語言模型（LLM）供應鏈容易受到漏洞影響，從而損害訓練數據、模型和部署平臺的完整性。
示例：攻擊者利用LLM應用開發中使用的易受攻擊的Python庫，可能導致系統受到威脅，例如攻擊PyTorch依賴項注入惡意軟件。
數據與模型中毒
描述：通過操縱訓練數據引入漏洞、后門或偏見，損害大型語言模型（LLM）的安全性和性能。
示例：攻擊者通過操縱訓練數據或利用提示注入，使模型輸出帶有偏見，從而傳播錯誤信息。
不當的輸出處理
描述：在將大型語言模型（LLM）生成的輸出傳遞給下游系統之前，未能對其進行充分的驗證、清理和處理。
示例：一個Web應用使用LLM生成內容時沒有清理輸出，攻擊者提交精心設計的提示，導致LLM返回未清理的JavaScript載荷，從而在用戶瀏覽器上觸發跨站腳本攻擊（XSS）。
過度的代理
描述：大型語言模型（LLM）系統被賦予了過多的執行動作或與外部系統交互的能力。
示例：一個擁有發送郵件功能（超出讀取郵件所需功能）的LLM個人助理應用被欺騙，掃描用戶收件箱中的敏感信息并轉發給攻擊者。
系統提示泄露
描述：用于引導大型語言模型（LLM）行為的系統提示被泄露，可能包含敏感信息并助長其他攻擊。
示例：一個LLM的系統提示中包含了用于訪問某個工具的憑據，這些憑據被泄露后，攻擊者可以利用它們進行其他惡意活動。
向量和嵌入弱點
描述：在使用檢索增強生成（RAG）的系統中，向量和嵌入的生成、存儲或檢索過程中的弱點可能被利用。
示例：攻擊者在用于RAG系統的簡歷中加入隱藏指令文本，成功操縱LLM對該候選人的評估和推薦結果。
錯誤信息
描述：大型語言模型（LLM）生成看起來可信但實際虛假或誤導性的信息。
示例：一家公司的醫療診斷聊天機器人提供了不準確的信息，導致患者遭受不良后果并引發訴訟，體現了LLM系統可靠性不足帶來的風險。
無限消耗
描述：大型語言模型（LLM）應用允許用戶進行過度且不受控制的推理，導致拒絕服務、經濟損失或模型竊取等風險。
示例：攻擊者在按使用量付費的云AI服務上產生大量操作，過度消耗計算資源，給服務提供商帶來無法承受的經濟負擔。
加入mixlab社群
