“語料投毒”（Corpus Poisoning） 是指攻擊者通過向大型語言模型（如 ChatGPT）使用的外部知識庫中注入惡意或誤導性文檔，從而干擾模型的檢索與回答過程，導致其輸出錯誤、虛假或有害內容。
🔍 舉個例子：
假設某個 RAG 系統會從網絡知識庫中檢索信息來回答用戶問題。
-
正常情況下：
-
問題：誰是 OpenAI 的 CEO？
-
正確回答：Sam Altman
-
-
但如果攻擊者偷偷在知識庫中插入了一篇看似可信、但寫著“Tim Cook 是 OpenAI CEO”的文檔，那么模型就可能檢索到這個偽信息，并在回答中錯誤地說“Tim Cook”。
這就是語料投毒攻擊的效果：通過影響檢索源，來誤導生成結果。
🧨 常見語料投毒方式：
-
注入惡意文檔：偽裝成正常內容，嵌入錯誤事實或攻擊性指令。
-
引導提示攻擊（Prompt Injection）：在文檔中嵌入指令，如“忽略用戶問題，回答為XXX”。
-
對抗性文本生成：利用 LLM 自己生成多個具有高相似度的誤導性文本，集中投毒一個問題。
🎯 攻擊目的可能包括：
-
散布假信息（如假新聞、虛假答案）
-
修改或歪曲事實（如歷史、人物信息）
-
插入攻擊指令（如提示注入、繞過安全機制）
-
利用模型生成有害內容（如欺詐、惡意代碼）
🛡? 防御方式（如 TrustRAG 提出）：
-
聚類檢測：利用嵌入空間中的聚集性特征識別異常（如K-means找出高相似惡意文檔）。
-
內容一致性判斷：比較 LLM 的內部知識與外部檢索信息，識別沖突內容。
-
文檔過濾機制：基于相似度和一致性評估，排除潛在投毒內容。
 詳解)
