未經許可，不得轉載。

本指南提供了一些策略，幫助規劃如何在大型語言模型（LLM）產品生命周期的各階段，圍繞負責任人工智能（RAI）風險開展紅隊演練的設置與管理工作。

什么是紅隊演練？

“紅隊演練”一詞傳統上指的是為測試安全漏洞而進行的系統性對抗攻擊。隨著大型語言模型的興起，該術語的含義已擴展至傳統網絡安全范疇之外，在實際使用中逐步演變為對人工智能系統進行各類探測、測試與攻擊的統稱。對于 LLM 來說，無論是善意還是惡意的使用方式，均可能產生有害輸出，其形式包括仇恨言論、煽動或美化暴力等。

為什么 RAI 紅隊演練是一項重要實踐？

紅隊演練是開發基于 LLM 的系統和功能時負責任開發的最佳實踐之一。盡管紅隊演練不能替代系統性的測量與緩解工作，但它有助于揭示與識別潛在的危害，從而為評估緩解效果提供參考依據。

每個 LLM 應用的使用場景都是獨特的，因此也應當開展紅隊演練以：

• 測試 LLM 底層模型，并根據具體應用場景識別現有安全系統的潛在缺口；
• 識別并緩解默認過濾器或現有緩解策略中的不足之處；
• 對失敗情況進行反饋，以便持續優化。

需要注意的是，紅隊演練并不能替代系統性測量。最佳實踐是在進行系統