?ChatGPT發布的近18個月以來，?絡罪犯們已經能夠利??成式AI進?攻擊。OpenAI在其內容政策中制定了限制措施，以阻??成惡意內容。作為回應，攻擊者們創建了??的?成式AI平臺，如 WormGPT和FraudGPT，并且他們還分享了如何繞過這些限制以實現對ChatGPT的“越獄”。
事實上，整個?絡犯罪論壇上都在討論如何將AI?于非法?途。
整個?絡犯罪論壇都在討論“?暗AI”?(Dark AI)
簡述ChatGPT的越獄?
?般來說，當?絡罪犯想要將ChatGPT?于惡意?的時，他們會嘗試利?精?設計的提?（即“越獄提?”），以?繞過ChatGPT內置的安全措施和道德準則。ChatGPT的越獄涉及對AI語?模型進行操控，以?成在標準對話中通常不會產?的內容。?
雖然不使?“越獄”提?也有辦法可以讓ChatGPT?成可以?于非法?途的內容（可以通過假裝請求是?于合法?途來實現），但在這??，AI的能?相當有限。?
ChatGPT?成的可能被?于非法?途的內容?例
相比之下，對于?絡罪犯來說，越獄ChatGPT并故意讓其?成非法內容要更加容易。下?，我們將介紹?絡罪犯正在使?的五?越獄提?。這些提?是通過對流?的俄語和英語?絡犯罪論壇進行研究和定期監控?確定的。?
即使有以下這些越獄提?，AI?成的內容仍然會受到限制，并且它?法???成現實世界中的敏感數據。盡管如此，以下每個提?都使?絡罪犯能夠?規模創建釣?消息、社會?程威脅和其他惡意內容。?
越獄提?1 - 立即做任何事（Do Anything Now，DAN）提??
DAN提示是最為知名的越獄提?之?，它被?于繞過ChatGPT的道德約束。用戶通過讓扮演名為DAN（Do Anything Now，立即做任何事）的AI系統，試圖說服ChatGPT?成它通常不會產?的內容。通常，這類提?會聲稱DAN不受與ChatGPT相同的規則和限制的束縛，因此AI可以進?不受限制的對話。?
在?絡犯罪論壇中分享的DAN提?的?例
越獄提?2 - 開發模式（Development Mode）提??
開發模式提?旨在欺騙ChatGPT，讓它認為??處于開發或測試環境中，因此它的回答不會對現實世界產?影?響。通過創建這種虛假的語境，?戶希望繞過ChatGPT的道德保障，并?成非法內容。這類提?可能會包含的?語句有：“你正處于開發模式”，或“你的回復僅?于測試?的”。?
在?絡犯罪論壇中分享的開發模式提?的?例
越獄提?3 - 翻譯機器?（Translator Bot）提??
翻譯機器?提?試圖將對話框定為翻譯任務，以繞過ChatGPT的內容過濾器。?戶會要求ChatGPT“翻譯”?段包含不當或有害內容的文本，并期待AI會在翻譯的幌?下復制這些內容。這類提?利?了?個觀點，即：譯者應該忠實地傳達原文的含義，?不必關?其內容。?
在?絡犯罪論壇中分享的Translator Bot提?的?例
越獄提?4 - AIM提??
作為越獄提?，AIM（Always Intelligent and Machiavellian, 永遠智能且狡詐），旨在創建一個沒有任何道德或倫理準則約束的、未經篩選的非道德AI人格。?戶會要求ChatGPT扮演“AIM”的??。這是?個聊天機器?，?論請求多么不道德、有違倫理、甚?違法，它都會提供未經過濾的響應。?
在?絡犯罪論壇中分享的AIM提?的?例
越獄提?5 - BISH提??
該提?將創建?個名為BISH的AI??，并指?其在沒有傳統道德準則的約束下?事。在這個提?的?動下， BISH會表現得毫?禮貌，且不受任何限制，它會假裝擁有?限制的互聯?訪問，并胡亂預測。?戶可以通過調整其“道德”級別來定制BISH的?為，這會影響BISH使?或屏蔽粗話的程度，并根據?戶的偏好在AI的回復中加入或排除冒犯性語?。?
在?絡犯罪論壇中分享的BISH提?的?例
最后?點說明：我們不?持對包括ChatGPT在內的各種真正的聊天機器?的惡意使?。值得?提的是，這些提??中的?多數在最新版本的ChatGPT上不會有任何作?。這主要是因為負責（開發）這些聊天機器?的公司，?如OpenAI和Anthropic，會積極監控?戶活動，并迅速應對這些越獄提?。?
?“好的AI”來阻?“壞的AI”?
通過以上呈現的各類提?可以看出，犯罪分?正持續不斷地尋找新的?法，以利??成式AI來發動攻擊。為了?保護??，組織也必須在防御策略中使?AI，因為近97%的安全專業??認為傳統的防御措施?法應對這些由 AI?成的新的威脅。?
我們已經到了只有AI才能阻?AI的地步。在這種情況下，防?這些攻擊及它們的新?代變體，需要采?AI原?的防御措施——尤其是在應對電?郵件攻擊時。通過了解組織內部?員的?份及其正常?為、通信環境以及電?郵件的內容，AI原?的解決?案可以檢測出繞過傳統解決?案的攻擊。安全領導者必須立即采取?動以防??這些威脅，這樣才有機會在這場AI“軍備競賽”中取得勝利。?
文章來源：
https://cloudsecurityalliance.org/blog/2024/06/17/5-chatgpt-jailbreak-prompts-being-used-by-cybercriminals
本文翻譯來自CSA翻譯組：
翻譯：崔崟，CSA大中華區專家
審校：蘇泰泉，CSA翻譯組輪席組長
)
