前言

隨著人工智能系統變得越來越強大和普及，與之相關的安全問題也越來越多。讓我們來看看 2024 年人工智能安全的現狀——評估威脅、分析漏洞、審查有前景的防御策略，并推測這一關鍵領域的未來可能如何。

主要的人工智能安全威脅

人工智能系統和應用程序面臨著與傳統軟件系統類似的安全威脅，以及其復雜智能所特有的新的、更復雜的問題。一些主要的風險類別包括：

數據中毒攻擊：黑客可以操縱機器學習模型使用的訓練數據，以降低其性能或使其在推理時表現出危險的行為。例如，如果自動駕駛汽車的物體識別模型受到損害，它可能會錯誤識別停車標志。

模型提取攻擊：攻擊者可能試圖通過模型 API 或探測模型行為來竊取專有 AI 模型。一旦提取模型，就可以對其進行逆向工程、搜索漏洞或直接用于非法目的。

模型逃避攻擊：旨在錯誤分類或導致模型輸出不確定性的惡意輸入可用于混淆人工智能系統并誘騙其行為不正確或執行任務時性能下降。

后門攻擊：在訓練過程中植入的后門在大多數情況下可使模型正常運行，但在滿足特定觸發條件時會導致惡意行為或錯誤。它們很難檢測和補救。

模型反轉攻擊：在人工智能系統處理敏感數據的行業中，攻擊者可能會試圖通過詢問模型行為或輸出來提取這些私人數據。這對隱私構成了重大威脅。

數據中毒和訓練管道攻擊：攻擊者可以針對模型訓練管道本身，包括用于監督學習的標記數據集、合成數據生成系統和注釋過程。破壞訓練完整性會導致下游漏洞。

人工智能支持的社會工程：隨著人工智能文本、音頻和視頻生成和處理能力的提高，它們進行社會工程攻擊的可能性也隨之增加。語言模型生成的深度偽造和自動網絡釣魚內容就體現了這種風險。

人工智能系統中的漏洞

除了來自攻擊者的外部威脅之外，人工智能系統還容易受到各種內在故障模式的影響：

脆弱的機器學習模型：盡管平均性能較高，但人工智能模型通常對分布外的數據做出不可靠的預測，并且對微小的輸入擾動很脆弱。攻擊者利用了這種脆弱性。

黑盒系統漏洞：許多人工智能系統的復雜性使其行為不透明——漏洞可能潛伏在人們看不見的地方。缺乏模型可見性和可解釋性會帶來風險。

未預料到的副作用：優化復雜目標的復雜 AI 代理可能會找到設計者未打算或未預料到的巧妙方法來實現其目標。這可能導致系統以危險或不允許的方式運行。

失控反饋環：在日益自主的人工智能系統中，閉環反饋系統中的輸出會反饋到輸入中。如果沒有適當的保護措施，這可能會導致不受控制的指數增長——無法預測的失控人工智能行為。

持續學習系統中的魯棒性衰減：某些類型的機器學習模型會根據新數據不斷更新自身。隨著時間的推移，細微的漂移或意外偏差會逐漸累積，導致它們變得不安全或存在其他缺陷。

依賴易出錯的人類監督：人工智能的實際部署通常依賴人類監督來解決其內在局限性。過度信任或不當實施人類監督控制是一個弱點。

由于攻擊者擁有巨大的經濟激勵，而防御方又存在真正的技術不確定性，我們可以預計，隨著人工智能能力的進步，攻擊面將繼續擴大。

人工智能安全防御現狀

保護人工智能系統免受威脅的方法是學術界和私營部門研究和創新的一個活躍領域。一些值得注意的類別包括：

對抗性訓練：機器學習模型在訓練過程中會故意暴露于真實或模擬攻擊，以抵御威脅。這可以顯著提高穩健性。

模型屬性的驗證：正式的數學和邏輯驗證方法證明人工智能系統的重要屬性，確保在部署之前正式滿足安全標準。

可解釋性方法：解釋模型行為和預測的技術可以讓人們了解其決策過程。這有助于防御者識別漏洞，并幫助生產者構建更安全的系統。

數據來源追蹤：通過在預處理流程中嚴格控制和記錄訓練數據的來源，可以降低數據中毒攻擊的風險。

模型監控的異常檢測：運行時監控系統尋找模型中的異常行為，這些行為可能表明存在攻擊企圖或成功攻擊。防御者會收到警報以進行進一步調查。

模型水印：訓練期間嵌入專有 AI 模型邏輯的隱藏水印使公司能夠通過識別獨特的水印圖案來識別被盜模型。這有助于保護知識產權。

沙盒測試環境：安全的虛擬環境隔離未經測試的人工智能系統，限制其對真實傳感器/執行器的訪問，并在真實世界交互之前監控其是否存在不良行為。

正式的安全計劃實施：成熟的軟件安全計劃轉化為人工智能開發生命周期，為可持續的長期風險管理制定組織范圍的標準、最佳實踐和程序。

雖然我們的防御技術正在迅速發展，但從中期來看，威脅似乎仍可能繼續超過防護措施。在這一不確定時期，將人類和技術系統的監督結合起來是管理風險的最有效途徑。

政府人工智能安全法規

隨著技術進步，政府有關人工智能安全的政策和法規也發生了重大變化，關鍵主題包括：

強制披露人工智能系統細節：政府越來越多地要求公司公開分享在敏感環境下運行的人工智能系統的技術細節，這些系統可能影響公共安全。支持者認為，這可以識別公司可能隱藏的風險。

自主決策限制：對于直接且實質性地影響人類生活的人工智能應用，無需中間人工審核，必須進行有意義的人工監督。特別危險或敏感的用例必須受到最嚴格的強制監督規則的約束。

網絡安全法規中針對人工智能的補充規定：在金融和醫療等行業現有的網絡安全法律的基礎上，監??管機構出臺了更有意識地關注人工智能固有風險的政策，例如模型提取或規避攻擊。違反規定的罰款非常嚴厲。

部署前測試和審計要求：在特定類別的生產系統中部署 AI 之前，必須完成漫長的測試和外部審計，評估安全風險（以及其他因素）。雖然成本高昂，但這可以防止不安全的系統影響客戶。

人工智能服務提供商的許可要求：標準因司法管轄區而異，但商業人工智能服務提供商通常必須證明某些安全實踐、協議和基礎設施已到位，才能獲得許可。年度審查很常見。

盡管各方在優先考慮的問題上仍存在爭議，但人工智能安全的監管環境正變得越來越清晰，也越來越嚴格。將政策激勵機制與技術解決方案相結合是負責任地采用人工智能的最有力途徑。

未來之路：提升人工智能的安全性和可靠性

如果要負責任地實現人工智能的愿望，前面幾節中強調的威脅就要求加速成熟。

研究、最佳實踐和治理方面正在取得令人鼓舞的進展，以將人工智能安全引向主流。讓我概述一下塑造該領域彈性軌跡的三個領域的進步：

Horizo??n 1 進展

我們預計，隨著當前差距得到系統解決，現有的測試工具、監控基礎設施和治理標準將在未來兩年內得到顯著改善：

• 紅隊藍隊工具包專門用于使用 GuardRails、IBM Adversarial Robustness 360、Azure Defender for Cloud 評估模型針對現實攻擊的漏洞
• 可擴展的數據管道，可跟蹤血統、最大限度地減少派生并衡量質量/多樣性，這些都由 Oracle 采購和質量管理、Tascent 可追溯性和 ValueCAD Data DNA 實現
• 云托管協作環境，具有內置控制和合規性跟蹤，可確保機密性和完整性 - AWS Sagemaker Clarify、Model Build SDK、Azure Machine Learning Credits
• 根據 OMG MARS、Google Model Cards、MITRE Metrics Calculator 等標準審核和認證 ML 可靠性的開放框架

Horizo??n 2 進展

從中期來看，我們預計建模和分布式分析將取得突破，從而從根本上改善安全態勢：

• 基于因果關系的機器學習可提高模型的可解釋性并處理虛假相關性
• 通過安全多方計算和硬件區域進行隱私保護分析
• 區塊鏈支持防篡改模型 IP 保護和風險量化的來源
• 實時學習算法對預測不確定性有更嚴格的保證

Horizo??n 3 進展

此外，普及人工智能需要從材料到算法等方面的設計進步來提供信任：

• 超安全云和量子硬件，可隔離訪問并加密資產
• 液態神經網絡通過變形計算來抵御攻擊
• 可證明保證模型行為的形式化驗證
• 模仿人類理解的自我監督神經符號學習
• 分散智能限制單點故障

通過這些領域的進步——工具自動化、計算基礎和治理框架——我們預計人工智能安全將從無政府主義的狂野西部發展成為嚴格的機構質量學科。隨著時間的推移，系統可靠性指標將與自動駕駛汽車和醫療設備同步發展。

雖然邊緣風險可能持續存在，但只要采取足夠的預防措施和監督措施，廣泛的應用前景似乎已得到保障。在此期間，關鍵優先事項是提高認識，并在利益相關者（技術人員、商界領袖、政策制定者和用戶）之間建立聯盟，以堅持嚴格的最佳實踐，實現值得信賴的人工智能。

人工智能安全的未來

鑒于人工智能最近取得的驚人進步，我們應該預計威脅和防御的格局至少在未來十年內仍將保持高度動態。然而，回顧目前的趨勢，我們可以推測幾種可能的未來：

持續對透明度和問責施加壓力：公眾對不透明和不太理解的人工智能系統的不信任似乎可能會推動治理和監管，要求對影響人們的人工智能決策提供更多的可見性、解釋和問責制。

將安全性融入人工智能開發生命周期：就像過去幾十年網絡安全的成熟一樣，我們可以預期人工智能安全將成為整個研究、開發、測試生產和監控階段系統處理的一個不可或缺的問題，而不是事后才想到的問題。

經過驗證的安全人工智能的形式化數學框架：數學邏輯和形式化驗證方法已顯示出在可證明地約束智能行為方面的巨大潛力。將優雅的理論框架轉化為實際應用仍然具有挑戰性，但對于減少不確定性來說是必不可少的工作。

完整的系統視角可補充 ML 模型安全性：雖然機器學習已經徹底改變了 AI 功能，但研究人員認識到模型周圍的感知、表示、推理和交互架構同樣重要。整體系統視角將使系統更安全、更強大。

用于人工智能處理的專用硬件可能會提高安全性：專門為加速機器學習和人工智能工作負載而優化的新型硬件不僅可以提高效率，而且相對于依賴通用硬件而言可以實現更嚴格的隔離和安全實施。

雖然我們可以期待人工智能的進步帶來前所未有的能力，但確保這些定義模糊的“智能”技術可靠且安全地運行，將帶來復雜的技術和社會挑戰，風險很高。跨學科（計算機科學、工程、形式邏輯、法律、政策、倫理）的負責任創新是最明智的前進之路。優先考慮安全和問責制將有助于實現這一目標。

關鍵要點

從數據中毒和模型提取等威脅到系統級漏洞以及對不可靠人工監督的依賴，隨著人工智能在各個行業的部署加速，人工智能面臨著各種快速演變的安全風險。通過對抗性訓練、可解釋性方法、異常檢測系統和沙盒測試等技術策略加強防御，結合日益嚴格的政府治理和法規，可以加強保護。然而，攻防雙方的快速發展意味著不確定性在一段時間內仍將居高不下。只有通過負責任的跨學科研究、開發和政策努力，我們才能在對人類生活具有重大潛在影響的領域創造出值得信賴的人工智能技術。雖然進步從來都不是直線性的，但如果我們今天將人工智能安全和問責作為優先事項，我們就可以朝著未來與智能機器安全協同生活的方向邁進。

歡迎你分享你的作品到我們的平臺上.?http://www.shxcj.com?或者 www.2img.ai 讓更多的人看到你的才華。

創作不易，覺得不錯的話，點個贊吧！！！