絕區肆--2024 年AI安全狀況

前言

隨著人工智能系統變得越來越強大和普及,與之相關的安全問題也越來越多。讓我們來看看 2024 年人工智能安全的現狀——評估威脅、分析漏洞、審查有前景的防御策略,并推測這一關鍵領域的未來可能如何。

主要的人工智能安全威脅

人工智能系統和應用程序面臨著與傳統軟件系統類似的安全威脅,以及其復雜智能所特有的新的、更復雜的問題。一些主要的風險類別包括:

數據中毒攻擊:黑客可以操縱機器學習模型使用的訓練數據,以降低其性能或使其在推理時表現出危險的行為。例如,如果自動駕駛汽車的物體識別模型受到損害,它可能會錯誤識別停車標志。

模型提取攻擊:攻擊者可能試圖通過模型 API 或探測模型行為來竊取專有 AI 模型。一旦提取模型,就可以對其進行逆向工程、搜索漏洞或直接用于非法目的。

模型逃避攻擊:旨在錯誤分類或導致模型輸出不確定性的惡意輸入可用于混淆人工智能系統并誘騙其行為不正確或執行任務時性能下降。

后門攻擊:在訓練過程中植入的后門在大多數情況下可使模型正常運行,但在滿足特定觸發條件時會導致惡意行為或錯誤。它們很難檢測和補救。

模型反轉攻擊:在人工智能系統處理敏感數據的行業中,攻擊者可能會試圖通過詢問模型行為或輸出來提取這些私人數據。這對隱私構成了重大威脅。

數據中毒和訓練管道攻擊:攻擊者可以針對模型訓練管道本身,包括用于監督學習的標記數據集、合成數據生成系統和注釋過程。破壞訓練完整性會導致下游漏洞。

人工智能支持的社會工程:隨著人工智能文本、音頻和視頻生成和處理能力的提高,它們進行社會工程攻擊的可能性也隨之增加。語言模型生成的深度偽造和自動網絡釣魚內容就體現了這種風險。

人工智能系統中的漏洞

除了來自攻擊者的外部威脅之外,人工智能系統還容易受到各種內在故障模式的影響:

脆弱的機器學習模型:盡管平均性能較高,但人工智能模型通常對分布外的數據做出不可靠的預測,并且對微小的輸入擾動很脆弱。攻擊者利用了這種脆弱性。

黑盒系統漏洞:許多人工智能系統的復雜性使其行為不透明——漏洞可能潛伏在人們看不見的地方。缺乏模型可見性和可解釋性會帶來風險。

未預料到的副作用:優化復雜目標的復雜 AI 代理可能會找到設計者未打算或未預料到的巧妙方法來實現其目標。這可能導致系統以危險或不允許的方式運行。

失控反饋環:在日益自主的人工智能系統中,閉環反饋系統中的輸出會反饋到輸入中。如果沒有適當的保護措施,這可能會導致不受控制的指數增長——無法預測的失控人工智能行為。

持續學習系統中的魯棒性衰減:某些類型的機器學習模型會根據新數據不斷更新自身。隨著時間的推移,細微的漂移或意外偏差會逐漸累積,導致它們變得不安全或存在其他缺陷。

依賴易出錯的人類監督:人工智能的實際部署通常依賴人類監督來解決其內在局限性。過度信任或不當實施人類監督控制是一個弱點。

由于攻擊者擁有巨大的經濟激勵,而防御方又存在真正的技術不確定性,我們可以預計,隨著人工智能能力的進步,攻擊面將繼續擴大。

人工智能安全防御現狀

保護人工智能系統免受威脅的方法是學術界和私營部門研究和創新的一個活躍領域。一些值得注意的類別包括:

對抗性訓練:機器學習模型在訓練過程中會故意暴露于真實或模擬攻擊,以抵御威脅。這可以顯著提高穩健性。

模型屬性的驗證:正式的數學和邏輯驗證方法證明人工智能系統的重要屬性,確保在部署之前正式滿足安全標準。

可解釋性方法:解釋模型行為和預測的技術可以讓人們了解其決策過程。這有助于防御者識別漏洞,并幫助生產者構建更安全的系統。

數據來源追蹤:通過在預處理流程中嚴格控制和記錄訓練數據的來源,可以降低數據中毒攻擊的風險。

模型監控的異常檢測:運行時監控系統尋找模型中的異常行為,這些行為可能表明存在攻擊企圖或成功攻擊。防御者會收到警報以進行進一步調查。

模型水印:訓練期間嵌入專有 AI 模型邏輯的隱藏水印使公司能夠通過識別獨特的水印圖案來識別被盜模型。這有助于保護知識產權。

沙盒測試環境:安全的虛擬環境隔離未經測試的人工智能系統,限制其對真實傳感器/執行器的訪問,并在真實世界交互之前監控其是否存在不良行為。

正式的安全計劃實施:成熟的軟件安全計劃轉化為人工智能開發生命周期,為可持續的長期風險管理制定組織范圍的標準、最佳實踐和程序。

雖然我們的防御技術正在迅速發展,但從中期來看,威脅似乎仍可能繼續超過防護措施。在這一不確定時期,將人類和技術系統的監督結合起來是管理風險的最有效途徑。

政府人工智能安全法規

隨著技術進步,政府有關人工智能安全的政策和法規也發生了重大變化,關鍵主題包括:

強制披露人工智能系統細節:政府越來越多地要求公司公開分享在敏感環境下運行的人工智能系統的技術細節,這些系統可能影響公共安全。支持者認為,這可以識別公司可能隱藏的風險。

自主決策限制:對于直接且實質性地影響人類生活的人工智能應用,無需中間人工審核,必須進行有意義的人工監督。特別危險或敏感的用例必須受到最嚴格的強制監督規則的約束。

網絡安全法規中針對人工智能的補充規定:在金融和醫療等行業現有的網絡安全法律的基礎上,監??管機構出臺了更有意識地關注人工智能固有風險的政策,例如模型提取或規避攻擊。違反規定的罰款非常嚴厲。

部署前測試和審計要求:在特定類別的生產系統中部署 AI 之前,必須完成漫長的測試和外部審計,評估安全風險(以及其他因素)。雖然成本高昂,但這可以防止不安全的系統影響客戶。

人工智能服務提供商的許可要求:標準因司法管轄區而異,但商業人工智能服務提供商通常必須證明某些安全實踐、協議和基礎設施已到位,才能獲得許可。年度審查很常見。

盡管各方在優先考慮的問題上仍存在爭議,但人工智能安全的監管環境正變得越來越清晰,也越來越嚴格。將政策激勵機制與技術解決方案相結合是負責任地采用人工智能的最有力途徑。

未來之路:提升人工智能的安全性和可靠性

如果要負責任地實現人工智能的愿望,前面幾節中強調的威脅就要求加速成熟。

研究、最佳實踐和治理方面正在取得令人鼓舞的進展,以將人工智能安全引向主流。讓我概述一下塑造該領域彈性軌跡的三個領域的進步:

Horizo??n 1 進展

我們預計,隨著當前差距得到系統解決,現有的測試工具、監控基礎設施和治理標準將在未來兩年內得到顯著改善:

  • 紅隊藍隊工具包專門用于使用 GuardRails、IBM Adversarial Robustness 360、Azure Defender for Cloud 評估模型針對現實攻擊的漏洞
  • 可擴展的數據管道,可跟蹤血統、最大限度地減少派生并衡量質量/多樣性,這些都由 Oracle 采購和質量管理、Tascent 可追溯性和 ValueCAD Data DNA 實現
  • 云托管協作環境,具有內置控制和合規性跟蹤,可確保機密性和完整性 - AWS Sagemaker Clarify、Model Build SDK、Azure Machine Learning Credits
  • 根據 OMG MARS、Google Model Cards、MITRE Metrics Calculator 等標準審核和認證 ML 可靠性的開放框架

Horizo??n 2 進展

從中期來看,我們預計建模和分布式分析將取得突破,從而從根本上改善安全態勢:

  • 基于因果關系的機器學習可提高模型的可解釋性并處理虛假相關性
  • 通過安全多方計算和硬件區域進行隱私保護分析
  • 區塊鏈支持防篡改模型 IP 保護和風險量化的來源
  • 實時學習算法對預測不確定性有更嚴格的保證

Horizo??n 3 進展

此外,普及人工智能需要從材料到算法等方面的設計進步來提供信任:

  • 超安全云和量子硬件,可隔離訪問并加密資產
  • 液態神經網絡通過變形計算來抵御攻擊
  • 可證明保證模型行為的形式化驗證
  • 模仿人類理解的自我監督神經符號學習
  • 分散智能限制單點故障

通過這些領域的進步——工具自動化、計算基礎和治理框架——我們預計人工智能安全將從無政府主義的狂野西部發展成為嚴格的機構質量學科。隨著時間的推移,系統可靠性指標將與自動駕駛汽車和醫療設備同步發展。

雖然邊緣風險可能持續存在,但只要采取足夠的預防措施和監督措施,廣泛的應用前景似乎已得到保障。在此期間,關鍵優先事項是提高認識,并在利益相關者(技術人員、商界領袖、政策制定者和用戶)之間建立聯盟,以堅持嚴格的最佳實踐,實現值得信賴的人工智能。

人工智能安全的未來

鑒于人工智能最近取得的驚人進步,我們應該預計威脅和防御的格局至少在未來十年內仍將保持高度動態。然而,回顧目前的趨勢,我們可以推測幾種可能的未來:

持續對透明度和問責施加壓力:公眾對不透明和不太理解的人工智能系統的不信任似乎可能會推動治理和監管,要求對影響人們的人工智能決策提供更多的可見性、解釋和問責制。

將安全性融入人工智能開發生命周期:就像過去幾十年網絡安全的成熟一樣,我們可以預期人工智能安全將成為整個研究、開發、測試生產和監控階段系統處理的一個不可或缺的問題,而不是事后才想到的問題。

經過驗證的安全人工智能的形式化數學框架:數學邏輯和形式化驗證方法已顯示出在可證明地約束智能行為方面的巨大潛力。將優雅的理論框架轉化為實際應用仍然具有挑戰性,但對于減少不確定性來說是必不可少的工作。

完整的系統視角可補充 ML 模型安全性:雖然機器學習已經徹底改變了 AI 功能,但研究人員認識到模型周圍的感知、表示、推理和交互架構同樣重要。整體系統視角將使系統更安全、更強大。

用于人工智能處理的專用硬件可能會提高安全性:專門為加速機器學習和人工智能工作負載而優化的新型硬件不僅可以提高效率,而且相對于依賴通用硬件而言可以實現更嚴格的隔離和安全實施。

雖然我們可以期待人工智能的進步帶來前所未有的能力,但確保這些定義模糊的“智能”技術可靠且安全地運行,將帶來復雜的技術和社會挑戰,風險很高。跨學科(計算機科學、工程、形式邏輯、法律、政策、倫理)的負責任創新是最明智的前進之路。優先考慮安全和問責制將有助于實現這一目標。

關鍵要點

從數據中毒和模型提取等威脅到系統級漏洞以及對不可靠人工監督的依賴,隨著人工智能在各個行業的部署加速,人工智能面臨著各種快速演變的安全風險。通過對抗性訓練、可解釋性方法、異常檢測系統和沙盒測試等技術策略加強防御,結合日益嚴格的政府治理和法規,可以加強保護。然而,攻防雙方的快速發展意味著不確定性在一段時間內仍將居高不下。只有通過負責任的跨學科研究、開發和政策努力,我們才能在對人類生活具有重大潛在影響的領域創造出值得信賴的人工智能技術。雖然進步從來都不是直線性的,但如果我們今天將人工智能安全和問責作為優先事項,我們就可以朝著未來與智能機器安全協同生活的方向邁進。

歡迎你分享你的作品到我們的平臺上.?http://www.shxcj.com?或者 www.2img.ai 讓更多的人看到你的才華。

創作不易,覺得不錯的話,點個贊吧!!!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/42426.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/42426.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/42426.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Qt 繪圖詳解

文章目錄 頭文件和構造函數啟用反鋸齒功能繪制矩形繪制圓角矩形繪制橢圓繪制圓弧繪制弦繪制凸多邊形繪制圖片繪制直線繪制多條直線繪制多點連接的線繪制路徑繪制扇形繪制點繪制文本擦除矩形區域填充矩形填充路徑 頭文件和構造函數 #include "mainwindow.h" #include…

C-11 三角剖分的調研

C-11 三角剖分算法 三角剖分就是將輸入的多邊形,分割成一系列互不重疊的三角形,其重要性就在這不多贅述。這個是一個別人總結的鏈接:http://vterrain.org/Implementation/Libs/triangulate.html 圖片鏈接:http://www-cgrl.cs.m…

基于CentOS Stream 9平臺搭建MinIO以及開機自啟

1. 官網 https://min.io/download?licenseagpl&platformlinux 1.1 下載二進制包 指定目錄下載 cd /opt/coisini/ wget https://dl.min.io/server/minio/release/linux-amd64/minio1.2 文件賦權 chmod x /opt/coisini/minio1.3 創建Minio存儲數據目錄: mkdi…

springboot校園安全通事件報告小程序-計算機畢業設計源碼02445

Springboot 校園安全通事件報告小程序系統 摘 要 隨著中國經濟的飛速增長,消費者的智能化水平不斷提高,許多智能手機和相關的軟件正在得到更多的關注和支持。其中,校園安全通事件報告小程序系統更是深得消費者的喜愛,它的出現極大…

關于隱藏、覆蓋(重寫)、重載的理解

定義區分 在派生-對象中:優先考慮隱藏,此時派生類中的覆蓋(重寫)也是隱藏;沒有隱藏的情況下,子類對象才能調用父類重載函數。[此時感覺virtual沒用,]在派生-指針或者引用中:只用覆蓋(重寫)和重載; 注:C Pr…

《Programming from the Ground Up》閱讀筆記:p19-p48

《Programming from the Ground Up》學習第2天,p19-p48總結,總計30頁。 一、技術總結 1.object file p20, An object file is code that is in the machine’s language, but has not been completely put together。 之前在很多地方都看到object fi…

高階K8S面試題你會幾個?

前言 K8S架構、公有云、持久化存儲、HELM、CICD、負載均衡、監控告警、可觀察性、服務治理、架構探索。。。 Q1:如何調試 Kubernetes 集群中的網絡連接問題,比如 Pod 間通信失敗的情況? 狀態檢查:使用 kubectl get pods 和 kube…

MySQL-17-mysql alter 語句如何實現?如何合并為一個

拓展閱讀 MySQL 00 View MySQL 01 Ruler mysql 日常開發規范 MySQL 02 truncate table 與 delete 清空表的區別和坑 MySQL 03 Expression 1 of ORDER BY clause is not in SELECT list,references column MySQL 04 EMOJI 表情與 UTF8MB4 的故事 MySQL 05 MySQL入門教程&a…

Git使用中遇到的問題(隨時更新)

問題1.先創建本地庫,后拉取遠程倉庫時上傳失敗的問題怎么解決? 操作主要步驟: step1 設置遠程倉庫地址: $ git remote add origin gitgitee.com:yourAccount/reponamexxx.git step2 推送到遠程倉庫: $ git push -u origin "master&qu…

線程池理解及7個參數

定義理解 線程池其實是一種池化的技術實現,池化技術的核心思想就是實現資源的復用,避免資源的重復創建和銷毀帶來的性能開銷。線程池可以管理一堆線程,讓線程執行完任務之后不進行銷毀,而是繼續去處理其它線程已經提交的任務。 …

GStreamer學習5----probe數據探測

參考資料: gstreamer中如何使用probe(探針)獲取幀數據_gstreamer 視頻編碼時獲取視頻關鍵幀信息-CSDN博客 Gstreamer中可以使用AppSink作為一個分支來查看管線中的數據,還可以使用probe去處理。 在GStreamer中,probe…

LayerNorm Plugin的使用與說明

目錄 前言0. 簡述1. Layernorm Plugin的使用1.1 源碼下載1.2 模型下載和修改1.3 環境配置1.4 編譯1.4 engine生成和執行(trtexec)1.5 enging生成和執行(C API) 2. 補充說明2.1 RTMO顯存占用問題2.2 插件找不到的說明2.3 LayerNorm plugin封裝的嘗試2.4 layerNorm plugin核函數實…

拉曼光譜入門:3.拉曼光譜的特征參數與定量定性分析策略

1.特征參數 1.1 退偏振率 退偏振率(p)是一個衡量拉曼散射光偏振狀態的參數,它描述了拉曼散射光的偏振方向與入射光偏振方向之間的關系。退偏振率定義為垂直偏振方向的拉曼散射強度與平行偏振方向的拉曼散射強度之比。退偏振率(p&…

禁用windows的語音識別快捷鍵win+ctrl+s

win11組合鍵winctrls會彈出語音識別提示,即使到設置里禁用了語音識別也沒用 解決辦法:安裝PowerToys,通過“鍵盤管理器”-“重新映射快捷鍵”禁用 PowerToys是微軟自己的工具,不用擔心安全問題,下載地址:h…

系統設計題-簡易數據庫系統

一、設計一個簡易數據庫系統,包含create,insert,select三個指令。 create(int tableId,int colNum,String key):創建表,其id為tableId,如果該表已存在,則不做任何處理。colNum為表中列的數量&a…

洛谷 P3008 [USACO11JAN] Roads and Planes G

題意 有一張 n n n 點 ( m 1 m 2 ) (m_1m_2) (m1?m2?) 邊的無向圖,其中 m 1 m_1 m1? 條為無向邊,另外 m 2 m_2 m2? 條為有向邊, 無向邊的邊權可以為負。求 s s s 到其他每個點的最短路。 思路 使用 SPFA 會 T 掉一兩個點&#x…

第10章:網絡與信息安全

目錄 第10章:網絡與信息安全 網絡概述 計算機網絡概念 計算機網絡的分類 網絡的拓撲結構 ISO/OSI網絡體系結構 網絡互聯硬件 物理層互聯設備 數據鏈路層互聯設備 網絡層互聯設備 應用層互聯設備 網絡的協議與標準 網絡標準 TCP/IP協議族 網絡接口層協…

GCC擴展功能、函數,預處理命令

文章目錄 前言一、GCC C語言擴展聲明函數屬性變量屬性內斂匯編與原子操作相關的內建函數內存模型感知原子操作的內置函數使用溢出檢查執行算術的內置函數 - xxx 二、GCC C語言擴展interface和 pragmasTemplate 二、預處理過程及其指令預處理過程1. 字符集轉換2. Initial proces…

實現基于Spring Cloud的事件驅動微服務

實現基于Spring Cloud的事件驅動微服務 大家好,我是免費搭建查券返利機器人省錢賺傭金就用微賺淘客系統3.0的小編,也是冬天不穿秋褲,天冷也要風度的程序猿! 事件驅動架構在現代微服務架構中越來越受歡迎,它通過事件的…

【JAVA多線程】線程池概論

目錄 1.概述 2.ThreadPoolExector 2.1.參數 2.2.新任務提交流程 2.3.拒絕策略 2.4.代碼示例 1.概述 線程池的核心: 線程池的實現原理是個標準的生產消費者模型,調用方不停向線程池中寫數據,線程池中的線程組不停從隊列中取任務。 實現…