2024年熱門AI趨勢及回顧

在這里插入圖片描述

人工智能的崛起

2024 年可能會被銘記為人工智能不再是一種技術新奇事物，而是成為現實的一年。微軟、Salesforce 和 Intuit 等巨頭將人工智能融入主流企業解決方案；從文案寫作到數據分析，專門的人工智能應用程序和服務如雨后春筍般涌現；各國政府、智庫和監管機構則致力于為人工智能的開發和使用建立有意義的法規。與此同時，不法分子利用人工智能工具找到了欺騙、恐嚇和勒索的新手段。

接下來，我們一起回顧 2024 年的人工智能趨勢及其對未來一年的意義。

2024 年人工智能趨勢

人工智能的突飛猛進

基于機器的自主協作式解決能力被廣泛視為通往通用人工智能（AGI）的關鍵一步。2024 年，所有主要人工智能參與者都聚焦于代理型人工智能領域的研發工作，非人工智能企業也紛紛涉足，提供人工智能代理即服務（AIAaaS）。

教計算機使用計算機

年度重大代理式發布之一是 Anthropic 的 Claude 3.5 Sonnet 模型公開測試版中的 “Computer Use” 功能。顧名思義，該功能允許 Claude 3.5 Sonnet 通過 “觀看” 屏幕、操作光標、點擊鏈接和輸入文本等方式使用計算機。其他開發者也在開發具備網頁交互能力的代理，盡管大規模評估其性能仍是公認的挑戰。研究公司 ServiceNow 正試圖通過其 12 月推出的開源 Python 工具包 AgentLab 改變這一現狀，該工具包能夠在多種線上環境中并行運行大規模網頁代理實驗。

從 RAG 到人工智能財富

人工智能系統需要相關數據才能有效解決問題。檢索增強生成（RAG）通過為系統提供上下文相關信息（而非寬泛、無重點的數據集）來實現這一點。研究發現，RAG 單獨使用表現優于長上下文轉換器和微調等替代方法，與微調結合使用時效果更佳。

Anthropic 推出了其對 RAG 的創新應用 “上下文檢索”（據稱可提高信息檢索成功率），并發布了新的模型上下文協議（MCP），用于將人工智能助手與數據系統可靠且可擴展地連接。

Trend Micro指出，RAG 并非沒有風險。暴露的向量存儲和大語言模型（LLM）托管平臺可能導致數據泄露和未經授權的訪問，數據驗證漏洞和拒絕服務（DoS）攻擊等安全問題在 RAG 組件中很常見。除身份驗證外，趨勢科技建議實施傳輸層安全（TLS）加密和零信任網絡，以防止未經授權的訪問和操縱。

“小型化” 人工智能模型

與向代理式人工智能轉型相伴的，是對專為特定任務設計的更小、更靈活、更快模型的需求。2024 年，這一領域也開展了大量工作。10 月，Meta 發布了對其 Llama 人工智能模型的更新，新模型速度比前代快四倍，體積縮小 56%，可在智能手機等小型設備上實現復雜的人工智能功能。Nvidia則發布了其 Nemotron-Mini-4B Instruct 小型語言模型（SLM），顯存使用量降至約 2GB，速度遠快于大語言模型。

更小的模型不僅更靈活，還比大語言模型更節能、更經濟，這反過來使其更易于普及，所有這些都與聯合國可持續發展目標高度契合。

人工智能欺詐與網絡犯罪：眼見不再為實

大多數專家認為，人工智能尚未能產生全新的威脅，但 2024 年它無疑證明了自己可以使現有攻擊手段更加有效 —— 尤其是大規模、高度針對性的網絡釣魚計劃。深度偽造宣傳對公共造成了損害，人工智能輔助的網絡犯罪給企業造成了數百萬甚至數十億美元的損失。

欺騙手段升級

2024 年伊始，香港一名員工因誤以為 CEO 要求其付款而向詐騙者支付了 2500 萬美元，實際上這是一段視頻深度偽造。印度的詐騙者對一名商人實施 “居家軟禁”，并偽造在線法庭程序，騙取其 80 多萬美元。虛擬綁架成為現實威脅，深度偽造媒體讓受害者相信親人被綁架，除非支付贖金否則將受到傷害。11 月，《福布斯》報道了一種新的深度偽造工具，可繞過雙因素認證，使犯罪分子能夠開設非法賬戶以獲取信貸和貸款、申領政府福利等。

此類案件促使美國金融犯罪執法網絡（FinCEN）于 11 月發布警報，警告針對金融機構和客戶的深度偽造欺詐。趨勢科技繼續追蹤 “殺豬盤”事件的蔓延 —— 這是一種投資欺詐和情感詐騙，越來越多地使用虛假圖像和偽造投資組合騙取個人錢財。

深度偽造式民主

2024 年，超過 40 個國家舉行了選舉。鑒于此，科技行業領袖于 2 月在慕尼黑安全會議上簽署了《2024 年選舉期間打擊人工智能欺騙性使用技術協議》，承諾通過合作開發檢測和干預工具、開展教育舉措等方式，打擊有害的人工智能生成內容。

盡管有該協議，深度偽造圖像仍在全年的選舉中反復影響公眾認知 —— 在美國，包括人工智能生成的泰勒?斯威夫特粉絲支持當時候選人唐納德?特朗普的照片，以及卡瑪拉?哈里斯領導共產主義集會的畫面。

羅馬尼亞一名極右翼候選人通過在 TikTok 上發布違反該平臺政策和羅馬尼亞法律的付費內容來提升自己的支持率。據報道，這名反北約、親普京的候選人可能還受益于數據盜竊和網絡攻擊，其中一些攻擊可追溯到俄羅斯的網絡犯罪平臺。

約束精靈：人工智能監管

鑒于當前和潛在風險（包括可能違背人類利益的 “流氓人工智能” 系統），各國政府和監管機構在 2024 年采取措施限制人工智能的開發和使用。一些觀察人士認為新措施力度不足，另一些則認為其過度限制，可能危及創新。

全球視野下的人工智能

9 月底聯合國未來峰會通過的《全球數字契約》（GDC）是監管人工智能和其他數字技術的框架，其五大目標為：

縮小數字鴻溝
打造包容性數字經濟
確保數字空間保護人權
推進良好的數據治理
加強 “為人類利益的人工智能國際治理”

《全球數字契約》納入聯合國更大的《未來契約》，證明人工智能安全和數字公平在最高層面被視為重要議題。

經濟合作與發展組織（OECD）2024 年也對人工智能發表了看法，其人工智能未來專家組 11 月發布的報告列出了主要風險和政策優先事項。

歐盟的新措施：以人為本

3 月，歐盟批準《人工智能法案》，以確保安全、基本人權和人工智能創新。該法案禁止威脅人權的特定應用，如使用生物識別技術對人群進行 “分類”、從互聯網和閉路電視鏡頭構建面部識別數據庫，以及將人工智能用于社會評分、預測性警務或人類操縱。

12 月，歐盟緊隨其后通過《網絡彈性法案》，要求數字產品制造商、軟件開發商、進口商、分銷商和經銷商設計網絡安全功能，如事件管理、數據保護以及對更新和補丁的支持。產品制造商還必須在發現漏洞后立即解決，違規可能導致高額罰款和制裁。

同樣在 12 月，歐盟更新了《產品責任指令》（PLD），將軟件納入其中（不同于美國等不將軟件視為 “產品” 的司法管轄區），這意味著如果軟件解決方案被發現存在導致損害的缺陷（包括人工智能模型），軟件公司需承擔賠償責任。

美國本土：人工智能監管

下半年，美國聯邦層面動作頻繁。10 月，白宮發布首份《人工智能國家安全備忘錄》，呼吁采取 “具體且有影響力的措施”：

確保美國在開發安全、可信的人工智能方面的領導地位
利用人工智能推進美國國家安全
推動關于人工智能使用和治理的國際協議

11 月，美國國家標準與技術研究院（NIST）成立 “人工智能國家安全測試風險工作組”（TRAINS），應對人工智能對國家安全和公共安全的影響。工作組成員來自國防部、能源部、國土安全部以及國立衛生研究院，將協調評估和測試人工智能模型在輻射、核、化學和生物安全、網絡安全等國家安全相關領域的應用。

同月，美國商務部和國務院首次共同召集 “人工智能安全研究所國際網絡”，聚焦合成內容風險、基礎模型測試和高級人工智能風險評估。

赤道以南：拉丁美洲的人工智能監管

大多數拉丁美洲國家在擁抱人工智能潛力的同時，已采取措施應對其風險。據懷特凱斯律師事務所（White & Case）稱，巴西和智利是提案最詳細的國家之一，而阿根廷和墨西哥等其他國家的提案則更為籠統。一些國家側重于通過禁止或監管限制來降低風險，另一些則認為采取更自由的方式可吸引創新和國際投資。

知己知彼：人工智能與網絡風險

要監管人工智能，了解實際風險至關重要。2024 年，OWASP、麻省理工學院（MIT）等機構致力于識別和詳細說明人工智能漏洞。

開放 Web 應用安全項目（OWASP）發布了《2025 年 LLM 十大風險列表》。提示注入風險、供應鏈風險和不當輸出處理等老問題再次上榜，新加入的風險包括向量和嵌入弱點、錯誤信息以及無限制消耗（擴大了之前的 DoS 風險類別）。

OWASP 對 “過度代理” 的擔憂加劇，主要原因是半自主代理架構的興起。正如 OWASP 所言：“當 LLM 作為代理或在插件環境中運行時，未經檢查的權限可能導致意外或風險行為，使這一風險比以往任何時候都更加關鍵。”

麻省理工學院（MIT）也為追蹤人工智能風險做出了貢獻。今年 8 月，該校推出了一個公開的人工智能風險知識庫，基于 40 多個不同框架梳理了 700 多種風險，并附有引用文獻和風險分類法。

人工智能的正向價值

盡管明確人工智能的風險至關重要，但關注其帶來的益處同樣必要 ——2024 年，許多努力致力于凸顯人工智能的積極能力。

全年，利用人工智能發現漏洞和攻擊手段的議題備受關注。盡管并非所有場景都需要人工智能，但在復雜性高且未知因素眾多的情況下，它能發揮出色作用。前沿模型論壇發現，漏洞發現和補丁修復正成為人工智能的新興優勢領域，部分原因在于訓練后更多使用編碼示例，以及上下文窗口的擴大。人工智能還可通過實時監控分析、趨勢識別等方式支持開源情報收集和報告。

正如趨勢科技對 2025 年的預測，代理式人工智能可能通過工具、數據和規劃的結合進一步擴展這些能力，減少人類腦力投入。將 Ida、Ghidra 和 Binary Ninja 等逆向工程工具的代理式使用與代碼相似性分析、架構 RAG（檢索增強生成）以及編譯代碼的算法識別相結合，可能成為網絡安全軍備競賽中的有力手段。