密態計算,大模型商用數據瓶頸的新解法?

e61746602b6a2438530369bec4a799a1.png

722a63fc878009e42711b51737731ebf.png

4d05f0c2c714f44a1104668f1978b5d5.png




大數據產業創新服務媒體

——聚焦數據?· 改變商業


大模型邁向產業的深度應用,首要挑戰是高質量數據供給和安全流通。正如在今年的世界人工智能大會上,產學研屆多位專家達成的共識是,數據決定了AI能力的上限。

在實踐中,行業大模型難以獲得高質量數據進行訓練,也就難以獲得解決專業問題的能力;另一方面,在技術服務生態中,企業客戶、大模型廠商之間缺少基于技術保障的互信,一方擔心數據泄漏,另一方擔心模型資產安全。

一個新的技術路線——密態計算,為解決這一難題提供了新的可能。螞蟻集團在2024年世界人工智能大會(WAIC)上發布的“隱語Cloud”大模型密算平臺,是這一技術路線的典型應用實例。密態計算的產業化應用,不僅為大模型的產業深度應用,也為打通數據要素流通的梗阻,提供新的思路。

a6d03b8b423e52e88b42cdc4e442464e.jpeg

無論是大模型的訓練還是推理應用,都存在數據瓶頸

當大模型從實驗室研究走向實際行業應用時,數據瓶頸問題成為了阻礙其進一步商用的重要障礙,這主要表現在大模型訓練和推理應用兩個階段:

大模型訓練階段,行業數據分散在不同機構,難以通過匯聚不同機構的行業數據構建高質量的行業大模型。

行業中的高質量數據通常分散在不同的機構和企業中,這種分散性使得數據難以集中用于大模型的訓練。以醫療行業為例,患者的診療信息分散在不同的醫院、診所和健康管理機構中。這些數據不僅分布廣泛,而且由于涉及患者隱私和醫院的商業機密,彼此之間的數據共享極其困難。金融行業也面臨類似問題,銀行、保險公司和金融科技企業各自掌握大量的金融知識和客戶數據,但由于商業和法律的限制,數據難以共享和整合。

大模型的性能高度依賴于訓練數據的質量和數量,缺乏足夠的高質量數據會導致模型無法充分學習行業中的細節和模式,進而影響其在實際應用中的表現。

大模型推理應用階段,大模型廠商與企業客戶之間的信任缺失問題難以解決。

除了數據分散問題,大模型廠商與企業客戶之間的信任問題也是一個重大障礙。一方面,大模型廠商在將其模型交付給企業客戶時,普遍擔心模型資產被客戶竊取。另一方面,企業客戶擔心大模型廠商會竊取或濫用他們提供的數據,導致商業機密和用戶隱私泄露。例如,某制造企業在使用大模型優化生產流程時,可能會提供大量的生產數據和商業信息。如果這些數據被不當使用或泄露,企業的競爭力和市場地位將受到嚴重影響。這種相互的不信任,形成了明顯的信任壁壘。

數據流通和應用的可信性問題,是大模型應用中另一個關鍵障礙。即使企業和機構愿意共享數據,也需要確保數據在流通過程中和應用中的隱私和安全。現有的數據流通機制和技術手段往往無法滿足這種高要求,導致數據要素在跨機構、跨行業流通時面臨諸多障礙。

密態計算,解決數據難題的那把鑰匙?

隨著大模型在各行業應用中的潛力逐漸顯現,解決數據流通和隱私保護的難題變得愈發迫切。傳統的隱私計算雖然在一定程度上緩解了數據安全問題,但其復雜性和效率問題限制了其廣泛應用。

8ad8da8064078c605f9b6553c3c33067.jpeg

隱私計算作為一種保護數據隱私的技術,已經在數據流通和共享中得到了一定的應用。然而,隱私計算技術路線眾多,在實際產業落地過程中存在“講不清”、“看不懂”、“不敢用”、“用不起”的問題。不同的隱私計算技術,如差分隱私、多方安全計算和聯邦學習,各有其優劣,但在實際應用中往往面臨性能瓶頸和復雜性問題,難以滿足大規模商業應用的需求。

密態計算為代表的新興隱私計算的技術,是指在整個計算過程中,數據始終處于加密狀態,以確保數據安全和隱私。密態計算在傳統隱私計算的基礎上進行了演進和升級,解決了隱私計算在規模化應用中的安全和效率問題:

軟硬件結合,實現高效的數據密態處理

通過可信執行環境(TEE)和多方安全計算(MPC)技術的結合,密態計算不僅可以實現全程保密的數據處理,還能滿足大規模數據流通過程中的高性能和低成本的要求。針對不同安全分組的數據,可以通過不同的組合方式設計不同安全等級的密態計算方案,滿足不同場景下安全性和效率的平衡。在提高計算效率和實現規模化商用方面更進一步,使得技術在各行業中的廣泛應用成為可能。

科技商業化加碼,螞蟻集團落子數據要素技術

在今年數字中國建設峰會上,螞蟻集團董事長兼CEO井賢棟透露螞蟻未來十年的科技戰略,聚焦人工智能和數據要素技術。

早在2016年,螞蟻集團就開始探索隱私計算技術,技術能力涵蓋了全棧可信技術、多方安全計算、聯邦學習、同態加密、差分隱私、機密計算等隱私計算全譜技術域。2022年,螞蟻首創的可信密態計算獲得數字中國建設峰會“十大硬核科技獎”, 隱語可信隱私計算技術棧被評為世界人工智能大會“八大鎮館之寶”之一。

推進數據要素技術的戰略,只有技術儲備是不夠的,還要打通技術和商業應用。只有構建一個良好的技術+商業的循環,才能實現良性、可持續的發展。今年5月31日,螞蟻集團成立了螞蟻密算科技有限公司,這釋放了一個關鍵信號——螞蟻集團在可信數據流通領域已經從內部技術探索,開始走向市場商業化。

在WAIC上,螞蟻密算推出了首款商業化產品——“隱語Cloud”平臺大模型密算服務,首批推出大模型密態托管和密態推理兩種服務。

c1b733840bef35828394719adbadeced.jpeg

隱語 Cloud 大模型密算平臺的原理和特色 資料來源:螞蟻集團

在大模型密態托管方面,模型提供方將大模型加密后托管在平臺上,通過先進的加密算法進行分段加密處理,確保模型在云端存儲過程中的安全。在大模型密態推理方面,用戶數據以加密形式進行處理,確保數據隱私和商業機密不被泄露。通過可信執行環境(TEE)等技術,保證數據在推理過程中的全程加密處理,并采用多層次的安全保障措施,包括內存加密、磁盤加密和可信執行環境,防止數據泄露和篡改。

為了提升大模型推理的效率,“隱語Cloud”平臺在可信執行環境下支持GPU計算,顯著提高加密狀態下的推理速度,使其接近明文狀態。

dfdecc57aa813d52618b8ff13ee47b74.jpeg

談到密算的未來發展,螞蟻集團副總裁兼首席技術安全官、螞蟻密算董事長韋韜說:“螞蟻集團篤定相信數據的價值,我們的業務也很依賴于數據。我們認為數據要素的流通將為全社會、全行業帶來巨大的變革,這個變革是非常深遠的。螞蟻密算的使命,是通過密算科技推動數據可信流通。”

用密態計算釋放數據要素價值,讓大模型真正規模化商用

展望未來,密態計算作為一種創新技術,將進一步提升計算效率和安全性,擴大應用范圍。在計算效率方面,隨著硬件技術的不斷進步,特別是GPU和其他專用加速器的發展,密態計算的性能將不斷提升。未來,密態計算有望通過更高效的硬件加速和優化算法,使加密狀態下的計算速度進一步接近明文狀態,在考慮了數據明文流通過程中的風險成本之后,以密態計算為核心的密態全鏈路的流通成本一定會低于明文計算流通成本。

某種程度上,密態計算技術的發展可以類比光伏產業的發展路徑。最初,光伏發電成本很高,僅限于高需求、高價值的行業應用。隨著技術進步和規模化應用,成本逐漸降低,最終達到與傳統能源發電成本相當的臨界點,從而實現大規模推廣應用,密態計算也將遵循類似的路徑。

正如韋韜分享的那樣:一方面,數據價值在不斷提升,而數據泄露帶來的成本也在同步提升。另一方面,通過一系列技術創新,密態計算的成本在逐步降低。最終,當數據泄露帶來的損失,超過密態計算帶來的成本,部署密態計算系統就變得有利可圖。屆時,我們將來到一個臨界點——數據處理的“光伏平價”時刻,這個時候,密態計算市場將迎來爆發式的增長。韋韜判斷,當整個全鏈路密態計算的成本降低到整個數據流通價值的5%,就到了實現規模化推廣的臨界點。

480a90267371045e060f701b09d8b502.jpeg

當然,無論是推動密態計算產業發展還是釋放數據要素價值,都還有大量的問題需要去解決。其中,有兩項工作尤為關鍵:

覆蓋數據要素全鏈條,構建一個完備的密態計算技術產品和服務生態。

數據要素生命周期,涵蓋數據采集、存儲、管理、治理、分析挖掘、流通、應用等多個環節,每個環節都需要成熟的技術產品去提供服務。密態計算也需要不斷豐富技術產品體系,來提供全鏈條的服務。就螞蟻集團而言,此次推出的“隱語Cloud”只是打前陣,相信后面還會陸續推出一系列的產品。而且,一花獨放不是春,百花齊放春滿園,為了更好釋放數據要素價值,將來有必要構建一個密態計算的服務生態體系,結合生態伙伴的力量,來更好滿足市場需求。

構建密態計算行業標準,降低實施過程中的技術難度和企業成本。

密態計算涉及多種技術路線和產品形態,為了推動數據要素流通和實現規模化推廣,必須制定統一的技術標準和安全分級方法。技術路線分級和產品分級有助于企業根據不同應用場景選擇合適的解決方案,從而提高效率、降低成本。標準化的技術框架可以為行業提供明確的指引,這不僅能夠確保技術在不同場景中的應用效果,還能降低企業在實施過程中的技術難度和成本。

挑戰很多,但應用前景可期。正如韋韜所說,無論是從數據還是算力角度,密態計算都有廣闊的應用前景。數據方面,數據密態是未來的必然趨勢,密算會成為數據可信流通的新算力。只有讓數據是密態方式流通的時候,才能發揮正向價值、控制負向風險;算力方面,算力將從智算走向密算,并且演變的速度及對中遠期的影響比我們今天想象大得多。接下來大規模數據流轉會發展為猶如“城市自來水網”的行業、區域間可信流通,形成“綜合水利工程”。未來,大模型產業及各種數據要素的應用場景,都能充分應用數據要素價值,實現跨行業、跨地域和跨云可信流轉和互聯互通。

文:月滿西樓?/?數據猿
責編:凝視深空?/?數據猿

326017aba972179c928574a17abde841.jpeg

5505ccf1d05b12054079d829550897dd.png

3ee2dff738c6e3b5a06519af0283dc92.png

cdc4b3dd918c698fbee638fedc5e332a.jpeg

e0c5908725cb56ea94da56199ab07936.png

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/44122.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/44122.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/44122.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

C#創建windows服務程序

步驟 1: 創建Windows服務項目 打開Visual Studio。選擇“創建新項目”。在項目類型中搜索“Windows Service”并選擇一個C#模板(如“Windows Service (.NET Framework)”),點擊下一步。輸入項目名稱、位置和其他選項,然后點擊“創…

Pyecharts繪制熱力圖的說明+代碼實戰

引言 熱力圖在數據可視化中是一種強大的工具,可以直觀地展示數據的分布情況和變化趨勢。Pyecharts是一個基于Echarts的Python可視化庫,提供了豐富的圖表類型,包括熱力圖。在本文中,我們將深入探討Pyecharts繪制多種炫酷熱力圖的參…

Qt 創建的窗口一閃而過【已解決】

Qt 創建的窗口一閃而過 引言一、詳細的解決方案 - 附代碼二、參考博文 引言 創建的窗口一閃而過,就是創建完立馬被銷毀了,常見情況是在一個函數中創建窗口并show() - 即創建在了棧上,函數結束局部變量(窗口)自動被釋放。主流的解決方法有兩種…

如何使用css把input框的number屬性的右側小按鈕去掉

在HTML中&#xff0c;當<input>元素的type屬性被設置為number時&#xff0c;瀏覽器通常會默認顯示一個小的上下箭頭按鈕&#xff08;通常位于輸入框的右側&#xff09;&#xff0c;用于允許用戶通過點擊增加或減少輸入的值。然而&#xff0c;有時候為了設計的一致性或其他…

C語言快速入門

Linux C 的編譯流程 C 編譯器 gcc GNUmsvc windowsclang 蘋果intel…cc 默認Linux c語言編譯器 程序設計語言分類 編譯型 C、C、java 把源代碼轉換成機械指令&#xff08;X86 電腦、ARM 手機&#xff09;編譯做了類型安全檢查&#xff0c;安全性能高靈活差 解釋型 Python、…

三生隨記——毛巾的詛咒

在一個沉悶的傍晚&#xff0c;李明拖著疲憊的身軀回到了家中。一整天的工作讓他精疲力竭&#xff0c;此刻他只想趕緊洗個熱水澡&#xff0c;然后躺在舒適的床上&#xff0c;好好放松一下。 走進浴室&#xff0c;他打開淋浴&#xff0c;溫暖的水流傾灑在身上&#xff0c;疲憊感…

Oracle 利用觸發器鎖住代碼防止他人改動

利用觸發器鎖住自己的代碼防止他人改動 create or replace trigger LockSourcebeforecreateon SCHEMA declare beginif SYS_CONTEXT(USERENV,OS_USER) 自己的機器名thenreturn;end if;if ora_dict_obj_name in (xxxx1_PACKAGE,xxxx2_PACKAGE)thenraise_application_error(-2…

每日刷題(二分查找,匈牙利算法,逆序對)

目錄 1.Sarumans Army 2.Catch That Cow 3.Drying 4.P3386 【模板】二分圖最大匹配 5. Swap Dilemma 1.Sarumans Army 3069 -- Sarumans Army (poj.org) 這道題就是要求我們在給的的位置放入 palantir&#xff0c;每個 palantir有R大小的射程范圍&#xff0c;要求求出最少…

生產訂單執行明細表二開增加字段

文章目錄 生產訂單執行明細表二開增加字段業務背景業務需求方案設計詳細設計和實現標準報表引入到應用標準報表和過濾擴展添加字段創建插件&#xff0c;掛載插件新建類庫 Krystal.K3.SCGL.App.Report&#xff0c;添加引用創建類&#xff0c;繼承報表原插件重寫BuilderReportSql…

【微服務】Spring Cloud中如何使用Eureka

文章目錄 強烈推薦引言主要功能Eureka 的架構使用示例Eureka Server 配置Eureka Client 配置示例服務服務發現調用示例 Spring Cloud如何實現服務的注冊?1. 搭建 Eureka 服務注冊中心2. 配置服務注冊到 Eureka3. 驗證服務注冊 總結應用場景1. 動態服務發現2. 負載均衡3. 服務治…

Android C++系列:Linux進程間關系

1. 終端 在UNIX系統中,用戶通過終端登錄系統后得到一個Shell進程,這個終端成為Shell進 程的控制終端(Controlling Terminal),在前面文章我們說過,控制終端是保存在PCB中的信 息,而我們知道fork會復制PCB中的信息,因此由Shell進程啟動的其它進程的控制終端也是 這個終端。…

OpenCV進行視頻分析(光流、目標跟蹤)----20240710

一、OpenCV進行光流分析 # 光流分析螞蟻軌跡 import numpy as np import cv2if __name__ == __main__:cap = cv2.VideoCapture(./pictures/ant.mp4)# ShiTomasi 角點檢測參數feature_params = dict(maxCorners=100

基于Java中的SSM框架實現水稻朔源信息系統項目【項目源碼】

基于Java中的SSM框架實現水稻朔源信息系統演示 SSM框架 SSM框架是基于Spring、SpringMVC以及Mybatis實現的針對JAVA WEB端應用的開發框架&#xff0c;通過SSM框架結構可以實現以上三種框架的優點集合&#xff0c;從而實現更加高效便捷的系統開發和呈現。該框架結構通過Spring框…

PolarisMesh源碼系列——服務如何注冊

前話 PolarisMesh&#xff08;北極星&#xff09;是騰訊開源的服務治理平臺&#xff0c;致力于解決分布式和微服務架構中的服務管理、流量管理、配置管理、故障容錯和可觀測性問題&#xff0c;針對不同的技術棧和環境提供服務治理的標準方案和最佳實踐。 PolarisMesh 官網&am…

main.cpp程序執行流程圖

當然&#xff0c;我會為你繪制一個程序執行流程圖&#xff0c;并用中文注釋來解釋 main.cpp 的代碼邏輯思想和執行流程。 程序執行流程圖 開始|V 初始化|V 打開攝像頭 (VideoCapture cap(0))|V 進入主循環 (while (true))|V 捕獲圖像 (cap >> srcImage)|V 圖像是否為空…

280個地級市金融集聚水平數據(2006-2022年)

2006年-2022年280個地級市金融集聚水平數據整理資源-CSDN文庫 金融集聚水平&#xff1a;衡量地級市金融發展的新維度 金融集聚水平是衡量一個地區金融發展程度的重要指標&#xff0c;它反映了金融機構、金融資源、金融服務在特定時間和空間的集中程度。這一指標的評估可以從多…

根據H在有限域GF(2^m)上求解生成矩陣G

原理 有時間再補充。 注1&#xff1a;使用高斯消去法。如果Py不為單位陣&#xff0c;則說明進行了列置換&#xff0c;此時G不是系統形式。 注2&#xff1a;校驗矩陣H必須是行滿秩才存在對應的生成矩陣G&#xff0c;且生成矩陣G通常不唯一。 matlab實現&#xff1a;只做列置…

視語坤川大模型智能體平臺亮相2024世界人工智能大會

7月4日-7月7日&#xff0c;以“以共商促共享以善治促善智”為主題的2024世界人工智能大會&#xff08;WAIC 2024&#xff09;在上海舉辦&#xff0c;世界頂級專家學者、知名企業代表、政界人士、高校組織等齊聚上海&#xff0c;共商發展、共話未來。 作為大會的重磅環節——昇…

Python面試題:編寫一個 Python 腳本來讀取 Excel 文件

要在 Python 中讀取 Excel 文件&#xff0c;可以使用 pandas 庫&#xff0c;這個庫提供了強大的數據處理和分析功能&#xff0c;并且支持讀取 Excel 文件。你還需要 openpyxl 庫來支持讀取 .xlsx 格式的 Excel 文件。以下是如何編寫一個腳本來讀取 Excel 文件的示例&#xff1a…

git 的cherry-pick選擇性提交

git cherry-pick 是 Git 中的一個非常有用的命令&#xff0c;它允許你將一個或多個特定的提交&#xff08;commit&#xff09;從一個分支應用到另一個分支上&#xff0c;而不是合并整個分支。 單個提交的 cherry-pick 假設你有一個 feature 分支&#xff0c;其中有一個提交&a…