7 月 26 日,人工智能標準化國際合作論壇在上海召開。該論壇由聯合國工業發展組織全球工業人工智能聯盟卓越中心主辦,中國電子技術標準化研究院、上海人工智能研究院承辦,工業和信息化部副部長單忠德、國家市場監督管理總局標準創新管理司司長肖寒、國際標準化組織主席曹誠煥(ISO President, Sung Hwan Cho)、國際電信聯盟電信標準化局副局長比萊爾·賈穆西(ITU Standardization Bureau, Deputy Director, Bilel Jamoussi)、歐洲標準化委員會及歐洲電工標準化委員會第21聯合技術委員會主席塞巴斯蒂安·哈勒斯萊本(CEN-CENELEC JTC21, Sebastian Hallensleben)、中國電子技術標準化研究院院長楊旭東、智源研究院副院長兼總工程師林詠華等嘉賓受邀發表主題演講。
在大會上,ISO國際標準主席曹誠煥介紹了人工智能國際標準化工作現狀及人工智能治理、安全等方面的未來發展趨勢,為未來標準推動人工智能安全、負責任、可信應用指出了方向和重點。ITU國際標準副局長Bilel Jamoussi肯定了中國組織在標準化活動中的貢獻及在創新應用上的成果,并展望了全球各國在未來人工智能標準化領域的合作前景。同時,代表歐盟Sebastian Hallensleben介紹了歐盟標準制定工作。
倡導全球開源與國際標準雙輪驅動
智源研究院一直致力于人工智能的全球開源合作,也積極參與國際標準的技術建設。林詠華表示,全球開源合作和國際標準可以形成雙輪驅動,促進人工智能普惠發展。
一方面,在大模型時代,開源合作非常重要。首先,由于大模型創新成本高昂,開源能讓更多企業基于開源技術進行 “迭代式” 創新,而非重復投入造輪子,節省時間和金錢;其次,單一組織已經無法單獨產生大模型開發所需要的全部重要資源,例如海量訓練數據、全面的基準測試(體系),這些資源都需要依靠開源社區的合作來獲取;最后,統一且協作的開源技術生態對于各類底層創新(如人工智能中的各種硬件系統)的成功將非常重要 。因此,通過開源實現資源共享,達成全球協作,是實現創新的重要途徑。
另一方面,通過制定國際標準達成全球技術共識,可以促進系統互通、資源共享,降低接口、格式不一致的情況,從而減少各種N*M的復雜適配,同時推動產業在共同的“語境”下進行評估和對比,助力全球AI生態建設。
智源研究院在Open Data、Open Model以及OpenCompute方面踐行以上的開源和標準的雙輪驅動工作。以下為兩個例子。
ITU-T國際標準立項草案:FlagCX統一通信庫助力跨芯互聯互通
在Open Compute方面,割裂的軟件生態已經成為了不同AI芯片大范圍落地產業的重要障礙,因此,智源研究院聯合生態合作伙伴聯合開發了面向多種AI芯片的開源、統一系統軟件棧FlagOS。其中,面向多種AI芯片的開源統一通信庫FlagCX是FlagOS的重要組成部分,主要是用來解決各個AI芯片廠商的通信庫各異的問題,具體表現為以下四個方面:
(1)不同廠商的通信庫各異,導致針對通信算法的實現與優化不具備通用性和自適應性;
(2)不同芯片通信庫缺乏統一接口和協議,導致跨芯高速互聯開發和優化難度大,難以實現算力高效聚合;
(3)大模型訓練與推理創新技術顯著提高對通信靈活性,稀疏性與動態性要求,現有通信庫難以滿足;
(4)現有通信庫難以滿足多智能體通信以及端云協同計算場景要求通信系統所具備的高擴展性,低時延,可靠性等功能。
為了解決上述問題,智源研究院在2024年12月開源了FlagCX統一通信庫的首個版本實現,基于該開源項目,吸引了多家芯片廠商、及軟件團隊的適配、代碼貢獻、和性能驗證。
得益于開源項目的積淀,智源研究院得以聯合通信庫生態鏈上下游芯片廠商、框架廠商、服務器廠商以及運營商等,在中國電子技術標準化研究院的指導下,聯合共建國內標準《人工智能統一通信庫接口規范》,在此基礎上積極推動國際標準ITU-T《面向分布式多媒體人工智能系統的跨平臺統一通信庫要求與框架》的立項工作。
目前,該標準已獲得中國信通院、中國電子技術標準化研究院、華為、百度、中國科學院計算技術研究所、中國電信、國家電網有限公司、中國聯通、中國移動、浪潮等眾多機構的支持。
上述國內及國際標準將進一步促進全球行業內統一通信庫支持跨芯片通信互聯,實現異構系統高效協作;對通信算法進行自適應優化,提升整體系統通信性能;降低新硬件和通信協議的集成與適配成本;支持靈活動態的通信模式,滿足現代AI工作負載的多樣化需求等關鍵能力的發展。
IEEE P3419標準:FlagEval 大模型評測丈量模型能力邊界
大模型評測對評估大模型訓練/微調過程中的各種技術貢獻、對多個模型之間進行公平對比、并對技術領域總體進展進行可量化跟蹤都十分重要。為此,智源研究院在2023年牽頭了IEEE P3419《大語言模型評測》國際標準的建設。
IEEE P3419國際標準構建了三維評測框架,包含基礎能力、高級能力和安全能力3個一級維度,下設13個二級維度和39個三級維度。標準內容涵蓋評測數據集的構建原則(包括單條評測數據的構建原則、評測數據集的構建原則及組成)、評測指標(準確性、效率、可信度等)以及評測過程(包括評測目標的定義、推理環境和執行配置以及評分機制和結果判定等)。
依托 IEEE P3419 標準,智源研究院攜手多家合作伙伴,成功構建起以 FlagEval 為核心的多元化開源大模型評測工具及開放平臺矩陣。FlagEval 平臺及HuggingFace平臺發布了多領域、多維度、多語言、多形式的leaderboard ,累計完成900+個主流大模型評測,為行業提供有益參考。
目前,該標準已獲得中國科學技術大學、鵬城實驗室、中國移動、中國信通院、百度、聯想、騰訊、Intel、中國南方電網、中國電信、國家電網有限公司、中國聯通、浪潮等眾多機構的支持。
基于以 FlagEval 為核心的開源大模型評測工具和開放平臺,為制定大模型評估標準提供全面、客觀的依據,從而推動大模型評測體系的完善與發展,助力大模型技術在各領域的創新應用與持續進步。
智源研究院在統一通信庫與大模型評測兩大技術領域,積極推進開源合作與國際標準建設,通過全球開源促進技術共享,通過國際標準凝聚共識、實現互通。以雙輪驅動,進一步降低人工智能的使用和創新門檻,加速新技術的產業落地,助力人工智能普惠化發展。