跨芯片 AI 算子庫 FlagGems 正式加入PyTorch 基金會生態項目體系

2025年北京智源大會 · PyTorch Day China 論壇上,PyTorch 基金會執行董事 Matt White 宣布高性能通用 AI 算子庫 FlagGems 項目獲得批準,正式加入 PyTorch 生態項目體系。Pytorch基金會于6月26日在推特上進行了官方宣布。

作為唯一支持多種AI芯片架構的算子庫,FlagGems 的加入加速了 PyTorch 實現“在多種芯片架構上無憂部署大模型”的技術創新。同時,這一進展也彰顯了智源研究院主導開發的 FlagGems 對全球開源 AI 的重要價值——為開發者利用各種AI加速硬件提供便捷支持,加快在多種芯片的人工智能算法創新和產業落地。

PyTorch Ecosystem 由科研人員、應用開發者以及機器學習工程師共同打造,是全球機器學習和深度學習領域的重要生態系統。該生態系統匯聚了一系列能夠擴展、集成或構建于 PyTorch 之上的創新型開源 AI 項目,旨在提供一個動態、靈活且強大的開發環境。

PyTorch 基金會對 PyTorch Ecosystem 項目的遴選有著十分嚴格的要求,只有對 AI 開源社區具有重要價值、在社區中具有公認的技術口碑的開源項目,才能進入其評估和項目申報。PyTorch技術委員會投票決定哪些項目能成為Pytorch Ecosystem生態項目體系。Pytorch Ecosystem體系中的開源項目作為Pytorch這一深度學習框架項目的重要補充,一同為全球社區提供各種AI開發的重要工具。

擴展 PyTorch 能力,FlagGems 帶來「跨芯無憂」的模型部署解決方案

FlagGems 是由智源研究院聯合多家機構共同研發的 Triton 高性能通用算子庫,算子貢獻單位包括中科加禾、摩爾線程、硅基流動、先進編譯實驗室等,通過提供一套內核函數,加速大語言模型的訓練和推理過程。通過在 PyTorch 的 ATen 后端進行注冊,FlagGems 讓用戶無需修改模型代碼即可切換到 Triton 函數庫。歷時一年多的打造,FlagGems 已經成為全球支持芯片種類最多、數量最大的(超過 180 個)Triton 語言算子庫。

當前 AI 芯片市場呈現多種技術路線并行、多種產品形態共存的現象,為解決用戶“一次編寫、處處編譯、處處執行”的難題,FlagGems 重點在以下方面做技術攻關。

  • 性能表現:平均性能超過各個芯片廠商的原生算子性能,比 PyTorch ATen 的CUDA算子庫平均提速 30%

  • 可插拔式設計:無感注冊到 PyTorch 的 ATen 后端

  • 算子規模:全球支持芯片種類最多、數量最大的 Triton 算子庫,總數超 180+

  • 模型驗證:在 DeepSeek 和 Qwen 重點模型上的訓推落地驗證中,FlagGems 均有不俗的表現。

整體而言,作為連接橋梁,FlagGems 加入 PyTorch 生態系統,能夠搭建起 PyTorch 框架和硬件架構之間的互通。用戶無需在代碼中逐個替換算子,就能在 eager 模式下隱式地廣泛使用 Triton 操作符。FlagGems 提供的統一代碼算子庫,幫助 PyTorch 適配多個芯片硬件后端生態,降低算法在不同硬件平臺之間的遷移難度。

FlagGems 在主流大模型 DeepSeek 和 Qwen 的推理與訓練驗證中,均能穩定支持上層算法。多種不同 AI 平臺上,FlagGems 也完成了在 NVIDIA、Cambricon、MooreThreads、TsingMicro、Ascend 等多種芯片架構的后端支持。

FlagOS技術生態推動多團隊針對FlagGems開源合作,共創創新

為了推動FlagGems的發展,FlagOS 社群已經成功舉辦了數十場社區活動,包括 AI 高校公益行、Triton 生態活動、技術meetup、tech tutorial等,覆蓋開發者人群15000+,匯聚 160+ 社區貢獻者共建高性能統一AI 算子庫,展現了FlagGems項目強大的生態張力。

FlagGems 是面向多芯片的統一開源 AI 系統軟件棧 FlagOS 的重要組成部分。FlagGems 連同多后端統一 AI 編譯器 FlagTree、并行訓推一體框架 FlagScale 和統一通信庫 FlagCX 等開源核心庫,以及大模型自動遷移部署平臺 FlagRelease、大模型評測平臺 FlagPerf 等開源工具,共同構建起一個面向多種 AI 芯片的開源、統一系統軟件生態。

FlagGems 與 PyTorch 社區的深度融合,豐富了 PyTorch Ecosystem 的多樣性和實用性,也是 FlagOS 系統軟件生態與更多成熟生態合作的良好開端。這將對 AI 技術的發展和應用創新貢獻出更多、更有用的技術組件,讓開發者享受到統一、開源開放系統軟件帶來的便利;方便多種主流大模型在不同 AI 芯片上極速部署,推動不同架構 AI 硬件系統的規模化落地,打破生態壁壘。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/87105.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/87105.shtml
英文地址,請注明出處:http://en.pswp.cn/web/87105.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

vue + vue-router寫登陸驗證的同步方法和異步方法,及頁面組件的分離和后端代碼

先寫一個用vue cdn寫一個登陸驗證的小示例后端代碼 前端719.html <div id"app"><div id"loginForm">//路由層&#xff0c;登陸頁和后臺主頁<router-link to"/">Login</router-link><router-link to"/home&quo…

.netcore 一個mvc到靜態html實現

一、新建Mvc項目 Program.cs添加攔截 二、添加一個集成測試 將頁面轉為html到wwwroot下面 UnitGenHtml.cs using Microsoft.AspNetCore.Hosting; using Microsoft.AspNetCore.Mvc.Testing; using Microsoft.VisualStudio.TestPlatform.TestHost;namespace SaaS.OfficialWeb…

實現Taro小程序+nut-ui左滑刪除效果

Taro小程序開發中&#xff0c;使用nut-ui組件&#xff0c;實現左滑刪除卡片效果&#xff08;自定義刪除按鈕樣式&#xff09; html代碼部分 <nut-swipe class"carBox" v-for"(item, index) in carList" :key"item" :ref"(el) > se…

LLM 系列(五):模型訓練篇

一個面向 Java 開發者的 Sring-Ai 示例工程項目&#xff0c;該項目是一個 Spring AI 快速入門的樣例工程項目&#xff0c;旨在通過一些小的案例展示 Spring AI 框架的核心功能和使用方法。 項目采用模塊化設計&#xff0c;每個模塊都專注于特定的功能領域&#xff0c;便于學習和…

Oracle LogMiner分析日志的三種方法示例

Oracle LogMiner分析日志的三種方法示例 方法一:Online Catalog作為日志挖掘字典自動獲取日志模式手動獲取日志模式方法二:Redo Log作為日志挖掘字典自動獲取日志模式手動獲取日志模式方法三:Flat File作為日志挖掘字典自動獲取日志模式手動獲取日志模式?? Oracle LogMine…

Java 中 List.stream() 的全面使用指南(含完整示例)

標簽&#xff1a;Java8, Stream API, 函數式編程, 集合操作 一、前言 隨著 Java 8 的推出&#xff0c;Stream API 成為了處理集合數據的一種高效方式。List.stream() 是 Java Stream API 的入口方法之一&#xff0c;它允許開發者將集合轉換為流&#xff0c;并通過鏈式調用實現…

香港 8C 站群服務器買來可以做哪些業務?

香港8C站群服務器&#xff08;即提供8個不同C段IP地址的服務器&#xff09;憑借多IP獨立分配、低延遲網絡及免備案優勢&#xff0c;適用于以下關鍵業務場景&#xff1a; 一、SEO優化與搜索引擎運營 SEO站群搭建&#xff1a;為 80-100 個網站分配 8 個不同 C 段 IP &#xff0…

UI前端與數字孿生融合新趨勢:智慧醫療的可視化診斷輔助

hello寶子們...我們是艾斯視覺擅長ui設計、前端開發、數字孿生、大數據、三維建模、三維動畫10年經驗!希望我的分享能幫助到您!如需幫助可以評論關注私信我們一起探討!致敬感謝感恩! 一、引言&#xff1a;數字孿生重塑智慧醫療診斷范式 在醫療數字化轉型的浪潮中&#xff0c;數…

OpenBayes 一周速覽丨Nanonets-OCR-s深度語義理解,精準結構化轉換;HLE人類問題推理基準上線,含2.5k題目,助力封閉式評估體系構建

公共資源速遞 5 個公共數據集&#xff1a; * Brain Tumor 腦腫瘤數據集 * HLE 人類問題推理基準數據集 * OpenThoughts3-1.2M 推理數據集 * Nemotron-Personas 人物角色數據集 * OpenMathReasoning 數學推理數據集 14 個公共教程&#xff1a; 音頻生成 * 2 視頻生成 *…

ABB CH-3185 3 bhl 000986 p 1006 ab ability 800 xa自動化系統

安全性總結(續) 操作環境 在AC 800M控制器系統上線之前&#xff0c;調查哪些環境條件適用。請特別注意以下幾點: 控制器不得暴露在超過相關技術規范中給定值的條件下。 控制器不得在暴露于強電氣干擾的環境中使用。電機可能產生超過設備允許水平的干擾&#xff0c;例如在維…

【算法】動態規劃 斐波那契類型:1137. 第 N 個泰波那契數

1137. 第 N 個泰波那契數 簡單 相關標簽 premium lock icon 相關企業 提示 泰波那契序列 Tn 定義如下&#xff1a; T0 0, T1 1, T2 1, 且在 n > 0 的條件下 Tn3 Tn Tn1 Tn2 給你整數 n&#xff0c;請返回第 n 個泰波那契數 Tn 的值。 示例 1&#xff1a; 輸入&am…

圖像編輯新變革 !ComfyUI-Kontext-fp8本地部署教程,120B參數對標閉源巨頭

一、介紹 ComfyUI 是一個強大的、模塊化的 Stable Diffusion 界面與后端項目。該用戶界面將允許用戶使用基于圖形/節點/流程圖的界面設計和執行高級穩定的擴散管道。 關于 FLUX.1 Kontext Dev FLUX.1 Kontext 是 Black Forest Labs 最新推出的突破性多模態圖像編輯模型&#…

軟件安裝——下載安裝ollama

一、下載&#xff08;模型管理工具&#xff09;&#xff1a; 下載地址&#xff1a;Ollama 二、自定義安裝&#xff1a; 1.令行安裝方式如下&#xff1a; 在OllamaSetup.exe所在目錄打開cmd命令行&#xff0c;然后命令如下&#xff1a; OllamaSetup.exe /DIRE:\AllEdit\Ai…

springboot集成mqtt收發消息

在 Spring Boot 中使用 MQTT 可以通過集成 Eclipse Paho 或 HiveMQ 等客戶端庫實現。以下是完整的整合步驟&#xff0c;包括配置、發布和訂閱消息的示例。 1. 添加 MQTT 依賴 在 pom.xml 中添加 Paho MQTT 客戶端依賴&#xff1a; <dependency><groupId>org.spri…

Java 編程之備忘錄模式

前言 有時候&#xff0c;我們真希望人生能有“CtrlZ”。在日常生活中&#xff0c;我們經常使用“撤銷”功能&#xff0c;例如在寫 Word、畫圖、寫代碼時一不小心操作失誤&#xff0c;就希望能回到之前的狀態。這種**“狀態快照 恢復”**機制&#xff0c;在設計模式中就叫做&a…

yolov13+bytetrack的目標跟蹤實現

目錄 1. 介紹 2. 相關工作 (Related Works) 3. 方法 (Method) 4. 統計和結果 5. 技術實現 ByteTrack: Multi-Object Tracking by Associating Every Detection Box 1. Motivation 2. BYTE 3. ByteTrack 具體代碼 UI界面設計 歷史記錄 完整代碼實現UI界面 1. 介紹 …

GO類型轉換與斷言面試題及參考答案

Go 中類型轉換與類型斷言的區別是什么? 在Go語言里,類型轉換和類型斷言是兩個不同的概念,它們在應用場景、語法格式以及底層實現上都存在明顯差異。 類型轉換主要用于將一種數據類型轉變為另一種數據類型,一般適用于基本數據類型之間的轉換,像整數與浮點數、字符串與字節…

【力扣 中等 C】79. 單詞搜索

目錄 題目 解法一&#xff1a;回溯 題目 解法一&#xff1a;回溯 void swap(char* a, char* b) {char tmp *a;*a *b;*b tmp; }void reverse(char* str) {int start 0, end strlen(str) - 1;while (start < end) {swap(&str[start], &str[end--]);} }bool se…

【數據標注師】分類標注

目錄 一、 **分類標注的認知底層邏輯**1. **三大核心挑戰2. **四維評估標準** 二、 **五階成長體系**? **階段1&#xff1a;分類體系深度內化&#xff08;2-4周&#xff09;**? **階段2&#xff1a;標注決策流程固化**? **階段3&#xff1a;場景化標注策略**? **階段4&…

大數據時代UI前端的智能化轉型策略:以用戶為中心的設計思維

hello寶子們...我們是艾斯視覺擅長ui設計、前端開發、數字孿生、大數據、三維建模、三維動畫10年經驗!希望我的分享能幫助到您!如需幫助可以評論關注私信我們一起探討!致敬感謝感恩! 一、引言&#xff1a;大數據驅動的 UI 前端變革浪潮 在數字化體驗競爭白熱化的今天&#xff…