XSKY CTO 在英特爾存儲技術峰會的演講:LLM 存儲,架構至關重要

5 月 17 日,英特爾存儲技術峰會在北京順利舉辦。作為英特爾長期的合作伙伴,星辰天合受邀參加了此次峰會。星辰天合 CTO 王豪邁作為特邀嘉賓之一,作了主題為《LLM 存儲:架構至關重要》的演講,分享了大語言模型(LLM)對存儲的需求以及現有存儲架構的局限與挑戰,與來自阿里云、英特爾等公司的諸位業界專家共同探討了人工智能時代存儲系統的發展愿景與技術趨勢。


5bd4212ff29d54d5eb9b0a39963420f2.jpeg

人工智能時代的存儲系統技術趨勢

大模型時代企業競爭的核心要素就是數據,在數據處理和流通的過程中,數據存儲是不可或缺的重要一環,而高效可靠的存儲系統將成為人工智能的重要底座。

此次英特爾存儲技術峰會,英特爾邀請了業界合作伙伴、專家等深度探討了人工智能時代存儲系統的發展愿景和技術趨勢,包括如何發揮高性能存儲介質的性能、如何利用新一代互聯技術重構存儲系統、如何進行下一代存儲軟件系統創新等等,旨在通過多方協作,為客戶構建擁有極致性能、安全可靠、高可擴展性和高能效的新一代存儲系統。


XSKY 主題演講:LLM 存儲,架構至關重要 

在 XSKY 主題演講環節,XSKY CTO 王豪邁首先介紹了 CPU 和 GPU 在處理大規模 AI 應用中的不同表現。CPU 內存系統優化了低延遲和深度緩存層次結構,適合處理延遲敏感的代碼,例如鏈表操作。相比之下,GPU 內存系統則優化了高吞吐量和高帶寬緩存,更適合數據和數學密集型代碼,例如向量歸約。為此,高帶寬存儲(HBM)成為解決存儲瓶頸的關鍵技術之一,它能夠顯著提升存儲系統的性能,從而滿足未來高性能計算和 AI 應用的需求。

王豪邁指出,HBM 是存儲轉型的驅動力。在大模型訓練中,存儲系統需要處理的大量數據寫入,這使得存儲寫帶寬成為決定性能競爭力的關鍵因素。特別是在多模態場景中,大量小文件的處理對底層存儲性能是一個重大挑戰。

c8e20399a5eda385d5f2c5ba638e3c84.jpeg

現有的傳統 NAS 存儲架構以及并行文件系統架構,都有對應優勢和適應場景,但是都存在一些架構的限制,使得在一些問題上應對困難,比如在大語言模型的場景下,前者會遭遇寫放大的嚴酷挑戰,而后者在應對多模態場景中的海量小文件時,可能會碰到性能不足的問題。

d763af9fd90ef23a2101300a6cd0fe08.jpeg

王豪邁表示,星辰天合最新發布的 XSEA(eXtreme Shared-Everything Architecture,極速全共享架構)將是應對大語言模型存儲需求的理想架構,它由于采用了全共享架構,因此在針對慢盤、亞健康網絡問題時,能在 100 毫秒內快速切換,以保證系統的穩定運行;由于采用了單層 SSD 架構,可以借助 QAT 加速數據壓縮/解壓縮的強大能力,采用大規模的 EC+壓縮,從而實現 100%的存儲空間利用率;也由于采用了端到端的 NVME,因此能夠實現 100 微秒的低延遲。

41851c2677bda6962a42cfa7abf0bbaf.jpeg

此外,基于 XSEA、針對大語言模型存儲需求,在即將發布的新產品中,星辰天合將會通過全局 EC 和數據壓縮技術,實現寫放大的 100%降低,提升存儲效率

XSKY 在存儲架構上的這些關鍵技術創新,不僅減少了寫放大效應,還顯著提高了存儲帶寬利用率和整體性能,可以更好應對大語言模型對底層存儲的挑戰。

展望未來,王豪邁表示,隨著 AI 技術的發展,存儲系統需要處理的數據量和復雜度將不斷增加,優化存儲帶寬和改進存儲技術是應對這些需求的關鍵,XSKY 將繼續致力于存儲技術的研發,通過架構創新和不斷的技術迭代和優化,為客戶提供更高效、更可靠的存儲解決方案。

他特別強調了 HBM 技術在這一過程中的核心作用。通過優化 HBM 技術,可以大幅提升存儲系統的性能,以應對未來高性能計算和 AI 應用的需求。他認為,只有通過持續的技術創新和架構優化,才能在快速發展的 AI 和大數據時代保持競爭優勢。


聯手英特爾 持續推動存儲架構創新

作為領先的專業軟件定義存儲企業,星辰天合致力于與芯片、操作系統、數據庫、人工智能等上下游企業合作,以持續推動存儲架構的創新。 作為英特爾的長期合作伙伴,星辰天合始終緊跟英特爾的技術發展進行創新和研發。在星辰天合最近發布的新一代全閃分布式存儲系統 星飛 XINFINI  9000 中,就采用了英特爾 QAT 加速數據壓縮/解壓縮,從而大幅度提升存儲系統性能,在降低了高吞吐環境下的讀寫時延的同時,也減少了存儲軟件棧中各進程的資源爭用以及相互間的影響。 借助英特爾存儲技術峰會這樣的技術交流平臺,星辰天合將會與英特爾以及更多合作伙伴,圍繞人工智能、大語言模型等新生應用的存儲需求,基于當前及未來的英特爾至強可擴展處理器的能力,進行進一步探索, 通過創新的軟硬件組合進一步發揮分布式全閃存儲的性能潛力,支撐共同的客戶從數據中獲得更多、更富價值的洞察  

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/17003.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/17003.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/17003.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

2024年中國金融行業網絡安全案例集

隨著科技的飛速發展,金融行業與信息技術的融合日益加深,網絡安全已成為金融行業發展的生命線。金融行業作為國家經濟的核心支柱,正在面臨著日益復雜嚴峻的網絡安全挑戰。因此,深入研究和探討金融行業的網絡安全問題,不僅關乎金融行業的穩健運…

Jtti:如何在Linux服務器上查看系統日志?

在美國的Linux服務器上查看系統日志是系統管理員常見的任務之一。系統日志可以幫助你診斷和解決服務器上的問題。以下是如何在Linux服務器上查看系統日志的詳細教程: 1. 連接到服務器 首先,通過SSH連接到你的Linux服務器。如果你在本地終端使用SSH&#…

MIPI豎屏解決方案,普立晶POL8901升級POL8903 兩PORT LVDS橋接到MIPI,加旋轉

POL8903描述: 系統: ?采用高性能MIPS 32位CPU內核; ?高性能DSP內核圖像處理單元; ?16 KB指令Cache;16 KB數據Cache; ?96 KB SRAM;內置DDR 3控制器; LVDS輸入: …

Python代碼:十七、生成列表

1、題目 描述: 一串連續的數據用什么記錄最合適,牛牛認為在Python中非列表(list)莫屬了。現輸入牛牛朋友們的名字,請使用list函數與split函數將它們封裝成列表,再整個輸出列表。 輸入描述: …

取代或轉型?人工智能對軟件測試的影響(內附工具推薦)

在當今快速發展的數字環境中,從移動App到基于Web的平臺,軟件已成為我們日常生活和工作不可或缺的一部分。然而,隨著軟件系統變得越來越復雜,如何確保其質量和可靠性已成為開發人員和測試人員所面臨的一大重要挑戰。 這就是軟件測…

從0開始學統計

1.什么是統計學?統計學主要研究哪些問題? 統計學是一門科學,主要研究數據的收集、分析、解釋和呈現方法。它涉及收集數據的方法,如調查和實驗設計,以及通過數學和計算方法來分析和解釋數據的過程。統計學的主要目標是…

(九)Python3 接口自動化測試,Jenkins調度執行

(九)Python3 接口自動化測試,Jenkins調度執行 Jenkins配置在遠程服務器上執行Shell來運行Python(通過SSH免密方式執行) 說明:Jenkins部署在ServerA:10.1.1.74上,要運行的程序在ServerB:10.1.1.196 分兩步 第一步:Linux Centos7配置SSH免密登錄 Linux Centos7配置SSH…

長沙客戶忠誠度調查

本文由群狼調研(長沙員工滿意度調查)出品,歡迎轉載,請注明出處。員工滿意度調查是衡量員工對公司或組織的工作環境、待遇、領導力和管理的滿意程度的一種方法。這項調查對于組織和公司非常重要,因為它可以提供有關員工…

Autoware 軟件功能(二)

Tip: 如果你在進行深度學習、自動駕駛、模型推理、微調或AI繪畫出圖等任務,并且需要GPU資源,可以考慮使用Compshare的GPU算力云平臺。他們提供高性價比的4090 GPU,按時收費每卡2.6元,月卡只需要1.7元每小時,并附帶200G…

【好物推薦】給大家安利一個靜態網站生成器框架搜集

你一定好奇很多文檔網站是用什么框架寫的,或者你聽說過 vue press,Git Book,其實這類優秀的網站很多,有個網站統計了所有框架的熱度,大家有興趣的可以去看看。 傳送門:https://jamstack.org/generators/ 比…

UE5 使用外置攝像頭進行拍照并保存到本地

連接外置攝像頭功能:https://docs.unrealengine.com/4.27/zh-CN/WorkingWithMedia/IntegratingMedia/MediaFramework/HowTo/UsingWebCams/ 核心功能:UE4 相機拍照功能(圖片保存)_ue 移動端保存圖片-CSDN博客 思路是: …

萬博智云×華為云 | HyperBDR云容災上架,開啟聯營聯運新篇章

日前,萬博智云HyperBDR云容災正式入駐華為云云商店,成為華為云基礎軟件領域聯營聯運合作伙伴。通過聯營聯運,雙方將進一步加深在產品、解決方案、渠道拓展等多方面的強強聯合,為企業提供更加安全、高效的數據保護解決方案&#xf…

vue-table的使用,解決懶加載展開列,數據量過大,造成的卡頓問題

場景 有需求,使用懶加載的展開列,當加載的數據量過大,如大于1000條以上,瀏覽器可能卡死掛了 分析 大量的dom的渲染繪制,導致了瀏覽器處理不過來 解決 虛擬列表 vue-table 虛擬列表的使用 vue-table官網 <vxe-table border resizable height="100%" r…

重量and體積,不要在傻傻的花冤枉錢寄快遞了!

寄快遞時有沒有遇到過明明不重卻被按體積收費的情況&#xff1f;別急&#xff0c;今天就來給大家揭秘快遞收費的奧秘&#xff01; 實際重量和體積重量&#xff01; 首先&#xff0c;我們要明白兩個概念&#xff1a;實際重量和體積重量。實際重量就是你看到的物品重量&#xf…

JVM為什么要進行分代呢?

Java 虛擬機&#xff08;JVM&#xff09;的內存管理是 Java 性能優化的核心部分&#xff0c;而分代思想&#xff08;Generational Garbage Collection&#xff09;是其關鍵機制之一。理解 JVM 的分代思想對于優化 Java 應用的性能、減少垃圾收集的停頓時間至關重要。本文將詳細…

angr使用學習(持續更新)

首先我是直接在kali中安裝的&#xff0c;也是邊練邊學的。 嗯&#xff0c;要在純凈python環境&#xff0c;所以是在 virtualenv 虛擬環境里&#xff0c;也不是特別會用這個&#xff0c;按照教程一步步做的 source venv/bin/activate 進入了對應環境 退出是 deactivate en,ipy…

DataGrip軟件執行已將創建好的sql文件步驟

一、在需要導入sql文件上右擊找到SQLScript &#xff0c;然后點擊 Run SQL Script 二、找到sql文件&#xff0c;點擊OK就可以了

Day01-01-git

Day01-01-git Content List0. 運維發展過程1. ci-cd-co基礎1.1 軟件的生命周期1&#xff09;軟件的聲明周期&#xff1a;軟件從0-->1-->0過程2&#xff09;ci/cd3&#xff09;Devops4) 小結 1.2 什么是環境1.3 什么是代碼部署1.4 代碼發布方式 3. DevSecOpt之Git極速入門…

海外專線網絡的定義和發展

近年來&#xff0c;隨著全球經濟的快速增長和國際貿易的不斷擴展&#xff0c;海外專線網絡已經成為企業在國際交流和合作中不可或缺的工具。所謂海外專線網絡&#xff0c;是指一種連接國際網絡的專用線路&#xff0c;它能提供更穩定、更快速的網絡連接&#xff0c;確保用戶之間…