一文讀懂AI時代GPU的內存新寵-HBM

ba2c196b746acc3646b58a1605dbd6bc.jpeg 

一文讀懂GPU最強輔助:HBM

   

HBM,即高帶寬內存,是一項領先的3D堆疊DRAM技術,專為高性能計算和圖形處理單元(GPU)設計,滿足其對內存帶寬和容量的極致需求。該技術由AMD與海力士攜手研發,并于2013年問世,為行業帶來革命性突破。

42bbb5d059699ebe54ad991647ed60d6.jpeg

隨著計算需求的不斷增長,傳統的內存技術已經難以滿足高性能計算(HPC)和圖形處理單元(GPU)對內存帶寬和容量的日益增長的需求。在這樣的背景下,高帶寬內存(HBM)技術應運而生,為解決這一問題提供了創新性的解決方案。
f6d8d28c624ee8fc3b0c00f908278f71.jpegHBM是一種3D堆疊DRAM技術,它通過將多個DRAM芯片層疊在一起,并使用高密度的硅通孔(TSV)和微凸點(microbumps)技術,實現與處理器或GPU的垂直互連。這種設計大幅提高了內存的帶寬和容量,同時減小了內存模塊的物理尺寸。與傳統的GDDR5內存相比,HBM由于其緊湊的設計和高效的數據傳輸,通常具有更低的功耗。

99d5c73564ea4d632d76da766d898757.jpeg

HBM產品系列已進化至第五代HBM3E,作為HBM3的擴展版,持續引領技術前沿。GPU現普遍支持2至8顆堆疊,最大堆疊層數達12層,展現了卓越的集成與性能優勢。

4d25013fd9e0d728f1b13e9134121c4b.jpeg

美光科技于2月26日宣布批量生產HBM3E高帶寬內存,其24GB 8H產品將供貨給英偉達,并用于H200 Tensor Core GPU。這款內存擁有24GB大容量,引腳速度突破9.2Gb/s,提供高達1.2TB/s的內存帶寬,為AI加速器、超級計算機等數據應用帶來前所未有的閃電速度。美光HBM3E,引領內存技術新篇章。

0e11f03d5771b4a37964143b74daefbe.jpeg

英偉達H200 GPU搭載6顆美光HBM3E 24GB高速顯存,理論上內存容量應為144GB,帶寬達7.2TB/s。然而,量產考量下,英偉達官網顯示其顯存為141GB,帶寬為4.8TB/s。這一調整旨在通過保留冗余空間,提升產品良品率,確保用戶獲得穩定高效的AI訓練體驗。

390044eb91a8d586cf5a5f3e92638b75.jpeg

HBM 不斷迭代,迭代方向為增加容量和帶寬,目前最高層數為12層。海力士 2014 年推出全世界第一顆 HBM,2018 年推出 HBM2,后續每隔兩年推出新一代HBM,目前最新量產的是HBM3e,原廠加速研發,HBM4 可能采用16層堆 疊。從 I/O 數量看(總線位寬),HBM1到HBM3e均保持在1024bit, 而數據的傳輸速率從HBM1的1Gb/s 提升到 HBM3e的9.2Gb/s,最終實現帶寬從HBM1的128GB/s 提升至 HBM3e的1.2TB/s。

HBM4的標準目前未確定,目前普遍預期HBM4最高16層堆疊,2048bit總線位寬。

d33289ad799d61fafb67ed05542936c1.jpeg

HBM市場主要由三大存儲巨頭所主導:

SK海力士,HBM技術的領軍者,從早期開發到技術迭代如HBM2、HBM2E至HBM3,均保持領先地位。其卓越的創新和量產能力,使其成為偉達AI芯片HBM的首選供應商,市場份額遙遙領先,彰顯技術實力與行業地位。

6f90dd0006783fc59649aff6d5df9e3d.jpeg

三星電子:三星電子是全球領先的半導體公司之一,在HBM技術方面也具有強大的研發和生產能力。三星電子不僅在HBM的研發上投入巨大,還積極擴大產能以滿足市場需求。三星電子在HBM技術上的進展,包括開發更高密度和更大容量的產品,對提升其在高性能計算和AI領域的競爭力起到了關鍵作用。三星著重滿足其他云端服務業者的訂單,在客戶加單下,預計在 HBM3 與海力士的市占率差距會大幅縮小,

2023~2024 年三星和海力士市占率預估相當,合計擁 HBM 市場約 95%的市占率

美光科技雖在HBM市場起步晚于SK海力士和三星,但憑借直接從HBM3E切入并快速增強技術實力,正逐步挑戰市場格局。盡管市場份額尚低,但英偉達在H200中選用美光產品,展現了對其的高度認可,美光正在迅速追趕中。


-對此,您有什么看法見解?-

-歡迎在評論區留言探討和分享。-

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/24144.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/24144.shtml
英文地址,請注明出處:http://en.pswp.cn/web/24144.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Apache安裝教程

目錄 一、Apache知識點 Apache服務簡介 Apache下載網址 Apache的主要特點 二、Apache服務的搭建 1. 關閉防火墻 2. 安裝依賴環境以及編譯工具 3. 將apache安裝包拖入xshell內 4. 解壓壓縮包 5. 進入httpd主包 6. 指定安裝路徑,啟用字符集支持等 7. 優化執…

重慶工商大學社會工作專業試題及答案,分享幾個實用搜題和學習工具 #媒體#學習方法#知識分享

搜題軟件一般都是通過識別題目內容搜索出問題的答案,當識別內容不正確或搜索不到答案時,又得重新到其他軟件進行重復的操作,很是麻煩。所以我們可以使用專業的識別工具,對題目內容進行識別,然后把提取出來的內容單獨保…

流量錄制學習

AREX Cloud | AREX (arextest.com) 流量錄制學習,比vivo的moonbox要好用

android 異屏同顯二.

android主屏: android副屏 | | mediaProjection ----SufaceTextrue ---Open…

【數據結構】平衡二叉樹左旋右旋與紅黑樹

平衡二叉樹左旋右旋與紅黑樹 平衡二叉樹 定義 平衡二叉樹是二叉搜索樹的一種特殊形式。二叉搜索樹(Binary Search Tree,BST)是一種具有以下性質的二叉樹: 對于樹中的每個節點,其左子樹中的所有節點都小于該節點的值…

【vector模擬實現】附加代碼講解

vector模擬實現 一、看源代碼簡單實現1. push_backcapacity(容量)sizereserve(擴容)operator[ ] (元素訪問) 2. pop_back3. itorator(迭代器)4.insert & erase (頭插…

哈夫曼樹的創建

要了解哈夫曼樹,可以先了解一下哈夫曼編碼,假設我們有幾個字母,他們的出現頻率是A: 1 B: 2 C: 3 D: 4 E: 5 F: 6 G: 7。那么如果想要壓縮數據的同時讓訪問更加快捷,就要讓頻率高的字母離根節點比較進,容易訪問&#xf…

立創·天空星開發板-GD32F407VE-GPIO

本文以 立創天空星開發板-GD32F407VET6-青春版 作為學習的板子,記錄學習筆記。 立創天空星開發板-GD32F407VE-GPIO 基礎概念三極管MOS管 GPIO輸出模式輸出線與GPIO輸入模式GPIO點燈 基礎概念 GPIO,全稱為“通用輸入/輸出”(General Purpose …

算法金 | 這次終于能把張量(Tensor)搞清楚了!

大俠幸會,在下全網同名[算法金] 0 基礎轉 AI 上岸,多個算法賽 Top [日更萬日,讓更多人享受智能樂趣] 1. 張量(Tensor)基礎概念 1.1 張量的定義與重要性 張量是深度學習中用于表示數據的核心結構,它可以視…

《帝國時代 III:決定版》秘籍 怎么在蘋果電腦上玩《帝國時代 III:決定版》

《帝國時代 III:決定版》是一款讓玩家沉浸于歷史長河體驗從大航海時代到工業革命時期的游戲。下面我們來看看《帝國時代 III:決定版》是什么類型的游戲,《帝國時代 III:決定版》Mac安裝教程的相關內容。 一、《帝國時代 III&…

【BOM02】本地存儲

一:什么是本地存儲 數據存儲在用戶瀏覽器中,用戶設置、讀取方便,同時頁面刷新時不會丟失數據。存儲在瀏覽器中數據約5M,分為sessionStorage和localStorage兩種存儲方式 二:localStorage存儲 作用 將數據永久存儲在…

opencv實戰小結-銀行卡號識別

實戰1-銀行卡號識別 項目來源:opencv入門 項目目的:識別傳入的銀行卡照片中的卡號 難點:銀行卡上會有一些干擾項,如何排除這些干擾項,并且打印正確的號碼是一個問題 最終效果如上圖 實現這樣的功能需要以下幾個步驟…

基于Amazon Linux使用pip安裝certbot并使用Apache配置證書的完整步驟

配置證書 1. 更新系統和安裝必要的軟件包 首先,確保系統和包管理器是最新的: sudo dnf update -y sudo dnf install -y python3 python3-pip python3-virtualenv httpd mod_ssl2. 創建并激活虛擬環境 為了避免依賴沖突,使用virtualenv創建…

算法導論實戰(三)(算法導論習題第二十四章)

🌈 個人主頁:十二月的貓-CSDN博客 🔥 系列專欄: 🏀算法啟示錄 💪🏻 十二月的寒冬阻擋不了春天的腳步,十二點的黑夜遮蔽不住黎明的曙光 目錄 前言 第二十四章 24.1-3 24.1-4 2…

筆記:DST與HPPC測試方法

一、DST測試方法: DST全稱為Dynamic Stress Test,是一種動態壓力測試方法,主要用于評估電池在實際使用條件下的綜合性能,模擬了車輛在行駛過程中可能會遇到的各種動態負載變化,如加速、減速、怠速等工況。 它的目的是評估電池在…

setattr前端接收方法深度解析

setattr前端接收方法深度解析 在前端開發中,setattr可能是一個較為陌生的概念,但它卻在某些場景下扮演著關鍵角色。setattr是一個Python內置函數,用于設置對象屬性的值。然而,在前端與后端交互的過程中,我們有時需要處…

【Week-R2】使用LSTM實現火災預測(tf版本)

【Week-R2】使用LSTM實現火災預測(tf版本) 一、 前期準備1.1 設置GPU1.2 導入數據1.3 數據可視化 二、數據預處理(構建數據集)2.1 設置x、y2.2 歸一化2.3 劃分數據集 三、模型創建、編譯、訓練、得到訓練結果3.1 構建模型3.2 編譯模型3.3 訓練模型3.4 模…

超詳細的java Comparable,Comparator接口解析

前言 Hello大家好呀,在java中我們常常涉及到對象的比較,不同于基本數據類型,對于我們的自定義對象,需要我們自己去建立比較標準,例如我們自定義一個People類,這個類有name和age兩個屬性,那么問…

[數據集][圖像分類]蘑菇分類數據集3122張215類別

數據集類型:圖像分類用,不可用于目標檢測無標注文件 數據集格式:僅僅包含jpg圖片,每個類別文件夾下面存放著對應圖片 圖片數量(jpg文件個數):3122 分類類別數:215 類別名稱:[“almond_mushroom”,“amanita…

實驗筆記之——DPVO(Deep Patch Visual Odometry)

本博文記錄本文測試DPVO的過程,本博文僅供本人學習記錄用~ 《Deep Patch Visual Odometry》 代碼鏈接:GitHub - princeton-vl/DPVO: Deep Patch Visual Odometry 目錄 配置過程 測試記錄 參考資料 配置過程 首先下載代碼以及創建conda環境 git clo…