隨著人工智能（AI）、機器學習（ML）和高性能計算（HPC）應用的快速發展，對于高效能、大容量且低延遲內存的需求日益增長。NVIDIA在其GB系列GPU中引入了不同的內存模塊設計，以滿足這些嚴格的要求。

此前，當從H100升級到H200時，由于后者提供了更高的內存帶寬（4.8TB/s對比H100的3.35TB/s），所有可比較的批處理大小上的交互性普遍提高了43%。得益于KVCache對總批處理大小的限制減少，H200能夠以更高的批處理速度運行，從而每秒生成三倍數量的token。這使得整體運營成本降低了約三倍，遠超出了單純硬件規格所能帶來的預期收益。

隨著NVIDIA推出GB300 GPU，其供應鏈和提供的組件發生了重大變化。此前，針對GB200，NVIDIA提供了完整的Bianca板（包括Blackwell GPU、Grace CPU、512GB的LPDDR5X內存、VRM內容等集成在一個PCB上），以及交換托盤和銅背板。然而，對于GB300，NVIDIA采取了不同的策略，僅提供核心組件，并允許更多原始設備制造商（OEM）和原始設計制造商（ODM）參與計算模塊的制造。

NVIDIA將只提供B300 GPU作為“SXM Puck”模塊，而不是整個Bianca板。這種轉變使得更多的OEM和ODM能夠參與到計算模塊的生產中來。Grace CPU將以BGA封裝形式單獨提供，不再集成在Bianca板上。高帶寬內存（HBM）控制器（HMC）將由美國初創公司Axiado提供，取代了GB200上的Aspeed產品。

在GB200時代，NVIDIA選擇了直接焊接在Bianca板上的512GB LPDDR5X作為主存方案。GB300，然而，在GB300的設計中，為了提高靈活性并降低成本，NVIDIA決定二級內存采用可插拔式的LPCAMM模塊來替代傳統的焊接內存，這一變化不僅簡化了制造過程，還允許用戶根據具體需求靈活配置內存容量和類型。

面對數據中心空間有限以及對更高密度內存解決方案的需求，NVIDIA提出了全新的SOCAMM（Space-Optimized CAMM）概念。SOCAMM旨在通過緊湊的設計實現最大化的存儲容量，同時保持優異的性能表現。它特別適用于那些需要在有限的空間內部署大量計算資源的應用場景，如超大規模數據中心、邊緣計算節點等。

近日，美光（Micron）與 SK 海力士（SK hynix）在存儲技術領域邁出了重要一步，推出了新型的 LPDDR5X SOCAMM 內存，最高容量可達 128GB，并首次在英偉達（Nvidia）的 GB300 系統中亮相。這一創新成果為人工智能（AI）和低功耗服務器領域帶來了全新的解決方案，有望重塑相關行業的內存應用格局。

SOCAMM，其尺寸僅為14x90mm，約為傳統RDIMM的三分之一 。然而，“小身材”卻蘊含著“大能量”，它最多可承載四個16芯片的LPDDR5X內存堆棧。美光的初始SOCAMM模塊就提供了高達128GB的容量，這一容量規格在當前的內存市場中具備很強的競爭力，能夠滿足AI和低功耗服務器對大容量內存的需求。

美光的SOCAMM模塊基于其1β（1-beta，第五代10nm級）DRAM工藝技術生產的LPDDR5X內存設備打造。雖然美光并未透露其初始SOCAMM內存棒具體支持的數據傳輸速率，但表明該內存的額定速度高達9.6 GT/s。

而SK海力士在GTC 2025上展示的SOCAMM額定速度也達到了7.5 GT/s。與相同容量的RDIMM相比，LPDDR5X SOCAMM的帶寬提升了2.5倍 ，這意味著數據能夠以更快的速度在內存與處理器之間傳輸，大大提高了系統的數據處理能力，對于AI計算中大量數據的快速讀寫操作極為有利。

在服務器運行過程中，內存的功耗是一個不可忽視的問題。以配備每插槽TB級DDR5內存的服務器為例，其中DRAM的功耗甚至超過了CPU的功耗 。英偉達圍繞LPDDR5X內存設計了Grace CPU，正是看中了LPDDR5X相較于DDR5更低的功耗特性。美光宣稱，其128GB的SOCAMM內存功耗僅為同等容量DDR5 RDIMM的三分之一 。低功耗不僅有助于降低服務器的運營成本，還能減少數據中心的散熱壓力，對于追求綠色節能的數據中心而言，具有重要的意義。

此次推出的LPDDR5X SOCAMM內存將首先應用于基于英偉達GB300 Grace Blackwell Ultra Superchip系統的服務器。

在AI領域，無論是訓練還是推理應用，都需要處理海量的數據，這對內存的性能和容量提出了嚴苛的要求。例如，在AI訓練過程中，深度學習模型需要頻繁讀取和存儲大量的參數和數據，高帶寬、大容量的內存能夠顯著加速數據的傳輸和處理，縮短訓練時間。而在推理應用中，如智能語音助手、圖像識別系統等，快速的內存響應速度可以使系統更及時地給出準確的結果。

LPDDR5X SOCAMM內存的出現，為英偉達GB300系統在AI計算方面提供了強大的內存支持，有助于進一步挖掘AI的潛力，推動相關應用的發展。

隨著云計算和數據中心的發展，低功耗服務器的需求日益增長。低功耗服務器不僅可以降低運營成本，還能減少對環境的影響。LPDDR5X SOCAMM內存憑借其低功耗、高容量和高性能的特點，成為低功耗服務器的理想選擇。它能夠在保證服務器性能的前提下，有效降低能耗，提升服務器的能效比。這對于構建綠色、高效的數據中心具有重要意義，有助于數據中心運營商在控制成本的同時，滿足不斷增長的數據處理需求。

盡管LPDDR5X SOCAMM內存展現出了諸多優勢，但目前仍存在一些不確定性。例如，SOCAMM是否會成為JEDEC（固態技術協會）支持的行業標準尚未可知。如果能成為行業標準，將有利于其更廣泛地推廣和應用，促進整個行業的規范化發展；反之，若僅作為美光、三星、SK海力士和英偉達為特定服務器開發的專有解決方案，其應用范圍可能會受到一定限制 。但無論如何，LPDDR5X SOCAMM內存的出現都為存儲技術的發展注入了新的活力，值得業界持續關注。

如果您看完有所受益，歡迎點擊文章底部左下角“關注”并點擊“分享”、“在看”，非常感謝！

精彩推薦:

• 深度解讀PCIe相關內存操作原理

• 基于CXL內存的熱數據檢測技術解讀

• 學術前沿｜專為CXL SSD設計的文件系統

• 2025伊始，PCIe 7.0的腳步更近了

• 存儲隨筆2024年度技術分享總結

• 淺析下一代NAND接口新特性SCA

• 2025年CXL強勢啟航：開啟內存擴展新時代

• PCIe SSD在溫變環境的穩健性技術剖析

• DWPD指標：為何不再適用于大容量SSD？

• 突破內存墻：DRAM的過去、現在與未來

• E1.S接口如何解決SSD過熱問題？

• ZNS SSD是不是持久緩存的理想選擇？

• 存儲正式邁入超大容量SSD時代！

• FMS 2024: 帶來哪些存儲技術亮點？

• IEEE報告解讀：存儲技術發展趨勢分析

• PCIe P2P DMA全景解讀

• 深度解讀NVMe計算存儲協議

• 淺析不同NAND架構的差異與影響

• 淺析PCI配置空間

• 淺析PCIe系統性能

• 存儲隨筆《NVMe專題》大合集及PDF版正式發布！