選擇正確的高帶寬內存

構建高性能芯片的選擇越來越多，但附加內存的選擇卻幾乎沒有變化。為了在汽車、消費和超大規模計算中實現最大性能，選擇取決于一種或多種 DRAM，而最大的權衡是成本與速度。

盡管多年來人們一直在努力用更快、更便宜或更通用的內存來取代 DRAM，甚至將其嵌入到 SoC 中，但 DRAM 仍然是所有這些架構中的重要組成部分。但 DRAM 制造商并沒有停滯不前，而是根據性能、功耗和成本提供了多種選擇。這些仍然是基本的權衡，要進行這些權衡，需要深入了解如何使用內存、如何連接所有部件，以及芯片或使用芯片的系統的關鍵屬性是什么。

Rambus產品管理高級總監 Frank Ferro 表示：“即使在宏觀經濟形勢下，我們仍然看到對更多帶寬內存的需求呈非常積極的趨勢。 ” “有很多公司正在研究不同類型的內存架構。這包括解決帶寬問題的各種方法，無論是具有大量片上內存的處理器還是其他方式。雖然這種方法是最便宜、最快的，但容量相當低，因此人工智能算法必須針對這種類型的架構進行定制。”

小芯片

這仍然沒有減少對附加內存的需求。總體而言，向異構計算（尤其是小芯片）的發展只會加速對高帶寬內存（無論是 HBM、GDDR6 還是 LPDDR6）的需求。

HBM 是三者中最快的。但到目前為止，HBM 一直基于 2.5D 架構，這限制了它的吸引力。“制作 2.5D 中介層仍然是相對昂貴的技術，”Ferro 說。“供應鏈問題并沒有太大幫助。在過去的兩年里，這種情況有所緩解，但它確實凸顯了您在制作這些復雜的 2.5D 系統時的一些問題，因為您必須組合大量組件和基板。如果其中任何一件不可用，就會擾亂整個流程或導致較長的交貨時間。”

一段時間以來，人們一直致力于將 HBM?? 連接到其他一些封裝方法，例如扇出，或使用不同類型的中介層或橋來堆疊芯片。隨著更前沿的設計包括某種類型的先進封裝以及可能在不同工藝節點開發的異構組件，這些將變得至關重要。

“許多 HBM 空間實際上更多的是制造問題，而不是 IP 問題，” Cadence IP 小組產品營銷小組總監 Marc Greenberg 說。“當您擁有一個內部帶有硅中介層的系統時，您需要弄清楚如何構建一個帶有硅中介層的系統。首先，您將如何在那里制造硅中介層？它比普通硅芯片大得多。它必須被稀釋。它必須粘合到其上的各種芯片上。它需要被包裝。HBM 解決方案涉及大量專業制造。這最終超出了 IP 領域，更多地屬于 ASIC 供應商和 OSAT 所做的領域。”

汽車中的高帶寬內存

HBM 引起廣泛關注的領域之一是汽車領域。但仍有一些障礙需要克服，而且目前還沒有解決這些問題的時間表。

Synopsys產品營銷總監 Brett Murdock 表示：“HBM3 具有高帶寬、低功耗的特點，并且具有良好的密度。” “唯一的問題是它很貴。這是那段記憶的一個失敗。HBM 的另一個缺點是它尚不符合汽車行業的要求，盡管它非常適合汽車行業。在汽車領域，正在發生的一件有趣的事情是所有電子設備都變得集中化。當這種集中化發生時，基本上現在你的后備箱里就有了一臺服務器。發生的事情如此之多，因此不一定總是發生在單個 SoC 或單個 ASIC 上。因此，現在汽車公司開始研究小芯片以及如何在設計中使用小芯片以獲得該集中式域中所需的所有計算能力。巧妙的是，小芯片的潛在用途之一是與中介層一起使用。如果他們現在使用中介層，他們就無法解決 HBM 的中介層問題。他們正在解決小芯片的中介層問題，也許 HBM 也能參與其中。然后，如果他們已經在為車輛進行小芯片設計，也許它就不再那么昂貴了。”

HBM 非常適合該領域，因為車輛中需要快速移動的數據量很大。“如果你考慮一下汽車中攝像頭的數量，所有這些攝像頭的數據速率以及處理所有信息的速度都是天文數字。HBM 是所有汽車行業人士都想去的地方。”Murdock 說道。“對于他們來說，成本可能并沒有那么高，因為它只是解決技術、解決汽車內插器以及解決 HBM 設備的汽車溫度問題。

不過，這可能需要一段時間。與此同時，GDDR 似乎是后起之秀。雖然它的吞吐量比 HBM 更有限，但它仍然足以滿足許多應用的需求，并且已經符合汽車標準。

Rambus 的 Ferro 表示：“HBM 絕對會進入汽車應用領域，在汽車領域，汽車可以與不動的物體進行對話。” “但在車輛方面，GDDR 做得很好。LPDDR 已經出現在汽車中，您可以用 GDDR 替換大量 LPDDR，獲得更小的占用空間和更高的帶寬。然后，隨著人工智能處理能力的提高，LPDDR5 和 LPDDR6 開始達到相當可觀的速度（現在分別接近 8Gbps 和 10Gbps），它們也將成為汽車中非常可行的解決方案。仍然會有少量 DDR，但 LPDDR 和 GDDR 將成為汽車領域最受歡迎的技術。”

Cadence 的 Greenberg 表示，這種方法可能會在相當長的一段時間內發揮作用。“僅使用標準 PCB 和標準制造技術的解決方案似乎比嘗試在方程中引入硅中介層并驗證其溫度、振動或 10 年壽命更明智。壽命。試圖驗證車輛中的 HBM 解決方案似乎比 GDDR-6 面臨更大的挑戰，GDDR-6 可以將內存放置在 PCB 上。如果我在一家汽車公司負責一些汽車項目，我只會選擇HBM作為最后的選擇。”

邊緣 AI/ML 內存需要

GDDR 和 LPDDR5，甚至可能是 LPDDR6，在某些邊緣加速卡上也開始看起來像是可行的解決方案。

“對于進行邊緣 AI 推理的 PCIe 卡，多年來我們已經在 NVIDIA 等公司的加速卡中看到了 GDDR，”Ferro 說。“現在我們看到越來越多的公司愿意考慮替代方案。例如，Achronix 在其加速卡中使用 GDDR6，并開始研究如何使用 LPDDR，盡管速度仍約為 GDDR 的一半。它正在緩慢上升，并且密度增加了一些。這是另一個解決方案。這些給出了一個很好的權衡。它們提供了性能和成本優勢，因為它們仍然使用傳統的 PCB。您將它們焊接在芯片上。如果您過去使用過 DDR，則可以丟棄大量 DDR，并用一個 GDPR 或兩個 LPDDR 替換它們。這就是我們現在看到的很多情況，因為開發人員試圖找出如何在成本、功耗和價格之間達到適當的平衡。這始終是一個邊緣挑戰。”

一如既往，權衡是許多因素的平衡。

格林伯格指出，在當前人工智能革命的早期階段，第一批 HBM 存儲器正在被使用。“人們采用了一種不考慮成本/不考慮帶寬的方法。HBM 非常自然地融入其中，有人希望有一個典型的例子來說明他們可以從系統中獲得多少帶寬。他們將構建基于 HBM 的芯片，根據該芯片的性能指標獲得風險投資資金，而且沒有人真正太擔心這一切的成本是多少。現在我們看到的是，也許您需要一些好的指標，也許是使用 HBM 可以實現的 75%，但您希望它的成本只有一半。我們該怎么做呢？我們所看到的 GDDR 的吸引力在于它可以實現成本更低的解決方案，但帶寬絕對接近 HBM 空間。”

Murdock 也看到了做出正確內存選擇的困難。“由于帶寬要求較高，他們通常會做出成本權衡決定。我是否應該選擇 HBM？如果不是考慮到成本因素，HBM 通常非常適合該應用程序？有客戶向我們詢問 HBM，試圖在 HBM 和 LPDDR 之間做出選擇。這確實是他們做出的選擇，因為他們需要帶寬。他們可以在這兩個地方之一得到它。我們已經看到工程團隊在 SoC 周圍放置了多達 16 個 LPDDR 接口實例，以滿足他們的帶寬需求。當你開始談論這么多實例時，他們會說，“哦，哇，HBM 真的非常適合這個要求。” 但這仍然歸結為成本，因為許多公司只是不想支付 HBM3 帶來的溢價。”

HBM 還存在架構方面的注意事項。“HBM 一開始就是一種多通道接口，因此使用 HBM，一個 HBM 堆棧上就有 32 個偽通道，”Murdock 說。“有 16 個通道，所以實際上有 32 個偽通道。偽通道是您在每個偽通道的基礎上執行實際工作負載的地方。因此，如果您有 16 個偽通道，而不是在 SoC 上放置許多不同的 LPDDR 實例，那么在這兩種情況下，您都必須弄清楚流量將如何瞄準整個通道中的整體地址空間定義。在這兩種情況下，你都有很多渠道，所以也許并沒有太大的不同。”

對于 AI/機器學習開發人員來說，LPDDR 通常采用 bi-32 封裝，然后具有 2-16 位通道。

“你需要在你的架構中做出一個基本的選擇，”他解釋道。“從系統的角度來看，我是否將內存上的這兩個 16 位通道視為真正獨立的通道？或者我是否將它們集中在一起并使其看起來像一個 32 位通道？他們總是選擇 16 位通道，因為這為他們提供了更高的性能接口。在內存中，我有兩個通道。我的打開頁面數量是我可能點擊的兩倍，并通過頁面點擊減少了整體系統延遲。擁有更多更小的通道可以使系統性能更好，這就是我們在 HBM 中看到的情況。從 HBM2e 到 HBM3，我們專門放棄了通道和偽通道大小，以應對此類市場。我們甚至在 DDR4 的 DDR5 中看到了這一點。我們從 DDR4 中的 64 位通道改為 DDR5 中的一對 32 位通道，每個人都喜歡較小的通道尺寸，以幫助提高整體系統性能。”

對于邊緣人工智能推理，Greenberg 一直在觀察這些應用走到最前沿，并發現 GDDR-6 是一項偉大的技術。“有很多芯片都希望擁有這種功能。這使得人工智能推理接近邊緣，因此您可以接收多個攝像頭輸入或多個其他傳感器輸入。然后，在邊緣使用人工智能，您可以深入了解正在處理的數據，而不是將所有數據發送回服務器來執行該功能。”

格林伯格預計很快就會出現大量芯片，這些芯片將具有各種有趣的功能，而無需將大量數據發送回服務器。他預計 GDDR6 將在那里發揮重要作用。

“前幾代 GDDR 主要針對顯卡，”他說。“GDDR6 具有很多功能，使其更適合作為通用內存。事實上，雖然我們確實有用戶將其用于顯卡，但大多數實際上是將其用于人工智能邊緣應用程序，”格林伯格說。“如果您需要盡可能多的帶寬，并且不關心它的成本是多少，那么 HBM 是很好的解決方案。但如果您不需要那么多帶寬，或者成本是一個問題，那么 GDDR6 在該領域會發揮有利作用。GDDR6的優點是可以在標準FR4 PCB上完成。制造過程中不需要特殊材料。沒有特殊的工藝，甚至PCB本身也不需要進行背鉆。它不需要隱藏的通孔或類似的東西。”

最后，GDDR 領域的最后一個趨勢是努力使 GDDR 對消費者更加友好。“它仍然有一些非常受圖形引擎青睞的規范部分，但作為一項技術，GDDR 正在向消費者方向發展，”他說。“隨著 GDDR 類型技術的更廣泛部署，它將繼續朝這個方向發展。”