1236
作者：豐寧
AI的火熱，令HBM也成了緊俏貨。
業(yè)界各處都在喊：HBM缺貨！HBM增產(chǎn)！把DDR4/DDR3產(chǎn)線轉(zhuǎn)向生產(chǎn)DDR5/HBM等先進(jìn)產(chǎn)品。數(shù)據(jù)顯示，未來(lái)HBM市場(chǎng)將以每年42%的速度增長(zhǎng)，將從2023年的40億美元增長(zhǎng)到2033年的1300億美元，這主要受工作負(fù)載擴(kuò)大的 AI 計(jì)算推動(dòng)。到 2033 年，HBM 將占據(jù)整個(gè) DRAM 市場(chǎng)的一半以上?？杉幢阈袠I(yè)全力增產(chǎn)，HBM 供應(yīng)缺口仍然很大，芯片巨頭也急的“抓耳撓腮”。
當(dāng)下，存儲(chǔ)芯片巨頭主要有兩大行動(dòng)方向。一方面，對(duì)HBM技術(shù)持續(xù)升級(jí)并加大現(xiàn)有 HBM 產(chǎn)品的產(chǎn)量；另一方面，分出部分精力，關(guān)注另一種形式的 HBM 產(chǎn)品。
?01、HBM4，來(lái)了！
在HBM的技術(shù)升級(jí)中，SK海力士總是那個(gè)“第一個(gè)吃螃蟹的人”。3月19日，SK海力士宣布推出面向 AI 的超高性能 DRAM 新產(chǎn)品 12 層（12Hi）HBM4 內(nèi)存，并在全球率先向主要客戶出樣了 12Hi HBM4。SK 海力士在 12Hi HBM4 上采用了 24Gb DRAM 芯片，繼續(xù)使用了 Advanced MR-MUF鍵合工藝，單封裝容量達(dá) 36GB，帶寬達(dá) 2TB/s，運(yùn)行速度較 HBM3E 提升了 60% 以上。
SK 海力士強(qiáng)調(diào)，以引領(lǐng) HBM 市場(chǎng)的技術(shù)競(jìng)爭(zhēng)力和生產(chǎn)經(jīng)驗(yàn)為基礎(chǔ)，能夠比原計(jì)劃提早實(shí)現(xiàn) 12 層 HBM4 的樣品出貨，并已開(kāi)始與客戶的驗(yàn)證流程。公司將在下半年完成量產(chǎn)準(zhǔn)備，由此鞏固在面向 AI 的新一代存儲(chǔ)器市場(chǎng)領(lǐng)導(dǎo)地位。日前還有報(bào)道稱，SK海力士預(yù)計(jì)將獨(dú)家供應(yīng)英偉達(dá)Blackwell Ultra架構(gòu)芯片第五代12層HBM3E，預(yù)期與三星電子、美光的差距將進(jìn)一步拉大。
反觀競(jìng)爭(zhēng)對(duì)手三星這邊，HBM3E此前一直未能獲得英偉達(dá)品質(zhì)認(rèn)證，而最新消息則是三星新HBM3E在日前英偉達(dá)的審核中獲得令人滿意的評(píng)分，預(yù)計(jì)最快6月初通過(guò)英偉達(dá)等的品質(zhì)認(rèn)證。除此之外，這些存儲(chǔ)龍頭還在一些新興HBM技術(shù)上下足功夫。
?02、移動(dòng)HBM，存儲(chǔ)巨頭下場(chǎng)了！
本文要談到的第一種新興技術(shù)，被稱為移動(dòng)HBM。移動(dòng)HBM，即LPW DRAM，也被稱為低延遲寬 I/O (LLW)。該技術(shù)是堆疊和連接LPDDR?DRAM來(lái)增加內(nèi)存帶寬，它與HBM類似，通過(guò)將常規(guī)DRAM堆疊8層或12層來(lái)提高數(shù)據(jù)吞吐量，并具有低功耗的優(yōu)勢(shì)。
移動(dòng)HBM和LPDDR最大的區(qū)別在于是否是“定制內(nèi)存”。LPDDR是通用型產(chǎn)品，一旦量產(chǎn)即可批量使用；而移動(dòng)HBM是一個(gè)定制產(chǎn)品，反映了應(yīng)用程序和客戶的要求。由于移動(dòng)HBM與處理器連接的引腳位置不同，因此在批量生產(chǎn)之前需要針對(duì)每個(gè)客戶的產(chǎn)品進(jìn)行優(yōu)化設(shè)計(jì)。
HBM 是在 DRAM 中鉆微孔，并用電極連接上下層。移動(dòng)HBM具有相同的堆疊概念，但正在推廣一種將其堆疊在樓梯中，然后用垂直電線將其連接到基板的方法。三星和SK海力士均看中了移動(dòng)HBM的潛力，但這兩家公司采取的技術(shù)路線各不相同。
三星開(kāi)發(fā)“VCS”技術(shù)三星正在開(kāi)發(fā)名為“VCS”的技術(shù)，該技術(shù)將從晶圓上切割下來(lái)的 DRAM芯片以臺(tái)階形狀堆疊起來(lái)，用環(huán)氧材料使其硬化，然后在其上鉆孔并用銅填充。堆疊形式可參照下圖右下角的呈現(xiàn)。
三星表示，VCS先進(jìn)封裝技術(shù)相較于傳統(tǒng)引線鍵合，I/O密度和帶寬分別提升8倍和2.6倍；相比VWB垂直引線鍵合，VCS技術(shù)生產(chǎn)效率提升9倍。三星還為其新款 LPW DRAM 設(shè)定了高性能目標(biāo)，與其尖端移動(dòng)內(nèi)存 LPDDR5X 相比，新款 LPW DRAM 的 I/O 速度預(yù)計(jì)將提高 166%。這比每秒 200GB 更快，同時(shí)功耗降低了 54%。
三星電子半導(dǎo)體暨裝置解決方案（DS）部門首席技術(shù)官宋在赫表示，搭載LPW DRAM內(nèi)存的首款移動(dòng)產(chǎn)品將在2028年上市。
近日，有業(yè)內(nèi)人士表示，三星電子目前正與多個(gè)系統(tǒng)級(jí)芯片（SoC）客戶合作開(kāi)發(fā)LPW DRAM，已確認(rèn)其中包括蘋果和三星電子的移動(dòng)體驗(yàn)（MX）業(yè)務(wù)部門。SK海力士開(kāi)發(fā)“VFO”技術(shù)SK海力士正在開(kāi)發(fā)名為“VFO”的技術(shù)，與三星的VCS不同，SK海力士選擇的是銅線而非銅柱。DRAM以階梯式方式堆疊，并通過(guò)垂直柱狀線/重新分布層連接到基板。堆疊形式可參照下圖。
它在連接元件和工藝順序方面與三星電子也不同，它使用銅線連接堆疊的 DRAM，然后將環(huán)氧樹脂注入空白處以使其硬化，來(lái)實(shí)現(xiàn)移動(dòng)DRAM芯片的堆疊。
SK海力士的VFO技術(shù)結(jié)合了FOWLP（晶圓級(jí)封裝）和DRAM堆疊兩項(xiàng)技術(shù)，VFO技術(shù)通過(guò)垂直連接，大幅縮短了電信號(hào)在多層DRAM間的傳輸路徑，將線路長(zhǎng)度縮短至傳統(tǒng)內(nèi)存的1/4以下，將能效提高4.9%。這種方式雖然增加了1.4%的散熱量，但是封裝厚度卻減少了27%。
至于為什么兩大存儲(chǔ)巨頭紛紛看上移動(dòng)HBM這一賽道，主要源于設(shè)備上AI需求的推動(dòng)，內(nèi)存公司正在轉(zhuǎn)向LPW DRAM的開(kāi)發(fā)。由于預(yù)計(jì)繼服務(wù)器領(lǐng)域之后，移動(dòng)領(lǐng)域也將出現(xiàn)內(nèi)存瓶頸，因此計(jì)劃積極推出高性能DRAM。
?03、cHBM，橫空出世
本文要談到的第二種新興技術(shù)，即cHBM。cHBM，即Custom HBM，也就是定制高帶寬內(nèi)存。其實(shí)上文提到的移動(dòng)HBM也屬于cHBM的一種。這個(gè)新型技術(shù)，由Marvell于去年12月推出。其與領(lǐng)先的內(nèi)存制造商，如美光、三星和SK海力士等合作開(kāi)發(fā)。在 AI 算力芯片領(lǐng)域，GPU 廣為人知，是備受矚目的存在。然而，鑒于部分場(chǎng)景對(duì)定制化算力芯片需求更為強(qiáng)烈，ASIC 芯片應(yīng)運(yùn)而生。
如今，這一理念，也延續(xù)到了HBM領(lǐng)域。那么，定制HBM與常規(guī)HBM有何不同？本文將用相對(duì)直白的闡述做一下介紹。首先我們先來(lái)看一下常規(guī)的HBM。據(jù)悉，HBM已存在十多年，最初用于AMD GPU和Xilinx FPGA，通過(guò)1024條以合理速度運(yùn)行的數(shù)據(jù)線實(shí)現(xiàn)高帶寬，節(jié)省功耗但成本較高，限制了其應(yīng)用范圍。HBM面臨的主要問(wèn)題是容量限制，每個(gè)通道僅有一個(gè)堆棧，容量在HBM3之前有限，HBM4雖有所增加，但根本問(wèn)題在于DRAM密度和堆疊成本。
眾所周知，HBM的原理像是利用DRAM在疊高高，這種辦法成本高昂，并且增加堆棧數(shù)量雖可部分解決容量問(wèn)題，但會(huì)引發(fā)芯片邊緣空間限制、堆棧高度和經(jīng)濟(jì)可行性等一系列新問(wèn)題。由于引腳和走線需求，HBM堆疊數(shù)量受芯片邊緣長(zhǎng)度限制，通常每側(cè)最多3-4個(gè)堆疊，且受標(biāo)線極限（約800mm2）制約。
因此，盡管HBM有其優(yōu)勢(shì)，但在容量和堆疊數(shù)量上仍面臨挑戰(zhàn)。那么，cHBM帶來(lái)了什么呢？Marvell的cHBM解決方案針對(duì)特定應(yīng)用量身打造介面與堆疊，目標(biāo)是減少標(biāo)準(zhǔn)HBM介面在處理器內(nèi)部所占用的空間，釋放可用于運(yùn)算和功能的空間。
在接口方面，可見(jiàn)下圖，HBM 是集成在 XPU 中的關(guān)鍵組件，使用先進(jìn)的 2.5D 封裝技術(shù)和高速行業(yè)標(biāo)準(zhǔn)接口。然而，XPU 的擴(kuò)展受到當(dāng)前基于標(biāo)準(zhǔn)接口架構(gòu)的限制。全新的 Marvell cHBM 計(jì)算架構(gòu)引入定制接口，以優(yōu)化特定 XPU 設(shè)計(jì)的性能、功耗、芯片尺寸和成本。
在性能提升方面，借由專屬D2D（die-to-die）I/O，不僅能在定制化XPU中多裝25%邏輯芯片，也可在運(yùn)算芯片旁多安裝33%cHBM存儲(chǔ)器封裝，增加處理器可用DRAM容量。預(yù)期可將存儲(chǔ)器介面功耗降低70%。
在帶寬增加方面，新Marvell D2D HBM介面將擁有20 Tbps/mm（每毫米2.5TB/s）頻寬，比目前HBM提供的5Tbps/mm（每毫米625GB/s）多。此外，預(yù)期無(wú)緩沖存儲(chǔ)器的速度將達(dá)50Tbps/mm（每毫米6.25TB/s）。Marvell沒(méi)透露cHBM介面的寬度及更多信息，僅表示通過(guò)序列化（serializing）與加速內(nèi)部AI加速器芯片與HBM基礎(chǔ)芯片之間的I/O介面，來(lái)增強(qiáng)XPU。
在硬件設(shè)計(jì)方面，由于cHBM并不依賴JEDEC標(biāo)準(zhǔn)，因此硬件部分需要全新的控制器和定制化實(shí)體介面、全新的D2D介面及改良的HBM基本芯片。與業(yè)界標(biāo)準(zhǔn)HBM3E或HBM4解決方案相比，cHBM介面寬度較窄。說(shuō)簡(jiǎn)單點(diǎn)，也就是cHBM可提供定制化接口以減少處理器內(nèi)部空間占用，實(shí)現(xiàn)更高芯片裝載量、更低功耗、更高帶寬，并具備全新硬件設(shè)計(jì)。關(guān)于應(yīng)用，cHBM的靈活性可以在不同類型的場(chǎng)景中帶來(lái)利好：
云提供商將其用于邊緣 AI 應(yīng)用，其中成本和功耗是關(guān)鍵標(biāo)準(zhǔn)。
在基于 AI/ML 的復(fù)雜計(jì)算場(chǎng)中使用，其中容量和吞吐量被推到極限。
?04、HBM的應(yīng)用場(chǎng)景，也在拓寬
除了技術(shù)的拓展，HBM的應(yīng)用場(chǎng)景也在不斷拓寬。如上文所述，移動(dòng) HBM 主要應(yīng)用于移動(dòng)終端等設(shè)備，而 Marvell 的 cHBM 則主要適配 AI 領(lǐng)域的特殊需求。除了這兩點(diǎn)，HBM產(chǎn)品還有這樣一種場(chǎng)景吸引人的注意力。即：HBM上車。
HBM在汽車中應(yīng)用并不是一個(gè)新故事。日前，SK海力士副總裁Kang Wook-sung透露，SK海力士HBM2E正用于Waymo自動(dòng)駕駛汽車，并強(qiáng)調(diào)SK海力士是Waymo自動(dòng)駕駛汽車這項(xiàng)先進(jìn)內(nèi)存技術(shù)的獨(dú)家供應(yīng)商。據(jù)悉，SK海力士的車規(guī)級(jí)HBM2E產(chǎn)品展現(xiàn)了卓越性能：容量高達(dá)8GB，傳輸速度達(dá)到3.2Gbps，實(shí)現(xiàn)了驚人的410GB/s帶寬，為行業(yè)樹立了新標(biāo)桿。
以此為契機(jī)，SK海力士正積極拓展與NVIDIA、Tesla等自動(dòng)駕駛領(lǐng)域解決方案巨頭的合作網(wǎng)絡(luò)。至于為什么汽車也要用上HBM，筆者在此對(duì)汽車存儲(chǔ)的需求進(jìn)行分析。在面對(duì)智能座艙、車載信息娛樂(lè)系統(tǒng)、高級(jí)駕駛輔助系統(tǒng)日益火熱的當(dāng)下，車用存儲(chǔ)芯片涉及NOR Flash、eMMC、UFS、LPDDR、SSD等品類。其中對(duì)內(nèi)存的需求正在迅速擴(kuò)大，當(dāng)前主要產(chǎn)品是LPDDR，以LPDDR4 和LPDDR5為最多。
未來(lái)，只靠這些難以滿足汽車對(duì)存儲(chǔ)的全部需求。據(jù)測(cè)算，高端汽車在信息娛樂(lè)領(lǐng)域使用 24GB DRAM和64/128GB NAND，到2028 年預(yù)計(jì)DRAM容量將超過(guò)64GB，NAND將達(dá)到1TB 左右；對(duì)于ADAS，預(yù)計(jì)當(dāng)前128GB DRAM容量將增加到 384GB，NAND 將從1TB擴(kuò)大到4TB。
除此之外，在智能駕駛等應(yīng)用場(chǎng)景的需求驅(qū)動(dòng)下，存儲(chǔ)系統(tǒng)的功能已超越了單純的數(shù)據(jù)保存。它還必須實(shí)現(xiàn)高效的數(shù)據(jù)交換，例如，能夠迅速地將搜集到的各類信息進(jìn)行即時(shí)傳遞與處理。畢竟只有實(shí)現(xiàn)快速的數(shù)據(jù)交換，計(jì)算平臺(tái)才能及時(shí)對(duì)信息進(jìn)行分析與處理，進(jìn)而精準(zhǔn)控制車輛的行駛速度、轉(zhuǎn)向角度等關(guān)鍵操作，保障智能駕駛的安全與流暢運(yùn)行。SK海力士副總裁Ryu Seong-su透露，公司的HBM正受到全球企業(yè)的高度關(guān)注，蘋果、微軟、谷歌、亞馬遜、英偉達(dá)、Meta和特斯拉等七巨頭都向SK海力士提出了定制HBM解決方案的要求。
?05定制HBM，成為潮流
日前，三星在芯片代工論壇中提到，將從HBM4開(kāi)始實(shí)現(xiàn)客戶定制化產(chǎn)品。業(yè)界消息人士透露，三星電子和SK海力士都在加速拓展“定制化內(nèi)存”市場(chǎng)，即按照客戶所需形式制造和交貨HBM。
據(jù)報(bào)道，為了應(yīng)對(duì)定制化HBM需求，三星針對(duì)每位客戶性能需求開(kāi)發(fā)優(yōu)化產(chǎn)品，目前正與多家客戶討論詳細(xì)規(guī)格。負(fù)責(zé)PKG產(chǎn)品開(kāi)發(fā)的副總裁Lee Kyu-jae表示，能在HBM市場(chǎng)占主導(dǎo)地位的最大動(dòng)力是在客戶需要的時(shí)間提供產(chǎn)品，公司計(jì)劃確?；旌湘I合等新技術(shù)的同時(shí)，不斷推進(jìn)先進(jìn)的MR-MUF技術(shù)。Lee Kyu-jae強(qiáng)調(diào)開(kāi)發(fā)下一代封裝技術(shù)的重要性，必須針對(duì)定制化產(chǎn)品需求增加入行回應(yīng)，“預(yù)計(jì)今年下半年量產(chǎn)HBM4，我們考慮從先進(jìn)的MR-MUF和下一代混合鍵合方法”。
定制化HBM可能是解決內(nèi)存市場(chǎng)供過(guò)于求疑慮的新解決方案。郭魯正指出，隨著公司超越HBM4，定制化需求將增加，成為全球趨勢(shì)，并轉(zhuǎn)向以合約為基礎(chǔ)的性質(zhì)，逐漸降低供過(guò)于求的風(fēng)險(xiǎn)。SK海力士也將開(kāi)發(fā)符合客戶需求的技術(shù)。
隨著AI興起，HBM市場(chǎng)從“通用型市場(chǎng)”演進(jìn)為“客戶定制化市場(chǎng)”，不管是三星在芯片代工論壇的發(fā)言，還是SK海力士與臺(tái)積電合作，都凸顯出為滿足客戶特定需求的策略。轉(zhuǎn)為定制化不僅解決供過(guò)于求問(wèn)題，生產(chǎn)也能與客戶需求保持一致，確保HBM市場(chǎng)能更穩(wěn)定發(fā)展。
