1801
生成式AI是當前最為顯著的趨勢，它主要得益于大語言模型（LLM）的成功和相關技術的發(fā)展。未來，AI的趨勢將是多模態(tài)輸入輸出模型，即AI能夠根據(jù)文本、圖片或視頻等多種指令，生成更復雜、更高階的輸出結果，為生成式AI的應用提供無限可能性。
AI大模型的復雜性和功能日益增強，離不開在線數(shù)據(jù)為模型訓練提供的豐富資源。根據(jù)OpenAI的數(shù)據(jù)，自2012年以來，全球最大的AI訓練項目所需計算量每年增長10倍。例如，ChatGPT的GPT-3版本使用了1750億參數(shù)，而幾個月后的GPT-4版本參數(shù)數(shù)量激增至1.5萬億。未來，要實現(xiàn)更加準確、全面且強大的AI模型，預計AI訓練數(shù)據(jù)集還將保持高速增長。這也意味著，能夠應對海量數(shù)據(jù)的服務器內(nèi)存對于生成式AI的發(fā)展至關重要，更高帶寬的內(nèi)存成為必需。
大模型趨勢下，數(shù)據(jù)管道內(nèi)存需求日益增加
日前，Rambus宣布了DDR5服務器電源管理IC領域的突破，通過最新的芯片技術，可助力DDR5內(nèi)存模塊在目標功耗范圍內(nèi)實現(xiàn)更高水平的內(nèi)存性能，滿足數(shù)據(jù)管道日益增加的內(nèi)存需求。
Rambus內(nèi)存互連芯片業(yè)務部門產(chǎn)品營銷副總裁John Eble以經(jīng)過簡化的AI訓練管道為例介紹說，數(shù)據(jù)存儲是起點，其中保存了大量的AI數(shù)據(jù)集，例如OpenAI的SDXL應用，使用了超過1億張圖片作為訓練數(shù)據(jù)。到了數(shù)據(jù)存儲階段，因為GPU尚未參與到訓練流程中，服務器主內(nèi)存容量并沒有達到夸張的量級。
隨后進入數(shù)據(jù)準備階段，數(shù)據(jù)需經(jīng)過整理、正?；万炞C，這一階段主內(nèi)存需求顯著增加，大約需要1TB。例如，在SDXL訓練網(wǎng)絡架構中，圖像需統(tǒng)一規(guī)格，以提高網(wǎng)絡資源的利用效率，降低延遲并節(jié)省空間。
完成數(shù)據(jù)準備后，進入實際訓練階段，這是對GPU和內(nèi)存需求最高的階段。主內(nèi)存容量通常需要是GPU內(nèi)存的兩倍，并且必須具備高帶寬，以滿足GPU的數(shù)據(jù)吞吐速度。
整個AI訓練管道從數(shù)據(jù)采集、存儲、準備、訓練到最終形成推理模型，是一個連續(xù)的過程。“這僅是一個簡化的訓練流程，而實際應用中，一個集群或?qū)嵗膬?nèi)存容量可能是簡化模型中所描述的數(shù)倍”，John Eble表示，“為了滿足不斷增長的數(shù)據(jù)管道日益增加的內(nèi)存需求，需要更高帶寬和容量的RDIMM?！?/p>
PMIC成為DDR5內(nèi)存架構的關鍵組件
DDR5如何實現(xiàn)更高的內(nèi)存性能？主要是更智能的DIMM（雙列直插式內(nèi)存模塊）架構。與DDR4相比，DDR5內(nèi)存采用采用了雙通道架構，每個通道的數(shù)據(jù)流通道比特率達到32位，加上8位的ECC（錯誤校正碼），確保了更高的存儲和吞吐量，從而提升了內(nèi)存性能。
其次，雙通道RCD在主機端以DDR5 速度運行，與DRAM運行速度相同，使得每個引腳的開關頻率比 DDR4高出一倍多。此外還有頻率速度的提升，DDR5的每通道最高頻率速度可達8400MT/s，而根據(jù)JEDEC的最新數(shù)據(jù)，在DRAM規(guī)格中可以達到8800MT/s。
以上這些都表明，更高的數(shù)據(jù)傳輸速率至關重要?！斑@些因素共同促使我們決定采用專用的電源管理IC，來幫助控制更加精細的電壓”，John Eble表示，“PMIC是DDR5內(nèi)存架構的關鍵組件，可以實現(xiàn)更多的內(nèi)存通道、更大容量的模組和更高的帶寬?！?/p>
對比前幾代產(chǎn)品將PMIC放在主板上的做法，DDR5 DIMM架構的主要變化之一是將PMIC集成到了內(nèi)存模塊。
為什么要將PMIC從主板挪到內(nèi)存模塊上？John Eble表示，從DDR4到DDR5，電壓從1.2V降到1.1V，與此同時，數(shù)據(jù)傳輸速率更高，DDR5最高可以達到8800MT/s，而DDR4上限是3200MT/s。為了實現(xiàn)更高的數(shù)據(jù)傳輸速率，DDR5需要更嚴格且精準的電壓范圍。在電源配置變化的情況下,它需要非常低的噪音，而且需要在這些較低電壓下保持可靠性。
將PMIC集成到內(nèi)存模塊的架構變化真正解決了電阻（IR）下降的問題。這與其他創(chuàng)新和DDR5 DIMM一起，使得內(nèi)存帶寬和容量得到了顯著提升。
據(jù)了解，全新的DDR5服務器PMIC系列包含符合JEDEC超高電流的PMIC5020、高電流PMIC5000和低電流PMIC5010規(guī)范的產(chǎn)品。其中， PMIC5020將使未來幾代 DDR5 RDIMM 的性能和容量達到新的基準。
通過全新的PMIC系列，Rambus可以支持多代基于 DDR5 的高性能服務器，提供完整的內(nèi)存接口芯片組，包含 RCD、PMIC、SPD Hub、溫度傳感器IC。憑借在高性能內(nèi)存領域積累30多年的經(jīng)驗，Rambus已成為RDIMM制造商的“一站式” DDR5 內(nèi)存接口芯片供應商，能夠為制造商提供最高級別的驗證保證并加快其產(chǎn)品上市時間。
內(nèi)存集成PMIC或?qū)⒊蔀橼厔?，DDR5面臨漲價壓力
John Eble表示，業(yè)界已經(jīng)經(jīng)歷了將PMIC集成到模塊驗證和認證中的學習曲線，并看到了由此帶來的好處，他認為這將繼續(xù)成為一種趨勢。
在內(nèi)存模塊中集成PMIC，遵循了微電子行業(yè)將供電設備盡可能靠近使用點的趨勢。DDR5 內(nèi)存模塊是第一個在內(nèi)存模塊上集成PMIC的主要內(nèi)存類型，未來，隨著對更高性能和電源效率的需求不斷增長，可能會定義新型內(nèi)存模塊。而且，這些模塊很有可能繼續(xù)在模塊上集成 PMIC，以進一步優(yōu)化電源管理并提高整體系統(tǒng)性能。
談及DDR5的價格走勢，John Eble認為，現(xiàn)階段，DDR5內(nèi)存價格總體上還是在根據(jù)整個DRAM內(nèi)存行業(yè)的供需關系正常運行著。去年對于DRAM行業(yè)來說是比較艱難的一年，有很多的資本支出計劃被削減，所以就導致供應收緊。此外，某些細分市場（如人工智能的 HBM）的需求也在急劇增長。DRAM制造商所擁有的產(chǎn)能，都被分配給了這些利潤豐厚的細分市場，而向其他內(nèi)存類型分配產(chǎn)能會進一步緊縮供應。因此，從目前的情況來看，DDR5 的需求似乎大于供應，在供應恢復平衡之前，很可能會造成價格上漲的壓力。
下載ECAD模型
