1325
任何單個GPU、XPU或其他AI加速器都無法滿足AI工作負(fù)載的巨大計算需求。為了滿足這一需求，需要成千上萬個，甚至不久的將來可能需要數(shù)十萬個這樣的加速器協(xié)同工作，共同分擔(dān)處理負(fù)載。
以Llama3為例，僅預(yù)訓(xùn)練階段就需要超過700TB的內(nèi)存和16,000個加速器。與其他AI模型一樣，其處理參數(shù)預(yù)計每四到六個月就會翻一番。
這種大規(guī)模并行處理和持續(xù)增長給支撐AI集群的網(wǎng)絡(luò)結(jié)構(gòu)帶來了巨大的壓力，更具體地說，給集群內(nèi)部所有加速器之間的數(shù)據(jù)傳輸通道（即互連）帶來了巨大的壓力。
為了滿足更大規(guī)模AI集群對更高帶寬和更低延遲互連的需求，超以太網(wǎng)和超加速器鏈路（UALink）等新興標(biāo)準(zhǔn)應(yīng)運(yùn)而生。我們最近率先發(fā)布的超以太網(wǎng)和UALink IP解決方案，將支持大規(guī)模AI集群的橫向和縱向擴(kuò)展。
AI基礎(chǔ)結(jié)構(gòu)的橫向和縱向擴(kuò)展
為了滿足現(xiàn)代工作負(fù)載日益增長的計算需求，AI集群需要同時進(jìn)行橫向擴(kuò)展（通過網(wǎng)絡(luò)結(jié)構(gòu)）和縱向擴(kuò)展（在機(jī)架內(nèi)）。
超以太網(wǎng)解決了橫向擴(kuò)展問題，通過提供高性能、與供應(yīng)商無關(guān)的鏈路，它能夠?qū)⒍噙_(dá)百萬級的節(jié)點(diǎn)連接成一個龐大的AI網(wǎng)絡(luò)。UALink解決了縱向擴(kuò)展問題，通過提供高速、低延遲的鏈路，可將一千個以上的AI加速器連接在一起。
采用這些開放的行業(yè)標(biāo)準(zhǔn)協(xié)議，可以避免供應(yīng)商鎖定，并靈活擴(kuò)展處理性能和規(guī)模。這為構(gòu)建和升級超大規(guī)模數(shù)據(jù)中心及高性能計算（HPC）環(huán)境提供了靈活性，并保護(hù)了用戶的投資。
作為超級以太網(wǎng)聯(lián)盟（UEC）和UALink聯(lián)盟（UAC）的活躍成員，我們正在幫助塑造和推動這些新興標(biāo)準(zhǔn)，以促進(jìn)下一代AI和HPC架構(gòu)的發(fā)展。
業(yè)界率先發(fā)布的超以太網(wǎng)和UALink IP解決方案
新思科技推出超以太網(wǎng)IP和UALink IP解決方案，以滿足高帶寬、低延遲互連的需求，這些解決方案提供了擴(kuò)展當(dāng)今和未來AI和HPC架構(gòu)所需的接口。
我們的超以太網(wǎng)IP解決方案基于經(jīng)驗證的技術(shù)，能夠提供1.6 Tbps的驚人帶寬和超低延遲，可用于橫向擴(kuò)展大規(guī)模AI網(wǎng)絡(luò)。我們的UALink IP解決方案能夠提供每通道高達(dá)200 Gbps的傳輸速度，并支持內(nèi)存共享，可用于縱向擴(kuò)展加速器連接。
這兩種解決方案都基于我們先進(jìn)的以太網(wǎng)和PCIe IP（已成功助力客戶實(shí)現(xiàn)5,000多次流片），能有效降低采用超以太網(wǎng)和UALink互連開發(fā)新一代半導(dǎo)體、片上系統(tǒng)（SoC）及AI加速器的風(fēng)險，并縮短產(chǎn)品上市時間。
新思科技處于AI和HPC設(shè)計創(chuàng)新的前沿，提供廣泛的高速接口IP組合。我們?yōu)镻CIe 7.0、1.6T以太網(wǎng)、CXL、HBM、UCIe以及最新的超以太網(wǎng)和UALink提供完整且安全的IP解決方案，進(jìn)而推動AI和HPC在性能、可擴(kuò)展性、效率和互操作性等方面達(dá)到新的高度。
