• 正文
  • 相關(guān)推薦
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

老黃發(fā)布新核彈B300,英偉達(dá):B200已破DeepSeek-R1推理世界紀(jì)錄

03/19 14:04
1085
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

金磊 一水 發(fā)自 凹非寺,量子位 | 公眾號(hào) QbitAI

皮衣老黃,帶著最強(qiáng)AI芯片GB300閃亮登場(chǎng)“AI超級(jí)碗”GTC,燃爆全場(chǎng)!

性能方面,和去年發(fā)布的GB200相比,推理性能是其1.5倍。

據(jù)悉,GB300將在今年的下半年出貨。

除此之外,老黃還預(yù)覽(2026年下半年發(fā)貨)了英偉達(dá)下一代AI超級(jí)芯片,名字大變樣——Vera Rubin。

其實(shí)它的命名規(guī)則和Grace Blackwell(GB)類似:Grace是CPU,Blackwell是GPU。

而Vera Rubin中的Vera是CPU,Rubin是GPU。根據(jù)老黃的說(shuō)法:幾乎所有細(xì)節(jié)都是新的。

從預(yù)覽的性能來(lái)看,Vera Rubin整體性能更是GB300的3.3倍。更具體一些:

Vera:CPU的內(nèi)存是Grace的4.2倍,內(nèi)存帶寬是Grace的2.4倍。

Rubin:將配備288GB的HBM4。

在Vera Rubin之后的下一代GPU(2027年下半年),英偉達(dá)會(huì)將其命名為Rubin Ultra,性能直接拉到GB300的14倍。

更多的具體性能對(duì)比,是這樣的:

性能上的提升,也正應(yīng)了老黃在現(xiàn)場(chǎng)說(shuō)的那句話:大規(guī)模推理是一種極限計(jì)算。

不僅如此,就連Rubin之后的下一代GPU,老黃也給亮出來(lái)了——將以Feynman來(lái)命名。

而縱觀整場(chǎng)GTC,我們可以輕松提煉老黃提及最多的幾個(gè)關(guān)鍵詞:tokens推理Agentic AI。

但除此之外,還有一個(gè)比較有意思的關(guān)鍵詞——DeepSeek。

英偉達(dá)官方博客稱:實(shí)現(xiàn)了DeepSeek-R1推理性能世界紀(jì)錄。

每個(gè)用戶每秒可處理超過(guò)250個(gè)token;實(shí)現(xiàn)每秒超過(guò)30000個(gè)token的最大吞吐量。

但這項(xiàng)紀(jì)錄采用的是B200,英偉達(dá)表示隨著Blackwell Ultra等新GPU的出現(xiàn),紀(jì)錄還將繼續(xù)被打破。

而老黃在現(xiàn)場(chǎng)體現(xiàn)傳統(tǒng)LLM和推理LLM的區(qū)別時(shí),也是拿著DeepSeek-R1來(lái)舉例:

嗯,微妙,著實(shí)有點(diǎn)微妙。

那么除了一系列新GPU之外,還有什么?我們繼續(xù)往下看。

推出兩款個(gè)人AI超級(jí)計(jì)算機(jī)

首先,第一款個(gè)人AI超級(jí)計(jì)算機(jī),叫做DGX Spark

它就是老黃在今年1月份CES中發(fā)布的那個(gè)全球最小的個(gè)人AI超級(jí)計(jì)算機(jī)Project Digits,這次取了個(gè)正式的名字。

 

DGX Spark售價(jià)3000美元(約21685元),大小和Mac Mini相當(dāng)。

它采用的是英偉達(dá)GB10芯片,能夠提供每秒1000萬(wàn)億次的AI運(yùn)算,用于微調(diào)和推理最新AI模型。

其中,GB10采用了NVLink-C2C互連技術(shù),提供CPU+ gpu的相干內(nèi)存模型,帶寬是第五代PCIe的5倍。

值得一提的是,英偉達(dá)官網(wǎng)已經(jīng)開發(fā)預(yù)定了哦~

至于第二款個(gè)人AI超級(jí)電腦,則是DGX Station。

DGX Station所采用的,正是今天推出的GB300,也是首個(gè)采用這款芯片的AI電腦。

其性能如下:

擁有784GB的相干內(nèi)存空間

擁有英偉達(dá)的ConnectX-8超級(jí)網(wǎng)卡,支持高達(dá)800Gb/s的網(wǎng)絡(luò)速度

擁有Nvidia的CUDA-X AI平臺(tái),可訪問(wèn)NIM微服務(wù)和AI Enterprise

用老黃的話來(lái)說(shuō)就是:

這就是PC應(yīng)該有的樣子。

至于上市趕時(shí)間,則是將于今年晚些時(shí)候從華碩、BOXX、戴爾、惠普、Lambda和美超微等廠商處推出。

而根據(jù)英偉達(dá)官方的介紹,這兩款個(gè)人AI超級(jí)計(jì)算機(jī),是面向研究人員、數(shù)據(jù)科學(xué)家、AI開發(fā)者和學(xué)生設(shè)計(jì)的。

除此之外,老黃在這屆GTC上還涉足了以太網(wǎng),推出全球首個(gè)面向AI的以太網(wǎng)網(wǎng)絡(luò)平臺(tái)——Spectrum-X。

它由英偉達(dá)的Spectrum-4以太網(wǎng)交換機(jī)和BlueField-3 SuperNIC共同發(fā)力,能為AI、機(jī)器學(xué)習(xí)和自然語(yǔ)言處理等提供高性能支持。

相比傳統(tǒng)以太網(wǎng),Spectrum-X可將AI網(wǎng)絡(luò)性能提升1.6倍,提高AI云的電力效率。

以及還包括基于硅光學(xué)的Spectrum-X Photonics和Quantum-X Photonics網(wǎng)絡(luò)交換平臺(tái),用于使用硅光學(xué)的超大規(guī)模數(shù)據(jù)中心

新的網(wǎng)絡(luò)交換平臺(tái)將端口數(shù)據(jù)傳輸速度提升至1.6Tb/s,總傳輸速度達(dá)到400Tb/s,使數(shù)百萬(wàn)個(gè)GPU能夠無(wú)縫協(xié)同工作。

還開源了一系列軟件

除了硬件,英偉達(dá)這次在軟件開源方面也有幾個(gè)新動(dòng)作。

其中最重磅的,當(dāng)屬發(fā)布NVIDIA Dyamo,一個(gè)用于加速AI模型推理的分布式推理服務(wù)庫(kù)。

老黃將其稱為“AI工廠的操作系統(tǒng)”,核心目標(biāo)在于提高推理性能的同時(shí)降低Test-Time算力消耗。

按照英偉達(dá)的說(shuō)法,在NVIDIA Blackwell上使用Dynamo優(yōu)化推理,能讓DeepSeek-R1的吞吐量提升30倍。

至于背后原因,主要在于Dynamo可以通過(guò)動(dòng)態(tài)調(diào)整GPU資源應(yīng)對(duì)請(qǐng)求波動(dòng),并優(yōu)化數(shù)據(jù)卸載到成本更低的存儲(chǔ)設(shè)備,從而降低推理成本并提高效率。

目前Dynamo已完全開源,支持PyTorch、SGLang、NVIDIA TensorRTyTM以及vLLM,在GitHub獲取后即可將推理工作分配到多達(dá)1000個(gè)NVIDIA GPU芯片。

此外,英偉達(dá)還宣布開源新的AI推理模型——Llama Nemotron,該系列模型也曾出現(xiàn)在今年1月的CES上。

據(jù)介紹,Llama Nemotron基于開源Llama基礎(chǔ)模型構(gòu)建,采用英偉達(dá)最新技術(shù)和高質(zhì)量數(shù)據(jù)集進(jìn)行剪枝和訓(xùn)練,優(yōu)化了計(jì)算效率和準(zhǔn)確性。

為了直觀展示其性能,老黃在大會(huì)上將它和Llama 3.3(70B)以及DeepSeek R1 Llama (70B)進(jìn)行了對(duì)比,下圖展示了它們?cè)贏gentic任務(wù)上的平均準(zhǔn)確率(橫軸)與每秒處理的tokens數(shù)量(縱軸):

可以看出,新的推理模型以49B參數(shù)量性能遠(yuǎn)超另外兩個(gè)模型,在Agentic任務(wù)中表現(xiàn)更為突出。

目前Nano和Super模型可在NIM微服務(wù)中獲取,Ultra模型即將推出。

與此同時(shí),英偉達(dá)在自動(dòng)駕駛具身智能方面也有新進(jìn)展。

大會(huì)開始不久,老黃即宣布英偉達(dá)與通用汽車達(dá)成合作:通用將在自動(dòng)駕駛上使用英偉達(dá)的AI技術(shù)。

在這之后,英偉達(dá)正式發(fā)布了端到端自動(dòng)駕駛汽車全棧綜合安全系統(tǒng)NVIDIA Halos。

這個(gè)系統(tǒng)主要將NVIDIA的汽車硬件和軟件解決方案與尖端AI研究相結(jié)合,以確保從云端到車輛的自動(dòng)駕駛汽車(AVs)的安全開發(fā)。

介紹過(guò)程中,老黃多次提到了“安全性”這個(gè)詞,并公開聲稱:

我們是世界上第一家對(duì)每一行代碼進(jìn)行安全評(píng)估的公司

落實(shí)到具體上,Halos系統(tǒng)主要在三個(gè)互補(bǔ)的層面提供支持:

技術(shù)層面:包括平臺(tái)安全、算法安全和生態(tài)系統(tǒng)安全;

開發(fā)層面:涵蓋設(shè)計(jì)階段、部署階段和驗(yàn)證階段的安全防護(hù)措施;

計(jì)算層面:從AI訓(xùn)練到部署的全過(guò)程,利用三種強(qiáng)大的計(jì)算平臺(tái),分別是NVIDIA DGX用于AI訓(xùn)練,NVIDIA Omniverse和NVIDIA Cosmos在NVIDIA OVX上運(yùn)行用于模擬,以及NVIDIA DRIVE AGX用于部署。

到了大會(huì)的最后階段,老黃宣布英偉達(dá)與Google DeepMind和Disney Research正合作開發(fā)下一代開源仿真物理模型Newton

據(jù)英偉達(dá)介紹,Newton基于NVIDIA Warp構(gòu)建,支持與MuJoCo Playground或NVIDIA Isaac Lab等學(xué)習(xí)框架兼容。

它主要用于機(jī)器人模擬訓(xùn)練,使用之后可以幫助研究人員安全、加速且低成本地訓(xùn)練/開發(fā)/測(cè)試/驗(yàn)證機(jī)器人控制算法和原型設(shè)計(jì)。

同時(shí),英偉達(dá)還同步推出了?Isaac GR00T N1,號(hào)稱全球首個(gè)開源的、完全可定制的人形機(jī)器人基礎(chǔ)模型。

它采用雙系統(tǒng)架構(gòu),靈感來(lái)自人類思考模式,包括快速思考的動(dòng)作模型(System 1)和慢速思考的決策模型(System 2)。

在大會(huì)演示中,GR00T N1能夠輕松泛化常見(jiàn)的任務(wù),如抓取、移動(dòng)物體以及在雙臂之間轉(zhuǎn)移物品,或執(zhí)行需要長(zhǎng)時(shí)間推理的復(fù)雜任務(wù)。

最后的最后,老黃在謝幕之前還成功“召喚”出了配有GR00T N1模型的機(jī)器人——Blue(星球大戰(zhàn)機(jī)器人)。

雖然過(guò)程中有些不聽(tīng)話的“叛逆行為”,但好在還是給了點(diǎn)老黃面子(doge)。

One More Thing

今年的GTC大會(huì),除了老黃的主題演講,還有一件事最值得期待:

那就是今年首次設(shè)立的“量子日”活動(dòng),屆時(shí)老黃將與D-Wave Quantum和Rigetti Computing等十余家量子計(jì)算行業(yè)領(lǐng)軍企業(yè)的高管同臺(tái),討論量子計(jì)算的技術(shù)現(xiàn)狀、潛力以及未來(lái)發(fā)展方向。

要知道今年年初時(shí),老黃一句“量子計(jì)算還需20年才實(shí)用”,相關(guān)概念股曾應(yīng)聲腰斬。

所以大家這次都在觀望,老黃是否又會(huì)“語(yǔ)出驚人”,相關(guān)探討是否會(huì)對(duì)量子計(jì)算產(chǎn)業(yè)產(chǎn)生更大影響。

咱們繼續(xù)坐等答案揭曉~

老黃演講回看地址:https://www.youtube.com/watch?v=_waPvOwL9Z8

英偉達(dá)

英偉達(dá)

NVIDIA(中國(guó)大陸譯名:英偉達(dá),港臺(tái)譯名:輝達(dá)),成立于1993年,是一家美國(guó)跨國(guó)科技公司,總部位于加利福尼亞州圣克拉拉市,由黃仁勛、克里斯·馬拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同創(chuàng)立。公司早期專注于圖形芯片設(shè)計(jì)業(yè)務(wù),隨著公司技術(shù)與業(yè)務(wù)發(fā)展,已成長(zhǎng)為一家提供全棧計(jì)算的人工智能公司,致力于開發(fā)CPU、DPU、GPU和AI軟件,為建筑工程、金融服務(wù)、科學(xué)研究、制造業(yè)、汽車等領(lǐng)域的計(jì)算解決方案提供支持。

NVIDIA(中國(guó)大陸譯名:英偉達(dá),港臺(tái)譯名:輝達(dá)),成立于1993年,是一家美國(guó)跨國(guó)科技公司,總部位于加利福尼亞州圣克拉拉市,由黃仁勛、克里斯·馬拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同創(chuàng)立。公司早期專注于圖形芯片設(shè)計(jì)業(yè)務(wù),隨著公司技術(shù)與業(yè)務(wù)發(fā)展,已成長(zhǎng)為一家提供全棧計(jì)算的人工智能公司,致力于開發(fā)CPU、DPU、GPU和AI軟件,為建筑工程、金融服務(wù)、科學(xué)研究、制造業(yè)、汽車等領(lǐng)域的計(jì)算解決方案提供支持。收起

查看更多

相關(guān)推薦