1891
拉斯維加斯CES上，英偉達(dá)最新發(fā)布了一系列機(jī)器人基礎(chǔ)模型、數(shù)據(jù)管線和仿真框架，以加速下一代人形機(jī)器人的開發(fā)進(jìn)程。
隨著Isaac GR00T Blueprint及相關(guān)技術(shù)的推出，人形機(jī)器人的開發(fā)進(jìn)程會(huì)大大加速，這將為該市場(chǎng)注入強(qiáng)勁動(dòng)力。開發(fā)者能夠更高效地開發(fā)出性能更優(yōu)、功能更豐富的人形機(jī)器人，滿足工業(yè)和制造業(yè)等領(lǐng)域的巨大需求，推動(dòng)相關(guān)行業(yè)的智能化升級(jí)和生產(chǎn)力提升。
三大突破，加速人形機(jī)器人開發(fā)訓(xùn)練過程
英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛在CES上宣布了用于合成運(yùn)動(dòng)生成的 NVIDIA Isaac GR00T Blueprint，可幫助開發(fā)者生成海量的合成運(yùn)動(dòng)數(shù)據(jù)，以便通過模仿學(xué)習(xí)來訓(xùn)練人形機(jī)器人。預(yù)計(jì)未來二十年，人形機(jī)器人市場(chǎng)將達(dá)到 380 億美元。英偉達(dá)最新突破主要體現(xiàn)在以下三大方面：
首先是合成運(yùn)動(dòng)生成。
Isaac GR00T Blueprint通過合成運(yùn)動(dòng)生成技術(shù)，極大地降低了人形機(jī)器人訓(xùn)練數(shù)據(jù)的獲取成本和難度。
傳統(tǒng)的數(shù)據(jù)收集方式需要在真實(shí)世界中進(jìn)行大量繁瑣的人類動(dòng)作捕捉，在真實(shí)世界中收集這些廣泛、高質(zhì)量的數(shù)據(jù)集既繁瑣又耗時(shí)，而且成本往往高得令人卻步。而該技術(shù)只需少量人類示范，就能生成海量的合成運(yùn)動(dòng)數(shù)據(jù)集。這不僅提高了數(shù)據(jù)獲取的效率，還使得開發(fā)者能夠快速擴(kuò)充數(shù)據(jù)集，涵蓋更豐富的動(dòng)作和場(chǎng)景，為人形機(jī)器人的訓(xùn)練提供了更充分的數(shù)據(jù)支持。
其次是模仿學(xué)習(xí)的高效應(yīng)用。
模仿學(xué)習(xí)作為機(jī)器人學(xué)習(xí)的一個(gè)重要子集，能夠讓人形機(jī)器人通過觀察和模仿人類專家的示范來獲取新技能。Isaac GR00T Blueprint將模仿學(xué)習(xí)與合成運(yùn)動(dòng)生成相結(jié)合，使得機(jī)器人在仿真環(huán)境中能夠更高效地學(xué)習(xí)和掌握復(fù)雜的動(dòng)作和任務(wù)。這種學(xué)習(xí)方式不僅能夠提高機(jī)器人的學(xué)習(xí)效率，還能使其更好地適應(yīng)多樣化的應(yīng)用場(chǎng)景.
第三是仿真與現(xiàn)實(shí)的無縫銜接。
最新推出的NVIDIA Cosmos平臺(tái)，進(jìn)一步縮小了仿真與現(xiàn)實(shí)之間的差距。該平臺(tái)擁有一系列開放的預(yù)訓(xùn)練世界基礎(chǔ)模型，專為生成具有物理感知的視頻和物理AI開發(fā)所需的世界狀態(tài)而設(shè)計(jì)。它包含自回歸模型和擴(kuò)散模型，有各種模型尺寸并適用于多種輸入數(shù)據(jù)格式。這些模型基于1800萬(wàn)億個(gè)數(shù)據(jù)單元進(jìn)行訓(xùn)練，其中包括 200 萬(wàn)小時(shí)的自動(dòng)駕駛、機(jī)器人、無人機(jī)拍攝的視頻以及合成數(shù)據(jù)。
除了幫助生成大型數(shù)據(jù)集外，Cosmos 還能通過將圖像從3D擴(kuò)展到真實(shí)場(chǎng)景，使得仿真環(huán)境中的數(shù)據(jù)更加接近現(xiàn)實(shí)世界，從而提高了機(jī)器人在現(xiàn)實(shí)世界中的應(yīng)用效果。結(jié)合Omniverse的高度可控、物理精確的仿真能力，能夠最大限度地減少世界模型常見的幻覺問題，確保機(jī)器人在現(xiàn)實(shí)世界中的行為和決策更加準(zhǔn)確可靠。
Isaac GR00T Blueprint加速人形機(jī)器人訓(xùn)練全流程
下圖是NVIDIA Isaac GR00T Blueprint的合成運(yùn)動(dòng)生成流程，通過一系列用于加速人形機(jī)器人開發(fā)的工具和框架，英偉達(dá)實(shí)現(xiàn)了從動(dòng)作捕捉到機(jī)器人策略訓(xùn)練的整個(gè)過程的加速。
首先通過 GR00T-Teleop 工作流，用戶可以借助 Apple Vision Pro 在數(shù)字孿生環(huán)境中捕捉人類動(dòng)作。這些人類動(dòng)作會(huì)被記錄下來作為金標(biāo)準(zhǔn)，并在仿真環(huán)境中由機(jī)器人模仿學(xué)習(xí)，這也是機(jī)器人學(xué)習(xí)的基礎(chǔ)。
然后，GR00T-Mimic 工作流會(huì)將捕捉到的人類示范擴(kuò)展成更大的合成運(yùn)動(dòng)數(shù)據(jù)集。通過Motion Annotator和Isaac Lab，機(jī)器人開始模仿人類的動(dòng)作，這個(gè)過程涉及到軌跡生成（Trajectory Generation）、加速物理引擎（Accelerated Physics Engine）和軌跡評(píng)估器（Trajectory Evaluator）。
最后，基于 NVIDIA Omniverse 和 NVIDIA Cosmos 平臺(tái)構(gòu)建的 GR00T-Gen 工作流，會(huì)通過域隨機(jī)化和 3D 提升技術(shù)，指數(shù)級(jí)擴(kuò)增這個(gè)數(shù)據(jù)集。
之后，該數(shù)據(jù)集可作為機(jī)器人策略的輸入，在 NVIDIA Isaac Lab（一個(gè)用于機(jī)器人學(xué)習(xí)的開源模塊化框架）中，教會(huì)機(jī)器人如何在其環(huán)境中高效且安全地移動(dòng)和互動(dòng)。
人形機(jī)器人將成為主流，英偉達(dá)打造強(qiáng)大生態(tài)系統(tǒng)
對(duì)人形機(jī)器人的未來，黃仁勛持有非常樂觀的態(tài)度。他認(rèn)為，人形機(jī)器人的時(shí)代即將到來，這標(biāo)志著通用機(jī)器人技術(shù)的重大進(jìn)步。預(yù)計(jì)人形機(jī)器人將成為主流，并且售價(jià)可能降至1-2萬(wàn)美元。
人形機(jī)器人領(lǐng)域，英偉達(dá)一直致力于構(gòu)建一個(gè)強(qiáng)大的生態(tài)系統(tǒng)，涵蓋從基礎(chǔ)模型開發(fā)、數(shù)據(jù)生成與處理、仿真訓(xùn)練到實(shí)際應(yīng)用的各個(gè)環(huán)節(jié)，為開發(fā)者提供了全方位的技術(shù)支持和服務(wù)。目前，包括波士頓動(dòng)力、Figure等在內(nèi)的主要機(jī)器人公司已經(jīng)開始采用Isaac GR00T，并展示了相關(guān)成果。
下一步，這將吸引更多的企業(yè)和開發(fā)者加入到這個(gè)生態(tài)系統(tǒng)中，共同推動(dòng)人形機(jī)器人技術(shù)的發(fā)展和應(yīng)用。特別是跨領(lǐng)域的合作，將會(huì)大大加速人形機(jī)器人的開發(fā)與創(chuàng)新。例如，軟件開發(fā)商可以利用Isaac GR00T Blueprint生成的合成數(shù)據(jù)集，開發(fā)出更加智能和高效的人形機(jī)器人控制軟件；硬件制造商可以結(jié)合NVIDIA的硬件平臺(tái)和工具，設(shè)計(jì)和制造出性能更優(yōu)的人形機(jī)器人硬件；科研機(jī)構(gòu)可以借助這些技術(shù)進(jìn)行人形機(jī)器人相關(guān)的研究和探索，推動(dòng)人工智能和機(jī)器人技術(shù)的前沿發(fā)展。
正如黃仁勛強(qiáng)調(diào)，英偉達(dá)在機(jī)器人領(lǐng)域的三機(jī)協(xié)同方案：DGX系統(tǒng)負(fù)責(zé)基礎(chǔ)訓(xùn)練，搭載Cosmos的Omniverse處理優(yōu)化和強(qiáng)化學(xué)習(xí)，最后由AGX在現(xiàn)實(shí)環(huán)境中執(zhí)行推理任務(wù)。這一系列平臺(tái)，不僅提供了開發(fā)方案的閉環(huán)實(shí)現(xiàn)，也進(jìn)一步為機(jī)器人未來的加速創(chuàng)新奠定了堅(jiān)實(shí)基礎(chǔ)。
