新發(fā)布的 ?NeuralVDB和 ?Kaolin Wisp 等十幾款工具和程序使數(shù)百萬設(shè)計(jì)師和創(chuàng)作者能夠輕松、快速地創(chuàng)建 3D 內(nèi)容。
一直以來,創(chuàng)建游戲、虛擬世界(包括元宇宙)、產(chǎn)品設(shè)計(jì)或視覺效果場(chǎng)景中的 3D 物體都是一項(xiàng)高度精細(xì)的工作,即便是技藝精湛的藝術(shù)家也必須在細(xì)節(jié)逼真度與期限和預(yù)算壓力之間取得平衡。
要制作出在物理世界中看起來無異的物品需要耗費(fèi)很長(zhǎng)的時(shí)間,更復(fù)雜的是有時(shí)需要讓多個(gè)物體和角色在虛擬世界中互動(dòng)。模擬物理已變得和模擬光線一樣重要,例如虛擬工廠中的機(jī)器人不僅要有與真實(shí)機(jī)器人完全相同的外觀,還要有完全相同的承重和制動(dòng)能力。
完全做到這一點(diǎn)很難,但這也蘊(yùn)含著巨大的機(jī)遇。除了產(chǎn)品設(shè)計(jì)外,它還影響到交通運(yùn)輸、醫(yī)療、電信、娛樂等多個(gè)萬億美元的行業(yè)。最終,在虛擬世界中創(chuàng)建的內(nèi)容數(shù)量將超過在物理世界中創(chuàng)建的內(nèi)容。
為了簡(jiǎn)化和縮短這一流程,NVIDIA 于今日發(fā)布新的研究和多款工具,這些工具將神經(jīng)圖形的應(yīng)用于創(chuàng)建、動(dòng)畫 3D 物體和世界。
這些 SDK 包括為行業(yè)標(biāo)準(zhǔn) OpenVDB 帶來突破性更新的 NeuralVDB,以及建立神經(jīng)場(chǎng)研究框架的 Pytorch 庫——Kaolin Wisp 。它們不但簡(jiǎn)化了設(shè)計(jì)師的創(chuàng)作流程,還使數(shù)百萬非專業(yè)設(shè)計(jì)人士也能輕松創(chuàng)建 3D 內(nèi)容。
神經(jīng)圖形是將 AI 和圖形學(xué)相結(jié)合的新領(lǐng)域,可以用來創(chuàng)建能夠從數(shù)據(jù)中學(xué)習(xí)的加速圖形流程。AI 的加入改進(jìn)了結(jié)果、幫助實(shí)現(xiàn)設(shè)計(jì)選擇的自動(dòng)化并為藝術(shù)家和創(chuàng)作者提供目前無法想象的新機(jī)會(huì)。神經(jīng)圖形學(xué)將重新定義用戶的虛擬世界創(chuàng)建、模擬和體驗(yàn)方式。
這些 SDK 和研究將推動(dòng)內(nèi)容創(chuàng)作流程的每個(gè)階段,包括:
3D 內(nèi)容創(chuàng)建
- Kaolin Wisp:對(duì)Kaolin(一個(gè)能夠?qū)⑿录夹g(shù)測(cè)試和實(shí)施時(shí)間從幾周縮短到幾天,讓 3D深度學(xué)習(xí)研究變得更快的 PyTorch 庫)的補(bǔ)充。Kaolin Wisp 是一個(gè)面向神經(jīng)領(lǐng)域研究的庫,它建立了一套加速神經(jīng)領(lǐng)域新研究的通用工具和框架。
- 即時(shí)神經(jīng)圖形基元:一種捕捉現(xiàn)實(shí)世界物體形狀的新方法,也是 NVIDIA Instant NeRF(一種可將靜止圖像集變成數(shù)字 3D 場(chǎng)景的可逆渲染模型)背后的靈感來源。這項(xiàng)技術(shù)和相關(guān)的GitHub代碼將該流程的速度加快了高達(dá) 1000 倍。
- 3D MoMa:一種新的可逆渲染流程,使用戶可以將 2D 物體快速導(dǎo)入圖形引擎,并創(chuàng)建出可以用現(xiàn)實(shí)材料、照明和物理學(xué)進(jìn)行修改的 3D 物體。
- GauGAN360:NVIDIA GauGAN 的進(jìn)化版本。這個(gè) AI 模型可以將粗糙的涂鴉變成逼真的繪畫作品。GauGAN360 可生成能夠移植到 Omniverse 場(chǎng)景的 8K 360 度全景圖。
- Omniverse Avatar Cloud Engine(ACE):這個(gè)全新的云API、微服務(wù)和工具集可創(chuàng)建、自定義和部署數(shù)字人應(yīng)用。ACE建立在NVIDIA的統(tǒng)一計(jì)算框架基礎(chǔ)之上,開發(fā)者可通過它將NVIDIA的核心AI技術(shù)無縫集成到其虛擬形象應(yīng)用中。
物理學(xué)和動(dòng)畫
- NeuralVDB:一項(xiàng)對(duì)當(dāng)前行業(yè)的體數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn) OpenVDB 的突破性改進(jìn)。NeuralVDB運(yùn)用機(jī)器學(xué)習(xí)引入緊湊型神經(jīng)表示法,大幅減少了內(nèi)存占用,以支持更高分辨率的 3D 數(shù)據(jù)。
- Omniverse Audio2Face:一種可將音頻源生成生動(dòng)面部動(dòng)畫的 AI 技術(shù)。它非常適合用于交互式實(shí)時(shí)應(yīng)用和作為傳統(tǒng)的面部動(dòng)畫創(chuàng)作工具。
- ASE:動(dòng)畫技能嵌入:一種使物理模擬角色在不熟悉的場(chǎng)景中以更靈敏、逼真的方式行動(dòng)的方法。它使用深度學(xué)習(xí)指導(dǎo)角色如何應(yīng)對(duì)新的任務(wù)和行動(dòng)。
- TAO 工具包:一個(gè)使用戶能夠創(chuàng)建準(zhǔn)確、高性能姿勢(shì)預(yù)估模型的框架。它能夠以比當(dāng)前方法更快的速度運(yùn)用計(jì)算機(jī)視覺評(píng)估個(gè)人可以在場(chǎng)景中做什么。
體驗(yàn)
- 影像特征眼動(dòng)追蹤:一個(gè)將像素渲染質(zhì)量與用戶反應(yīng)時(shí)間相聯(lián)系的研究模型。它通過預(yù)測(cè)渲染質(zhì)量、顯示屬性和瀏覽條件的最佳組合,實(shí)現(xiàn)最小的延遲,使快節(jié)奏的交互式計(jì)算機(jī)圖形學(xué)應(yīng)用(如競(jìng)技游戲)有更好的表現(xiàn)。
- VR全息眼鏡:與斯坦福大學(xué)一同開發(fā)的全新 VR 眼鏡設(shè)計(jì),可在開創(chuàng)性的 2.5 毫米厚光學(xué)堆棧中提供全色 3D 全息圖像。
與 NVIDIA 一起在 SIGGRAPH 上進(jìn)一步了解圖形學(xué)、AI 和虛擬世界的最新研究與技術(shù)突破。查看 NVIDIA Research 的最新創(chuàng)新成果并獲得 NVIDIA 全套 SDK、工具和庫。