多模態(tài)自動(dòng)駕駛混合渲染HRMAD：將NeRF和3DGS進(jìn)行感知驗(yàn)證和端到端AD測(cè)試

基于3DGS和NeRF的三維重建技術(shù)在過(guò)去的一年中取得了快速的進(jìn)步，動(dòng)態(tài)模型也變得越來(lái)越普遍，然而這些模型僅限于處理原始軌跡域內(nèi)的對(duì)象。

HRMAD作為一種混合方案，將傳統(tǒng)的基于網(wǎng)格的動(dòng)態(tài)三維神經(jīng)重建和物理渲染優(yōu)勢(shì)結(jié)合，支持在任意位置部署網(wǎng)格動(dòng)態(tài)代理，自由調(diào)整環(huán)境條件，在多個(gè)相機(jī)視角下進(jìn)行自由切換，與傳統(tǒng)仿真方法相比有效減少了領(lǐng)域差距，同時(shí)保留了可控性。

一、方法描述

HRMAD提出的NeRF2GS雙模型訓(xùn)練范式顯著提升了合成質(zhì)量，尤其是道路和車(chē)道標(biāo)志，同時(shí)滿足交互式幀率。通過(guò)此塊級(jí)并行訓(xùn)練架構(gòu)，可以處理超過(guò)10萬(wàn)平方米場(chǎng)景重建，并同步傳輸出分割掩膜/法線圖/深度圖。通過(guò)物理光柵化/光線追蹤渲染后端，HRMAD支持多個(gè)相機(jī)模型、LiDAR和Radar的實(shí)時(shí)多模態(tài)輸出。如圖1所示的模型架構(gòu)。

圖1

具體而言，HRMAD基于RGB相機(jī)、GNSS和LiDAR的同步數(shù)據(jù)進(jìn)行模型訓(xùn)練。該方案結(jié)合了NeRF優(yōu)秀的泛化能力和3DGS實(shí)時(shí)的渲染速度，通過(guò)T-S結(jié)構(gòu)，將NeRF生成的深度、法線和外觀監(jiān)督信息傳遞給3DGS模型，并通過(guò)正則化將LiDAR深度數(shù)據(jù)引入NeRF，從而實(shí)現(xiàn)更準(zhǔn)確的幾何結(jié)構(gòu)建模。

傳統(tǒng)基于透視投影的渲染方法通常依賴(lài)于特定的投影模型，為了在3DGS場(chǎng)景中適配任意傳感器，HRMAD提出了一種新的渲染算法架構(gòu)，如下圖2所示。

圖2

該架構(gòu)基于共享代碼庫(kù)實(shí)現(xiàn)了光柵化和光線追蹤渲染，用于計(jì)算高斯沿射線的貢獻(xiàn)。這樣不僅能夠在三維重建場(chǎng)景中支持任意相機(jī)畸變模型，還能夠減輕LiDAR仿真中偽影的產(chǎn)生。圖3展示了在aiSim中采用HRMAD渲染場(chǎng)景并配置LiDAR后，點(diǎn)云的可視化效果。

圖3

圖4表明HRMAD在極端視角下RGB、深度、法線和分割（基于Mask2Former）模態(tài)下的幾何細(xì)節(jié)和表面特性，重建面積約為165000平方米（ZalaZone測(cè)試場(chǎng)，此重建場(chǎng)景將于aiSim5.7版本進(jìn)行發(fā)布）。

圖4

二、下游任務(wù)驗(yàn)證

1、重建質(zhì)量驗(yàn)證

由于HRMAD采用的是基于雙邊網(wǎng)格的色彩校正方法，傳統(tǒng)的PSNR指標(biāo)不再適用，而SSIM和LPIPS指標(biāo)對(duì)結(jié)果相似性更為敏感，但從結(jié)果上看，這兩個(gè)指標(biāo)仍然受到ISP解耦導(dǎo)致的RAW與重建圖像之間色彩失配的影響。這一影響體現(xiàn)在了評(píng)估結(jié)果中，如表1，表中對(duì)比了原始3DGS和TCLC-GS在6個(gè)Waymo場(chǎng)景上的指標(biāo)表現(xiàn)。

表1

2、語(yǔ)義分割驗(yàn)證

在語(yǔ)義分割上分別從三個(gè)角度評(píng)估模型性能，首先通過(guò)統(tǒng)計(jì)所有像素中語(yǔ)義分類(lèi)一致的比例，反映全局重建一致性。
通過(guò)Mask2Former獲取真實(shí)圖像上計(jì)算的分割Mask，并與HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask進(jìn)行比較，驗(yàn)證重建的準(zhǔn)確性。同時(shí)為了降低道路、天空等易分割區(qū)域?qū)φw結(jié)果的偏差影響，針對(duì)"Car"進(jìn)行單獨(dú)IoU計(jì)算。

為確保驗(yàn)證過(guò)程的公平性，真實(shí)圖像被重投影至與渲染過(guò)程一致的無(wú)畸變針孔相機(jī)參數(shù)空間，當(dāng)重建結(jié)果正確標(biāo)注了遠(yuǎn)距離或被遮擋物體，而Mask2Former因輸入信息有限導(dǎo)致誤判時(shí)，此類(lèi)誤差會(huì)被計(jì)入評(píng)估指標(biāo)。同時(shí)在夜間拍攝場(chǎng)景和相機(jī)直對(duì)太陽(yáng)的場(chǎng)景中(如場(chǎng)景11037651和14663356)，掩膜一致性顯著下降。結(jié)果如表2所示。

表2

其次在非常規(guī)視角下進(jìn)行模型渲染，并基于Mask2former生成的Mask與模型預(yù)測(cè)Mask進(jìn)行比較。此渲染視角沿自車(chē)軌跡生成，并在[-1,3]米范圍內(nèi)平移前視相機(jī)仿真模型。表3展示了針對(duì)道路表面信息和車(chē)輛的重建性能。其中Car類(lèi)型的重建性能相對(duì)較低，這是由于Mask2Frame無(wú)法檢測(cè)遠(yuǎn)處或被遮擋的物體，從而擴(kuò)大了差異。圖5顯了示相關(guān)結(jié)果，綠色為匹配區(qū)域，藍(lán)色和橙色分別表示模型預(yù)測(cè)Mask和Mask2Former的Mask輸出。

表3

圖5

最后在極端渲染視角下（高5m，橫向偏移2m，向下偏轉(zhuǎn)25°），針對(duì)車(chē)道線和路沿語(yǔ)義分割結(jié)果進(jìn)行了定性評(píng)估，如圖6所示。

圖6

3、3D目標(biāo)檢測(cè)驗(yàn)證

為了驗(yàn)證HRMAD在3D目標(biāo)檢測(cè)上的一致性，采用在Waymo Open數(shù)據(jù)集訓(xùn)練中公開(kāi)的DEVIANT 3D目標(biāo)檢測(cè)模型，進(jìn)行定量和定性實(shí)驗(yàn)。

定量實(shí)驗(yàn)中，在Waymo-13469905891836363794片段中從[0,3]橫向偏移視角下進(jìn)行驗(yàn)證，并通過(guò)平移變換后的3DBBox定量計(jì)算。定性實(shí)驗(yàn)選取三個(gè)駕駛片段進(jìn)行靜態(tài)環(huán)境渲染，并基于網(wǎng)格渲染添加動(dòng)態(tài)車(chē)輛，主要用于評(píng)估仿真生成的車(chē)輛是否引入了領(lǐng)域差距。

表4基于Waymo指標(biāo)進(jìn)行驗(yàn)證，Original為原始圖像。特別在近距離下，HRMAD的表現(xiàn)性能要優(yōu)于原始圖像，這是由于原始圖像中假陽(yáng)FP數(shù)量更高。在非常規(guī)視角渲染下，觀察到的差異主要是橫向偏移視角下目標(biāo)截?cái)?/strong>的數(shù)量增加，但整體檢測(cè)結(jié)果在很大程度上保持一致。