2049
曹原 發(fā)自 副駕寺，智能車參考 | 公眾號 AI4Auto
Waymo聯(lián)手谷歌，發(fā)布最新自動駕駛仿真模擬器。
和比較常見、提供十分逼真的車輛和道路環(huán)境的仿真模擬器不同，Waymax的圖像簡潔到有點(diǎn)粗略了：
但別看效果圖只剩下小方塊和實(shí)線虛線，實(shí)際上這是一個復(fù)雜而細(xì)致的多智能體環(huán)境，能讓自動駕駛系統(tǒng)更好學(xué)習(xí)決策和規(guī)劃：
△處理擁堵，系統(tǒng)能更像人類司機(jī)
更重要的是，Waymax各項(xiàng)代碼文件已開源。
并且在Waymax的開發(fā)團(tuán)隊(duì)中，還有不少華人科學(xué)家的身影。
Waymax有什么特點(diǎn)
首先，Waymax是一個更專注自動駕駛決策和規(guī)劃層面的自動駕駛仿真模擬器，并且提供的是多智能體場景。
智能體（agent）是自動駕駛仿真中常見的術(shù)語，也會譯作“代理”，代表的是自動駕駛車輛、行人、其他車輛、公交車等等路上常見的道路交通參與者。
為什么要叫智能體？
是因?yàn)樵谶@樣的仿真場景下，每個智能體都具有一定的自主決策和行為能力，讓仿真場景從交通參與者的角度更接近真實(shí)環(huán)境。
△比如圖中這些粉色的框
并且，傳統(tǒng)模擬器往往采用預(yù)定義的智能體，人為編寫智能體應(yīng)該做什么，但往往和真實(shí)情況有差距。
Waymax提供的則是利用Waymo Driver（Waymo自動駕駛平臺），收集到的超過數(shù)千萬英里真實(shí)世界自動駕駛數(shù)據(jù)，提前構(gòu)建出的智能體，更符合現(xiàn)實(shí)情況。
從Waymax的效果圖也能看出，Waymax是一個輕量級模擬器，方便進(jìn)行快速迭代。
Waymax完全使用JAX編寫，可以運(yùn)行在TPUs、GPUs等硬件加速器上，支持單圖內(nèi)仿真訓(xùn)練，同時支持大規(guī)模、分布式機(jī)器學(xué)習(xí)工作流。
并且，Waymax也支持在線訓(xùn)練和評估。
那么，Waymax都包括什么？
Waymax的介紹
首先，在數(shù)據(jù)使用方面，Waymax支持三種方式：
從Waymo開放數(shù)據(jù)集（Waymo Open Motion Dataset）加載數(shù)據(jù)（需要在Waymo的網(wǎng)站上注冊）；
從本地磁盤加載數(shù)據(jù)；
通過Google Cloud遠(yuǎn)程流式傳輸數(shù)據(jù)；
其次，Waymax定義了五個評估車輛行為的指標(biāo)，包括：
在車輛模擬的動力學(xué)模型方面，Waymax支持兩種，分別是直接基于狀態(tài)的控制模型，和自行車運(yùn)動學(xué)模型。
其中，直接基于狀態(tài)的控制模型允許用戶直接設(shè)置車輛的位置，方向和/或加速度，不考慮運(yùn)動學(xué)約束。
也就是用戶可以完全控制車輛狀態(tài)，模擬器則根據(jù)用戶提供的狀態(tài)來模擬車輛行為。
而自行車運(yùn)動學(xué)模型通過加速度和轉(zhuǎn)向來控制車輛，并將車輛模擬成一個沒有摩擦的剛體，考慮車輛的運(yùn)動學(xué)特征，可以更精確模擬車輛行為。
Waymax模擬器的默認(rèn)幀率是每秒10幀（10Hz），和Waymo開放數(shù)據(jù)集使用的幀率相同。用戶也可以根據(jù)需要自行調(diào)整幀率。
△發(fā)生碰撞的演示
而對于仿真場景中未受控制對象，Waymax也支持三種操作模式允許智能體模擬行為，包括日志回放（Log playback），基于IDM的路徑跟隨模型（IDM-based route-following model），以及用戶自定義模型。
Waymax還支持強(qiáng)化學(xué)習(xí)訓(xùn)練，提供兩種常用接口，包括無狀態(tài)仿真接口（類似Brax API）和有狀態(tài)仿真接口（實(shí)現(xiàn)dm-env API）。
為什么做出Waymax
Waymo這幾年都會舉辦公開仿真智能體挑戰(zhàn)賽（Waymo Open Sim Agents Challenge），Waymo在模擬器中預(yù)先放置了智能體，研究人員需要訓(xùn)練這些智能體能夠和車輛進(jìn)行盡可能真實(shí)的交互。
而在2022年的挑戰(zhàn)賽中，Waymo意識到自己沒有建立足夠強(qiáng)大的模擬器來訓(xùn)練智能體。
所以，Waymo和Google DeepMind合作開發(fā)出Waymax，可以實(shí)現(xiàn)閉環(huán)運(yùn)行，并且能持續(xù)監(jiān)控和調(diào)整自動駕駛系統(tǒng)的行為，以實(shí)現(xiàn)訓(xùn)練自動駕駛系統(tǒng)的目的。
對于自動駕駛系統(tǒng)來說，仿真模擬是更經(jīng)濟(jì)安全的測試和評估性能的方式。
所以這就要求仿真模擬器不僅能夠提供真實(shí)的仿真環(huán)境，同時環(huán)境中各種物體應(yīng)該像真實(shí)道路上的車、行人、自行車等等一樣，能夠自我決策該怎么走，以及要做出什么反應(yīng)。
因此，仿真模擬器需要提供能夠互相交互的智能體，最好還能低成本、可以快速迭代訓(xùn)練。
Waymo副總裁、研究主管Drago Anguelov表示：
Waymo開放數(shù)據(jù)集還有Waymax，是想引導(dǎo)學(xué)術(shù)或研究討論能朝著我們認(rèn)為有希望的方向發(fā)展。我們也非常期待其他研究人員利用這些資源能開發(fā)出什么技術(shù)。
并且Anguelov還說，明年Waymo可能會重新舉辦一次仿真智能體挑戰(zhàn)賽，就用新的模擬器Waymax。
Waymo也提供了一份Waymax詳細(xì)的代碼和教程，感興趣的可以試起來了～（不可商用）
代碼傳送門：https://github.com/waymo-research/waymax
論文傳送門：https://arxiv.org/abs/2310.08710
參考鏈接：https://techcrunch.com/2023/10/19/waymos-new-simulator-helps-researchers-train-more-realistic-agents/?guccounter=1
下載ECAD模型
