788
最近特斯拉FSD進(jìn)入中國，雖然網(wǎng)絡(luò)上各種媒體老師的測(cè)試我們都贏了，但Jack認(rèn)為特斯拉FSD算法依然是最強(qiáng)，還是FSD香。
此次國內(nèi)特斯拉FSD的各種測(cè)試主要評(píng)價(jià)指標(biāo)都是接管率，而且特斯拉的接管主要出現(xiàn)在對(duì)于道路地圖以及中國特殊交規(guī)不熟悉的方面，但在如下方面特斯拉至少領(lǐng)先國內(nèi)各家一代：
感知控制算法與駕駛體驗(yàn)?- 媲美老司機(jī)的油門，剎車，方向控制。這種老司機(jī)的駕駛體驗(yàn)在避障繞行，選擇路徑時(shí)候的響應(yīng)，提前，絲滑規(guī)劃上發(fā)揮的淋漓盡致。
全場(chǎng)景無感覆蓋能力- 只要有GPS定位信息，他就會(huì)尋找可通行的路徑抵達(dá)目的地，如果沒有GPS信息也會(huì)自行尋找可行駛路徑漫游自動(dòng)駕駛行駛。
這些背后是真正端到端人工智能大模型的優(yōu)勢(shì)，至于本次各家測(cè)試暴露的定位、地圖適配以及交規(guī)問題都屬于本土適配問題，不是技術(shù)難題。所以，特斯拉算法依然值得學(xué)習(xí)和研究。我們之前了解特斯拉的算法主要是通過特斯拉的發(fā)布會(huì)等媒體溝通渠道獲取，本文另辟蹊徑通過特斯拉FSD自動(dòng)駕駛算法專利，從以下幾個(gè)方面去探索特斯拉人工智能算法：
- 算法基礎(chǔ) -?軟硬結(jié)合的閉環(huán)架構(gòu)
- 感知秘訣 - 基于VRU和非VRU的BEV和Occ
- 規(guī)控秘訣 - 考慮延遲，實(shí)時(shí)建模
希望能找到特斯拉FSD以及其人工智能算法優(yōu)勢(shì)點(diǎn)，獲取一些有用信息和思路。此外最近DeepSeek不是火了么，我之前文章《什么是 DeepSeek？為什么它會(huì)顛覆人工智能領(lǐng)域？》也分析過，DeepSeek其實(shí)用了最厲害的一招—— Distillation也就是蒸餾的方法站著前人的肩膀上獲得的了二次創(chuàng)新的成功，那么自動(dòng)駕駛機(jī)器人等physical AI方面是不是也可以采用蒸餾的方法來蒸餾特斯拉FSD算法？畢竟FSD也是端到端大模型，或許看完本文會(huì)有答案。
算法基礎(chǔ) - 軟硬結(jié)合的閉環(huán)架構(gòu)
根據(jù)特斯拉WO2024073115A1專利內(nèi)容，特斯拉架構(gòu)師一套組織緊密，從訓(xùn)練到部署，再到數(shù)據(jù)回流，迭代的閉環(huán)，這一套算法架構(gòu)適用于所有Physical AI包括自動(dòng)駕駛和人形機(jī)器人。
首先算法層面，特斯拉 FSD 算法其實(shí)并不是一個(gè)整體實(shí)體，我們常看到的示意圖一個(gè)大模型網(wǎng)絡(luò)，它由較小的專用子網(wǎng)絡(luò)組成，每個(gè)子網(wǎng)絡(luò)都專用于自動(dòng)駕駛的特定方面或功能。這種模塊化設(shè)計(jì)意味著特斯拉可以通過整體訓(xùn)練來優(yōu)化整個(gè)算法，或者單獨(dú)訓(xùn)練來改進(jìn)其中一個(gè)。
當(dāng)一個(gè)部分得到改進(jìn)時(shí)，人工智能的端到端特性也意味著其他部分將學(xué)會(huì)適應(yīng)改進(jìn)，從而表現(xiàn)得更好。它還允許在部署和初始平臺(tái)訓(xùn)練期間實(shí)現(xiàn)更高效的處理和適應(yīng)性。這些子網(wǎng)絡(luò)可能負(fù)責(zé)以下任務(wù)：
- 識(shí)別和解釋交通信號(hào)檢測(cè)和跟蹤移動(dòng)物體，包括車輛、行人、自行車等保持車道位置并行駛道路生成周圍環(huán)境的 3D 地圖規(guī)劃路徑并做出實(shí)時(shí)駕駛決策
這種分工使 FSD 能夠更高效、更精確地處理自動(dòng)駕駛的復(fù)雜性。這些算法通過Hydranet算法縫合起來，整個(gè)系統(tǒng)，從前端到后端，都可以一起訓(xùn)練。這種訓(xùn)練方法現(xiàn)在包括端到端人工智能，通過讓每個(gè)單獨(dú)的組件學(xué)習(xí)如何與系統(tǒng)中的其他組件交互來優(yōu)化整體系統(tǒng)性能。有了這個(gè)上層算法結(jié)構(gòu)之后，底層硬件如何承接這些算法運(yùn)算？
特斯拉采用了定制編譯器的方法由于不同的硬件組件擅長不同的功能 - 而且它們也需要不同類型的指令。CPU、GPU 和專用 AI 加速器 (NPU) 都具有獨(dú)特的架構(gòu)和功能。Tesla 使用編譯器工具鏈將 FSD 轉(zhuǎn)換為針對(duì)每個(gè)硬件組件量身定制的機(jī)器代碼。這可確保指令在每個(gè)處理器上以最佳方式執(zhí)行，從而最大限度地提高性能和效率。
為了進(jìn)一步優(yōu)化性能，特斯拉采用了一種分配任務(wù)的系統(tǒng)，可以智能地將每個(gè) FSD 子網(wǎng)絡(luò)分配給最合適的硬件組件。這確保計(jì)算要求高的任務(wù)由最強(qiáng)大的處理器處理，而較簡(jiǎn)單的任務(wù)則委托給更高效的單元。這種戰(zhàn)略性的任務(wù)分配最大限度地提高了系統(tǒng)的整體效率，確保每個(gè)組件都在其最佳性能范圍內(nèi)運(yùn)行。硬件執(zhí)行指令的順序?qū)π阅芤财鹬陵P(guān)重要的作用。
特斯拉的系統(tǒng)包括一個(gè)“執(zhí)行調(diào)度程序”，它可以確定最有效的操作順序，最大限度地減少延遲，最大限度地提高實(shí)時(shí)響應(yīng)能力。為確?？煽啃院桶踩裕厮估南到y(tǒng)支持冗余硬件配置。這意味著，如果關(guān)鍵組件發(fā)生故障，備用組件可以無縫接管，防止運(yùn)行中斷。這種冗余和故障轉(zhuǎn)移功能對(duì)于維護(hù)自動(dòng)駕駛系統(tǒng)的安全性和完整性至關(guān)重要，尤其是在駕駛時(shí)。
特斯拉為 FSD 內(nèi)置了物理和軟件冗余，確保其在自動(dòng)駕駛時(shí)保持最低安全標(biāo)準(zhǔn)。此外，特斯拉算法架構(gòu)，還涵蓋整個(gè)數(shù)據(jù)拓展鏈路，它基于根據(jù)觸發(fā)信號(hào)傳輸選擇性的傳感器信息。這些觸發(fā)信號(hào)可能包括錯(cuò)誤的預(yù)測(cè)、用戶干預(yù)或未能正確進(jìn)行路徑規(guī)劃。這樣一個(gè)閉環(huán)系統(tǒng)，確保不符合預(yù)期的數(shù)據(jù)得到回傳，供算法迭代。那么海量的數(shù)據(jù)如何處理也是一個(gè)大問題，特斯拉不少專利分享過，下次有機(jī)會(huì)解讀分享下。
感知秘訣 - 基于VRU和非VRU的BEV和Occ
其實(shí)，我們開車的時(shí)候最怕的是安全事故，根據(jù)特斯拉專利US20230057509A1介紹，特斯拉感知算法對(duì)于道路上可能的交通參與者，按照可能傷害進(jìn)行分區(qū)，分為兩部分：
- 弱勢(shì)道路使用者（VRU），VRU 定義為行人、騎自行車的人、嬰兒車、滑板者、動(dòng)物，基本上是任何可能受傷的人。非 VRU ，另一部分針對(duì)不屬于該類別的其他所有序列，例如，汽車、應(yīng)急車輛、交通錐、碎片等。
將其分為兩個(gè)分支使 FSD 能夠查找、分析并確定某些事物的優(yōu)先級(jí)。本質(zhì)上，在整個(gè)虛擬攝像機(jī)系統(tǒng)中，VRU 的優(yōu)先級(jí)高于其他對(duì)象。
特斯拉處理所有原始圖像，將其輸入到 VRU 和非 VRU 分支，并僅挑選出關(guān)鍵和必要的信息，用于物體檢測(cè)和分類。有了這些感知物體的信息，然后，系統(tǒng)將這些對(duì)象根據(jù)距離等關(guān)系，繪制3D BEV圖。并在不同高度創(chuàng)建“虛擬相機(jī)”。虛擬相機(jī)可以看作是用于拍攝電影的真實(shí)相機(jī)。它允許系統(tǒng)從特定角度觀看場(chǎng)景，從而可以更廣泛地觀察交通情況。形成3D映射占位- BEV+Occupancy時(shí)空關(guān)系組合。
現(xiàn)在，將所有這些數(shù)據(jù)結(jié)合起來。這兩個(gè)虛擬攝像頭是同步的，它們的所有信息和理解都會(huì)反饋到系統(tǒng)中，以保持車輛周圍情況的精確 3D 地圖。 而且不僅僅是攝像頭。虛擬攝像頭系統(tǒng)和 3D 地圖與汽車的其他傳感器協(xié)同工作，將運(yùn)動(dòng)數(shù)據(jù)（速度和加速度）納入 3D 地圖的分析和制作中。
特斯拉汽車屏幕上顯示的 FSD 可視化效果最能理解該系統(tǒng)。它可以同時(shí)拾取和跟蹤駕駛環(huán)境中許多移動(dòng)的汽車和行人。當(dāng)然，我們看到的只是它所跟蹤的所有信息的一小部分。其實(shí)可以特斯拉算法可獲取更多未顯示在屏幕上的屬性。例如：
- 行人其距離有多遠(yuǎn)、移動(dòng)的方向以及行進(jìn)速度有多快。其他移動(dòng)物體（例如車輛）可能具有其他屬性，例如寬度、高度、速度、方向、規(guī)劃路徑等。即使是非 VRU 物體也會(huì)包含屬性，例如道路，其寬度、速度限制等將根據(jù) AI 和地圖數(shù)據(jù)確定。自車本身具有一系列屬性，例如速度、寬度、長度、規(guī)劃路徑等。
當(dāng)將所有這些道路上物體的屬性結(jié)合起來時(shí)，自動(dòng)駕駛最終就會(huì)對(duì)周圍環(huán)境以及如何最好地駕駛有很好的了解，也就形成了我們常聽到的BEV+Occupancy時(shí)空關(guān)系組合，當(dāng)然這個(gè)時(shí)空關(guān)系還有兩個(gè)指標(biāo)一個(gè)是刷新率一個(gè)是分辨率都很高，國內(nèi)應(yīng)該沒有能比的。
那么下一步就是基于這些信息進(jìn)行路徑規(guī)劃和駕駛，當(dāng)然規(guī)劃控制和環(huán)境認(rèn)知是同步進(jìn)行的。
規(guī)控秘訣 - 考慮延遲，實(shí)時(shí)建模自動(dòng)駕駛系統(tǒng)
不管是端到端還是其他結(jié)構(gòu)，他都離不開幾個(gè)關(guān)鍵組件組成：
- 傳感器套件：從安裝在車輛上的各種傳感器收集原始數(shù)據(jù)。
- 感知系統(tǒng)：處理傳感器數(shù)據(jù)以了解車輛的環(huán)境。
- 規(guī)劃系統(tǒng)：根據(jù)感知環(huán)境和車輛狀態(tài)確定最佳軌跡。
- 執(zhí)行器：執(zhí)行命令來控制車輛的運(yùn)動(dòng)。
其實(shí)自動(dòng)駕駛不但感知算法從接收到光信號(hào)到感知成環(huán)境信息有延遲大概小幾百毫秒之內(nèi)，當(dāng)然上文講到特斯拉算法應(yīng)該是100ms之內(nèi)；而且執(zhí)行系統(tǒng)也有，當(dāng)這兩者相差大或者匹配不好的時(shí)候，規(guī)劃控制就會(huì)不絲滑。
特斯拉WO2024039866A1專利，介紹過其規(guī)劃控制系統(tǒng)內(nèi)的創(chuàng)新，這對(duì)于生成安全、舒適和高效的軌跡并考慮整個(gè)系統(tǒng)固有的延遲至關(guān)重要，從而讓乘客體味到“老司機(jī)”般的絲滑開車控制。
首先特斯拉采用了動(dòng)態(tài)延遲建模和實(shí)時(shí)軌跡優(yōu)化的方法特斯拉算法能夠?qū)崟r(shí)模擬各種車輛部件的延遲，從而能夠更準(zhǔn)確地預(yù)測(cè)和控制車輛狀態(tài)。這解決了自動(dòng)駕駛的一個(gè)關(guān)鍵挑戰(zhàn)：感知、決策和行動(dòng)之間的延遲。
如圖上圖所示，系統(tǒng)考慮了不同組件的延遲，從規(guī)劃器執(zhí)行到單個(gè)執(zhí)行器的響應(yīng)。這種綜合建模使系統(tǒng)能夠根據(jù)每個(gè)車輛組件的實(shí)際性能特征優(yōu)化軌跡。
實(shí)時(shí)軌跡優(yōu)化會(huì)考慮這些建模延遲，從而打造更準(zhǔn)確、響應(yīng)更靈敏的駕駛體驗(yàn)。通過預(yù)測(cè)系統(tǒng)中的延遲，車輛可以做出主動(dòng)決策，從而實(shí)現(xiàn)更平穩(wěn)、更安全的自動(dòng)駕駛。
此外，特斯拉采用了分離橫向（方向盤）和縱向（油門剎車）控制的方法。
將軌跡規(guī)劃分為橫向（轉(zhuǎn)向）和縱向（加速/制動(dòng)）部分。通過獨(dú)立處理這兩個(gè)運(yùn)動(dòng)方面，這種分離可以更精確地控制車輛。
上圖說明了系統(tǒng)如何分別處理橫向和縱向控制。這種方法認(rèn)識(shí)到轉(zhuǎn)向和加速/制動(dòng)系統(tǒng)可能具有不同的響應(yīng)時(shí)間和特性。通過對(duì)橫向和縱向控制使用單獨(dú)的數(shù)學(xué)函數(shù)，系統(tǒng)可以獨(dú)立優(yōu)化每個(gè)方面，從而有可能提高整體性能。
通過分別處理這些因素，系統(tǒng)可以獨(dú)立優(yōu)化每個(gè)控制方面，從而提高各種車輛平臺(tái)的整體性能。這種方法對(duì)于將全自動(dòng)駕駛 (FSD) 系統(tǒng)應(yīng)用于特斯拉多樣化的車輛系列以及可能應(yīng)用于其他制造商的各種車型至關(guān)重要。
最后，特斯拉算法采用前饋狀態(tài)估計(jì)與持續(xù)優(yōu)化的方法
前饋方法估計(jì)車輛狀態(tài)，并根據(jù)真實(shí)數(shù)據(jù)不斷優(yōu)化其性能。此功能使系統(tǒng)能夠預(yù)測(cè)未來狀態(tài)并做出主動(dòng)決策，而不是簡(jiǎn)單地對(duì)當(dāng)前狀況做出反應(yīng)。
如下圖演示了如何通過前饋估計(jì)考慮系統(tǒng)延遲以獲得更準(zhǔn)確、更平滑的軌跡。
該系統(tǒng)使用有關(guān)車輛當(dāng)前狀態(tài)的信息來估計(jì)車輛沿著先前規(guī)劃的軌跡行駛了多遠(yuǎn)。這種前饋過程使系統(tǒng)能夠保持規(guī)劃周期之間的一致性，并更有效地應(yīng)對(duì)不斷變化的條件。
該專利還提到在軌跡規(guī)劃中使用神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)模型。這些復(fù)雜的模型旨在找到兼顧可行性、安全性和乘客舒適度的軌跡。
最后不得不佩服特斯拉算法，整體架構(gòu)面的設(shè)計(jì)邏輯都是奔著AGI或者Physical AI的通用方向去。Tesla FSD進(jìn)入中國，毫無疑問是中國自動(dòng)駕駛的“鯰魚”，將會(huì)再一次激發(fā)中國自動(dòng)駕駛的活力，促進(jìn)中國自動(dòng)駕駛產(chǎn)品和技術(shù)的進(jìn)步。
對(duì)于文章開頭的言論，Jack敢這么說，也主要是工作的原因?qū)κ忻嫔纤?a class="article-link" target="_blank" href="/tag/%E6%99%BA%E8%83%BD%E9%A9%BE%E9%A9%B6/">智能駕駛從實(shí)際駕乘體驗(yàn)到背后技術(shù)方案都有一定的了解?；氐轿恼麻_始的Bonus問題，特斯拉的 FSD 算法是不是可以蒸餾出來呢？回答應(yīng)該是很難，Physical AI的算法體系和digital Agent的算法體系差異是實(shí)時(shí)性和安全性。而這種差異性體現(xiàn)在與Physical的結(jié)合,不同物理（physcial）載體的延遲 latency 和結(jié)構(gòu)不一樣。
不過最近，特斯拉發(fā)布一篇新的論文，特斯拉應(yīng)該考慮如何將特斯拉算法架構(gòu)平臺(tái)化，方便移植不同的硬件平臺(tái)，適配不同的OEM主機(jī)廠，下期再見。未經(jīng)準(zhǔn)許嚴(yán)禁轉(zhuǎn)載和摘錄-參考資料：
特斯拉FSD人工智能專利WO2024073115A1《AI INFERENCE COMPLIER AND RUNTIME TOOL CHAIN》pdf
特斯拉FSD人工智能專利US20230057509A1《VISION-BASED MACHINE LEARNING MODEL FOR AUTONOMOUS DRIVING WITH ADJUSTABLE VIRTUAL CAMERA》pdf
特斯拉FSD人工智能專利WO2024039866A《1Real time trajectory planning system with dynamic modelling of component level system latency for self driving vehicles》pdf
加入我們的知識(shí)星球可以下載包含以上參考資料的汽車行業(yè)海量的一手資料。
