計(jì)算架構(gòu)邁入“智能進(jìn)化”時(shí)代，解密地平線BPU納什如何實(shí)現(xiàn)顛覆式創(chuàng)新？

的確如黃暢博士所說，在自動(dòng)駕駛這個(gè)場(chǎng)景中，算法實(shí)際上一直在持續(xù)演進(jìn)，而與之相對(duì)應(yīng)，最適合高效運(yùn)行這些算法的架構(gòu)必然也需要持續(xù)演進(jìn)。自2015年成立至今，地平線BPU架構(gòu)一直在持續(xù)迭代，從伯努利、貝葉斯到今天的納什，而在這個(gè)過程中，自動(dòng)駕駛行業(yè)對(duì)于算法的要求也在不斷改變。2017年前后，輕量級(jí)、高效能的算法成為學(xué)術(shù)界主流，而這些算法也對(duì)計(jì)算架構(gòu)提出的新挑戰(zhàn)，地平線把握住這些學(xué)術(shù)界前沿研究成果，并敏銳地察覺到了這類算法在自動(dòng)駕駛場(chǎng)景中的潛力，針對(duì)性地推出了第一代伯努利架構(gòu)，其支持當(dāng)時(shí)業(yè)界最優(yōu)秀的輕量級(jí)網(wǎng)絡(luò)MobileNet、EficientNet，并在硬件、軟件層面進(jìn)行了深度優(yōu)化。時(shí)間來到2019年，第二代貝葉斯架構(gòu)面對(duì)的則是更高等級(jí)的自動(dòng)駕駛解決方案，例如L2+高速甚至是城區(qū)，需要解決時(shí)間和空間的融合、多傳感器的融合、對(duì)未來的預(yù)測(cè)。面對(duì)這些挑戰(zhàn)，貝葉斯架構(gòu)選擇在Warping、Vector、Softmax優(yōu)化等方面進(jìn)行了增強(qiáng)，從而更好地支持LSTM、BEV、Transformer這樣的前沿優(yōu)秀算法。

而今天納什架構(gòu)索要面對(duì)的，是自動(dòng)駕駛場(chǎng)景從高速走向城區(qū)，包括越來越多的復(fù)雜交互規(guī)劃算法、大量動(dòng)態(tài)目標(biāo)相互之間的持續(xù)博弈、不斷爭(zhēng)奪的路權(quán)。為此，納什架構(gòu)結(jié)合了類GPT超大規(guī)模參數(shù)模型，以及大規(guī)模、極其復(fù)雜的蒙特卡洛樹搜索，這些都是智能計(jì)算發(fā)展的最新趨勢(shì)。縱觀地平線BPU架構(gòu)的演進(jìn)，我們可以鮮明地把握到一條主線：架構(gòu)演進(jìn)的核心驅(qū)動(dòng)力是針對(duì)自動(dòng)駕駛場(chǎng)景涌現(xiàn)出的新的關(guān)鍵問題，找到最優(yōu)算法，并對(duì)這些算法，進(jìn)行軟硬件針對(duì)性優(yōu)化。

正如黃暢博士所說，架構(gòu)循環(huán)、持續(xù)的演進(jìn)，源頭來自于場(chǎng)景、應(yīng)用拓展，來自于算法的演進(jìn)，來自于編譯器對(duì)問題的持續(xù)分析和優(yōu)化，來自于對(duì)BPU架構(gòu)的持續(xù)完善、補(bǔ)充和增強(qiáng)，這是完整的、端到端的系統(tǒng)性能和效率持續(xù)提升的過程。時(shí)至今日，地平線BPU架構(gòu)歷經(jīng)從伯努利1.0到伯努利2.0再到貝葉斯的三代進(jìn)化，已經(jīng)積累了超過300萬片的前裝量產(chǎn)驗(yàn)證。這種產(chǎn)業(yè)的真實(shí)反饋，也印證了其架構(gòu)持續(xù)迭代的旺盛生命力。黃暢博士透露，未來BPU架構(gòu)的迭代將會(huì)向兩個(gè)大方向發(fā)展，一個(gè)是實(shí)現(xiàn)城區(qū)自動(dòng)駕駛，解決復(fù)雜場(chǎng)景中的博弈、交互規(guī)劃問題；第二個(gè)就是針對(duì)大規(guī)模生成式AI模型，提供端到端的自動(dòng)駕駛解決方案。想要實(shí)現(xiàn)這些目標(biāo)，計(jì)算架構(gòu)仍要持續(xù)進(jìn)化優(yōu)化。

02.八項(xiàng)核心技術(shù)升級(jí)，深入計(jì)算微架構(gòu)革新，實(shí)現(xiàn)高性能低功耗兼得

在BPU架構(gòu)的演化過程中，軟硬結(jié)合是地平線的重要技術(shù)實(shí)現(xiàn)思路，具體來看這次地平線亮出的納什架構(gòu)，作為軟硬協(xié)同“三駕馬車”中的基礎(chǔ)，納什BPU的硬件架構(gòu)這次進(jìn)行了多方面的系統(tǒng)性升級(jí)，除了規(guī)模更大、架構(gòu)更加復(fù)雜，計(jì)算單元也更加豐富，對(duì)存儲(chǔ)、計(jì)算、數(shù)據(jù)總線帶寬相關(guān)技術(shù)都進(jìn)行了重點(diǎn)優(yōu)化。

納什架構(gòu)首次加入了浮點(diǎn)向量加速單元，這一模塊的加入，使得架構(gòu)的可編程性、對(duì)于算法支持性進(jìn)一步提升，能夠讓算法工程師們?cè)诟?xì)的顆粒度上進(jìn)行開發(fā)。

其次，通過虛擬化技術(shù)，納什架構(gòu)的一個(gè)物理的BPU核能夠在應(yīng)用過程中表現(xiàn)出多個(gè)虛擬化的核，這使得多任務(wù)的執(zhí)行可以完全透明化。此外，納什架構(gòu)在功耗優(yōu)化方面采用了數(shù)據(jù)驅(qū)動(dòng)的方式，地平線深入到神經(jīng)網(wǎng)絡(luò)計(jì)算過程中的數(shù)據(jù)動(dòng)態(tài)范圍特性，利用數(shù)據(jù)分布特點(diǎn)來設(shè)計(jì)計(jì)算微架構(gòu)，最終能讓架構(gòu)在計(jì)算過程中的動(dòng)態(tài)功耗降低30%以上。在存儲(chǔ)技術(shù)優(yōu)化方面，納什架構(gòu)使用了三級(jí)存儲(chǔ)架構(gòu)，可以降低大規(guī)模參數(shù)下的帶寬瓶頸，實(shí)現(xiàn)BPU核與核之間更高效的協(xié)同。

最后，多脈動(dòng)立方加速引擎技術(shù)可以讓引擎間的數(shù)據(jù)流動(dòng)能效提升、帶寬占用降低；數(shù)據(jù)變換引擎支持了Transformer細(xì)小算子；緊耦合異構(gòu)計(jì)算單元能夠加速不同類型數(shù)據(jù)處理，而多向數(shù)據(jù)流動(dòng)技術(shù)則實(shí)現(xiàn)了計(jì)算動(dòng)態(tài)調(diào)度與靈活調(diào)優(yōu)。在深入交流中黃暢博士特別提到，納什架構(gòu)的規(guī)模并沒有上限，具備高度可擴(kuò)展性，所能支持多大規(guī)模的SoC可以根據(jù)廠商需求靈活調(diào)整。納什架構(gòu)能夠支持在單顆SoC芯片上進(jìn)行千億參數(shù)級(jí)GPT模型的推理，甚至可以支持單顆芯片在5nm、7nm工藝基礎(chǔ)上達(dá)到最高1000TOPS的算力，從而滿足未來城區(qū)自動(dòng)駕駛的需求。

03.算法與硬件的“融合劑”、“交響樂團(tuán)的指揮家”——編譯器

正如前文所說，BPU架構(gòu)的迭代是“軟硬結(jié)合”協(xié)同優(yōu)化的過程。要在實(shí)際場(chǎng)景中發(fā)揮更多的硬件算力，不僅需要硬件架構(gòu)的改進(jìn)，還需要編譯器的迭代升級(jí)。

為何編譯器如此關(guān)鍵？實(shí)際上，編譯器將算法轉(zhuǎn)換成能夠在BPU上執(zhí)行的指令序列，并且努力尋求最優(yōu)解，追求最大化效率和收益，包括尋求更低的延遲、更低的功耗、更低的帶寬以及更高的處理能力。黃暢博士在演講中曾作出一個(gè)精彩的比喻：“如果說算法方案的開發(fā)者是優(yōu)秀的作曲家，編譯器就是杰出的指揮家，而BPU計(jì)算架構(gòu)就是一流的交響樂團(tuán)。”曾經(jīng)行業(yè)對(duì)BPU架構(gòu)設(shè)計(jì)更多聚焦于硬件層面，但實(shí)際上，想要把硬件架構(gòu)的能力發(fā)揮到極致，必須要在軟件、編譯器方面做大量工作。因?yàn)槿绾伟涯Ｐ娃D(zhuǎn)換為對(duì)硬件架構(gòu)來說最好的指令序列，是非常關(guān)鍵的問題，編譯器做的恰恰就是這件事。這次在編譯器技術(shù)方面，地平線保持讓工具鏈的前端直接對(duì)接業(yè)內(nèi)最主流的深度學(xué)習(xí)框架，比如TensorFlow、PyTorch，從而讓開發(fā)者可以無縫的的從行業(yè)開源主流工具遷移到地平線的工具，保持對(duì)開發(fā)者社區(qū)的高度兼容性。

其次，從規(guī)則式編譯方法到Policy Network的升級(jí)，提升了決策速度和編譯速度，據(jù)稱在保持相同性能情況下，編譯性能可以最高提升10倍左右。這其實(shí)解決了算法工程師面對(duì)的一個(gè)突出痛點(diǎn)問題：目前大規(guī)模復(fù)雜模型編譯往往耗費(fèi)時(shí)間過長(zhǎng)，長(zhǎng)則一個(gè)多小時(shí)，很多關(guān)于算法迭代想法就不能得到很好的驗(yàn)證，編譯速度的大幅提升，無疑成為算法工程師們的福音。此外，地平線在編譯器中加入了增強(qiáng)學(xué)習(xí)框架下的Value Network和蒙特卡洛樹搜索，以提升編譯的結(jié)果以及最優(yōu)的性能，目前這些技術(shù)的融入能夠帶來20%以上編譯的性能提升。

值得一提的是，編程范式的改進(jìn)也是此次編譯器升級(jí)的重點(diǎn)之一。新一代編程范式中的DSL部分，可以將基礎(chǔ)的BPU算子用輕代碼的方式整合在一起，去設(shè)計(jì)一個(gè)全新的算子，完成復(fù)雜任務(wù)，包括模型間的調(diào)度、前處理、后處理。而編程范式中的HPL，則可以提供像Numba或者Triton一樣的底層細(xì)粒度計(jì)算編程方式，讓開發(fā)者用C語言或者Python代碼去描述想要實(shí)現(xiàn)的計(jì)算功能，從而提供CUDA級(jí)別的編程能力。

通過底層技術(shù)創(chuàng)新，地平線解放了算法工程師，讓他們可以實(shí)現(xiàn)低代碼編程、細(xì)顆粒度編程。這些改進(jìn)的核心目的，就是將更多計(jì)算任務(wù)放在更適合的BPU上進(jìn)行，從而加速計(jì)算過程，同時(shí)減少數(shù)據(jù)在BPU和CPU之間的搬運(yùn)，提升了整個(gè)系統(tǒng)的計(jì)算效率。縱觀地平線納什架構(gòu)在算法、硬件架構(gòu)、編譯器等方面的技術(shù)創(chuàng)新，我們可以看到地平線在很多細(xì)節(jié)設(shè)計(jì)上的用心，要知道，在芯片架構(gòu)設(shè)計(jì)領(lǐng)域“把細(xì)節(jié)做好”，是一件需要深厚積累的事情。

黃暢博士告訴智東西，地平線長(zhǎng)期在實(shí)際用例中持續(xù)分析短板、缺陷，并進(jìn)行針對(duì)性微架構(gòu)設(shè)計(jì)改進(jìn)，這些一點(diǎn)一滴的積累，最終形成了地平線對(duì)行業(yè)痛點(diǎn)問題的精準(zhǔn)把握。地平線的優(yōu)勢(shì)不局限于單點(diǎn)硬件、軟件技術(shù)的突破，還包括與車企客戶長(zhǎng)期實(shí)踐的積累的“行業(yè)Know-how”，這些經(jīng)驗(yàn)不斷疊加融合到硬件架構(gòu)設(shè)計(jì)的平衡以及與算法、軟件的協(xié)同優(yōu)化中。通過軟硬結(jié)合的方式做芯片，地平線可以讓硬件設(shè)計(jì)更有針對(duì)性，在必要的地方做簡(jiǎn)化，讓軟件以更巧妙、靈活的方式解決原本被限制在硬件層面的問題，從而解決更棘手的行業(yè)痛點(diǎn)。

與此同時(shí)，地平線在算法領(lǐng)域的前瞻性深入研究，也可以進(jìn)一步放大這種軟硬結(jié)合的優(yōu)勢(shì)，編譯器可以更好的彌補(bǔ)硬件的短板，在硬件架構(gòu)設(shè)計(jì)和軟件算法之間找到理想的平衡點(diǎn)。這些都是地平線的核心優(yōu)勢(shì)所在。在黃暢博士看來，目前行業(yè)都意識(shí)到“數(shù)據(jù)驅(qū)動(dòng)”的重要性，但實(shí)際上算法、編譯器、硬件架構(gòu)都需要通過數(shù)據(jù)驅(qū)動(dòng)的方式進(jìn)行優(yōu)化迭代，這才是真正的“智能計(jì)算架構(gòu)”。芯片架構(gòu)才真的可以實(shí)現(xiàn)“智能進(jìn)化”。

04.自動(dòng)駕駛芯片圈“一股清流”，地平線為何堅(jiān)持“Arm+Android”模式？

今天的地平線正作為自動(dòng)駕駛行業(yè)大生態(tài)的關(guān)鍵節(jié)點(diǎn)，通過自身的努力，產(chǎn)生連鎖效應(yīng)，催動(dòng)整個(gè)行業(yè)生態(tài)更加繁榮，而這必定離不開優(yōu)秀商業(yè)模式的加持。

在過硬的算法、硬件架構(gòu)、編譯器技術(shù)能力之上，地平線還提供了更開放的商業(yè)模式。通過開放軟件IP授權(quán)、BPU IP授權(quán)等多種方式，地平線正在打造一種屬于智能汽車時(shí)代的“ARM+Android”模式。從芯片、工具鏈到參考算法，地平線向車企和產(chǎn)業(yè)鏈伙伴開放這些智能駕駛軟硬件技術(shù)，從而幫助他們更高效地落地差異化的智能駕駛方案。實(shí)際上，這種商業(yè)模式在當(dāng)下是有著強(qiáng)需求的。在自動(dòng)駕駛領(lǐng)域，計(jì)算呈現(xiàn)集中化趨勢(shì)，芯片越來越少，功能越來越集中、越復(fù)雜，做芯片的難度也變得更高。但對(duì)自身差異化有強(qiáng)訴求的車企，都會(huì)有做自研SoC的需求。車廠要自己去定義SoC，目前CPU、GPU有成熟的IP，但是NPU的三方IP卻幾乎找不到，各家汽車都有自己的電子電氣架構(gòu)，芯片公司提供的“標(biāo)品”并不能很好地契合每個(gè)車廠的各自特性。車廠自己開發(fā)NPU IP，投入的財(cái)力、人力和時(shí)間都是不可估量的，且需要大量時(shí)間試錯(cuò)、積累，也很難短時(shí)間內(nèi)在這一領(lǐng)域達(dá)到足夠深厚的認(rèn)知和理解。

地平線如今將核心的BPU IP開放出來，正是順應(yīng)了車企日益迫切的需求和主張。除了BPU IP授權(quán)模式，地平線這次還正式發(fā)布了智能駕駛應(yīng)用開發(fā)套件踏歌OS（TogetheROS·Auto），通過多模塊協(xié)同開發(fā)，解決行業(yè)中多供應(yīng)商協(xié)同開發(fā)的困難，據(jù)稱可以將開發(fā)、集成、驗(yàn)證效率提升200%。簡(jiǎn)單來說，踏歌OS的意義就是幫助車企減少“重復(fù)造輪子”的工作。在黃暢博士看來，踏歌OS是地平線多年技術(shù)迭代后，逐漸積累和形成的一套智能解決方案，它更加從汽車系統(tǒng)的視角看問題，強(qiáng)調(diào)智能化功能的實(shí)現(xiàn)。正如在機(jī)器人領(lǐng)域成熟的ROS平臺(tái)一樣，踏歌OS實(shí)際上就是地平線提供的一套符合車規(guī)可靠性、安全性的類ROS開發(fā)平臺(tái)。

黃暢博士談到，地平線的初心，就是做機(jī)器人時(shí)代的大腦。從軟件和硬件層面支持和服務(wù)好機(jī)器人智能化功能開發(fā)、部署和應(yīng)用，在自動(dòng)駕駛領(lǐng)域也是如此。因此地平線在硬件、軟件層面都要保持更開放的態(tài)度。做自動(dòng)駕駛領(lǐng)域的“Arm+Android”或“Wintel”，地平線的目標(biāo)著實(shí)不低，但地平線商業(yè)生態(tài)的繁榮恰恰印證了其商業(yè)模式的成功。根據(jù)官方數(shù)據(jù)，目前地平線已經(jīng)連接的硬件Tier-1、ODM、IDH、芯片、圖商、傳感器等上下游產(chǎn)業(yè)伙伴已經(jīng)超過了100家，而征程系列芯片出貨量已經(jīng)突破了300萬片，其中征程5出貨量已經(jīng)突破10萬片，獲得了理想、比亞迪、蔚來、埃安等新勢(shì)力和新實(shí)力車企近20款車型的量產(chǎn)定點(diǎn)。值得一提的是，目前自動(dòng)駕駛行業(yè)中做芯片的公司很少將IP進(jìn)行開放授權(quán)，因?yàn)榭蛻艉芸赡芤矔?huì)是競(jìng)爭(zhēng)對(duì)手，但地平線選擇打破常規(guī)。與其談競(jìng)爭(zhēng)，這群人看到的更多是如何推動(dòng)技術(shù)迭代達(dá)到理想狀態(tài)，如何帶給用戶真正優(yōu)秀的智能化駕駛體驗(yàn)。或許，推動(dòng)技術(shù)進(jìn)步體驗(yàn)升級(jí)、讓更多消費(fèi)者愿意買單，把市場(chǎng)共同做大、取長(zhǎng)補(bǔ)短，才是地平線的生存之道。

05.結(jié)語：深耕“軟硬協(xié)同”，地平線給出智能計(jì)算架構(gòu)創(chuàng)新新范式

算法領(lǐng)域的前瞻性布局、在硬核技術(shù)創(chuàng)新層面的深度扎根，對(duì)于軟硬結(jié)合優(yōu)化的深刻理解和執(zhí)著堅(jiān)持，以及多年來積累的行業(yè)Know-how，都成為了地平線在智能汽車產(chǎn)業(yè)激蕩變革時(shí)代的堅(jiān)實(shí)技術(shù)護(hù)城河，也推動(dòng)著自動(dòng)駕駛行業(yè)迎來智能計(jì)算架構(gòu)的范式革新。而開放合作的商業(yè)模式，則讓地平線的技術(shù)生態(tài)不斷開枝散葉、茁壯成長(zhǎng)。如今的智能汽車行業(yè)，熱鬧非凡，新玩家、老玩家、跨界玩家交織在一起，不斷碰撞出新的火花，技術(shù)也在不斷進(jìn)步，商業(yè)模式也在快速迭代。隨著生成式AI的入局，智能汽車產(chǎn)業(yè)或許也會(huì)迎來新的變革?？梢钥隙ǖ氖?，汽車產(chǎn)業(yè)正經(jīng)歷百年未遇的大變革，自動(dòng)駕駛正向著全場(chǎng)景自動(dòng)駕駛時(shí)期快速邁進(jìn)，這所有行業(yè)參與者來說，既是機(jī)遇也是挑戰(zhàn)。

作者?|??云鵬
編輯?|??漠影