681
作者：李寧遠
在當前 AI 革新的推動下，千行百業(yè)正在發(fā)生深刻的變革。AI 已經(jīng)觸及我們生活的方方面面。而且，我們僅僅處在這場 AI 革新的起步階段，未來可期。
在 AI 百模大戰(zhàn)時代，焦點在云數(shù)據(jù)中心的集中式訓(xùn)練。但是訓(xùn)練本身不能產(chǎn)生價值，推理才是 AI 釋放價值的關(guān)鍵。當前，AI推理的熱潮正迅猛推動算力從云端向邊緣側(cè)及端側(cè)延伸。對于芯片硬件玩家來說，邊緣側(cè)形態(tài)各異的設(shè)備與豐富用例帶來更多激動人心的機會，而且大模型、智能體在邊緣側(cè)的落地需要具備更高性能和能效的邊緣計算平臺。
在AI 不斷賦予邊緣設(shè)備越來越先進的智能性，使邊緣設(shè)備勝任越來越重要的任務(wù)的同時，保證邊緣設(shè)備的安全可靠將會成為邊緣 AI 大規(guī)模部署的必要條件。
針對物聯(lián)網(wǎng)與 AI 融合發(fā)展所面臨的行業(yè)痛點，特別是在性能瓶頸、安全性保障、系統(tǒng)兼容性以及應(yīng)用靈活性等方面的挑戰(zhàn)，2月27日，Arm 發(fā)布以全新基于 Armv9 架構(gòu)的超高能效 CPU —— Arm Cortex-A320 以及對 Transformer 網(wǎng)絡(luò)具有原生支持的 Ethos-U85 AI 加速器為核心的 Armv9 邊緣 AI 計算平臺。
在日前舉行的新品技術(shù)溝通會上，Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健 (Chloe Ma) 表示，“Armv9 邊緣AI計算平臺不是 CPU 和 AI 加速器的簡單堆疊，而是實現(xiàn)了深度配合，讓 CPU 和 NPU 相得益彰。Cortex-A320 可以為 Ethos-U85 提供更高的內(nèi)存容量與帶寬，讓大模型在 Ethos-U85 上的執(zhí)行如虎添翼；任何開發(fā)者們不希望在 Ethos-U85 上運行的 AI 操作，可以回退到 Cortex-A320，利用其 Neon/SVE2 引擎更靈活有效地在 CPU 上執(zhí)行。這使智能物聯(lián)網(wǎng)與消費類電子生態(tài)系統(tǒng)能夠在正確的時間，并在合適的地方運行最適合的工作負載。我們相信，這一創(chuàng)新將推動邊緣 AI 領(lǐng)域在未來多年內(nèi)的持續(xù)發(fā)展?！?/p>
Arm Cortex-A320 是目前最小型的 Armv9-A 架構(gòu) CPU，其微架構(gòu)源自 Cortex-A520，并經(jīng)過顯著優(yōu)化，以改善面積和功耗。相較 Cortex-A520 ，Cortex-A320 的能效提高了 50% 以上，此外，通過對 BF16 等新的數(shù)據(jù)類型、新的點積和矩陣乘法指令的支持，Cortex-A320 的 ML 性能比目前全球最受歡迎的 Armv8-A CPU Cortex-A53 高出至多六倍。憑借ML 計算能力的大幅提升，以及極高的面積能效比，Cortex-A320 成為ML 應(yīng)用中最高能效的 Cortex-A CPU 核心。
Armv9邊緣 AI 計算平臺將 Cortex-A320 的革新功能帶到了邊緣側(cè)，通過可伸縮向量擴展 (SVE2) 等關(guān)鍵的 Armv9 特性，增強了 AI 和數(shù)字信號處理 (DSP) 性能；同時，它還利用了內(nèi)存標記擴展 (MTE) 以及通過 Secure EL2 (S-EL2) 提供的先進虛擬化支持等全面的安全特性。這些功能與 Cortex-A320 高能效的微架構(gòu)相結(jié)合，使其能夠維持嚴格的能耗預(yù)算，并同時為邊緣 AI 處理開創(chuàng)新的可能性。
在軟件兼容性與生態(tài)上，Armv9 也有諸多優(yōu)勢：
支持 Armv9 架構(gòu)的軟件可無縫運行在所有這些處理器上，極大降低了物聯(lián)網(wǎng)服務(wù)部署與交付的總體擁有成本 (TCO)。
開源操作系統(tǒng)項目和編譯器已支持 Armv9 特性，進而大幅縮短產(chǎn)品開發(fā)周期。
軟件發(fā)行版本在整個 Armv9 架構(gòu)設(shè)備內(nèi)保持兼容，這不僅簡化了開發(fā)流程，同時也減少了物聯(lián)網(wǎng)生態(tài)伙伴在解決方案交付上的整體成本。
馬健總結(jié)道：“Arm 此次發(fā)布的全新 Armv9 邊緣 AI 計算平臺不僅僅是一次漸進式的升級，它代表了我們?yōu)槲磥磉吘売嬎愫?AI 處理提出的新范式。Cortex-A320是我們首次專為物聯(lián)網(wǎng)應(yīng)用設(shè)計的 Armv9 架構(gòu)處理器，它將超高能效與先進 AI 能力相結(jié)合，實現(xiàn)了前所未有的突破。當它與 Ethos-U85 結(jié)合時，將催生出全新的應(yīng)用類別，開啟無限可能。物聯(lián)網(wǎng)領(lǐng)域正在迎來前所未有的機遇與生機！我們堅信，AI 的未來在邊緣，而邊緣 AI 的未來屬于 Arm”。
物聯(lián)網(wǎng)與 AI 的融合正在推動算力下沉到邊緣側(cè)，而在物聯(lián)網(wǎng) + AI領(lǐng)域快節(jié)奏的技術(shù)環(huán)境中，產(chǎn)品的上市速度往往決定其成敗。Arm的邊緣 AI 計算平臺確保了與更高性能 Cortex-A 處理器在軟件層面的無縫兼容，這不僅代表了邊緣計算平臺的一次技術(shù)進步，更代表著行業(yè)對邊緣計算和 AI 處理方式上的根本性變革。
