3400
作者 |??程茜，編輯?|??漠影
“六邊形戰(zhàn)士”處理器為支撐，兼顧體積與性能優(yōu)勢，加速大模型端側(cè)部署。
大模型端側(cè)部署正加速！AI PC等新物種熱度暴增，企業(yè)對于AI加速卡的關(guān)注度也水漲船高。但是AI PC等端側(cè)設(shè)備中的AI加速卡如何做到可用、好用是一大難題，其需要兼顧體積小、性能強(qiáng)、功耗低才能使得端側(cè)設(shè)備承載大模型能力成為現(xiàn)實(shí)。
近日，清華系AI芯片創(chuàng)企芯動力科技面向大模型推出了一款新產(chǎn)品——AzureBlade L系列M.2加速卡。M.2加速卡是目前國內(nèi)最強(qiáng)的高性能體積小的加速卡，其強(qiáng)大的性能使其能夠順利運(yùn)行大模型系統(tǒng)。M.2加速卡的大小僅為80mm（長）x22mm（寬），并已經(jīng)實(shí)現(xiàn)與Llama 2、Stable Diffusion模型的適配。
具備體積小、性能強(qiáng)，且有通用接口的M.2加速卡成為助推大模型在PC等端側(cè)設(shè)備上部署的加速器。從這一加速卡出發(fā)，芯東西與芯動力創(chuàng)始人、CEO李原進(jìn)行了深入交流，探討了大模型產(chǎn)業(yè)發(fā)展至今產(chǎn)生的顯著變化，以及大模型在端側(cè)部署過程中，芯動力科技在其中扮演的角色以及手持的殺手锏是什么。
體積小、性能強(qiáng)、功耗低端側(cè)跑大模型三大關(guān)鍵
AI PC已經(jīng)成為大模型落地端側(cè)設(shè)備的一個重要載體。從去年年底至今，AI PC的熱潮正在涌起。前有英特爾啟動AI PC加速計劃、高通推出專為AI研發(fā)的PC芯片驍龍X Rlite、上周英偉達(dá)發(fā)布全新一代RTX 500和1000顯卡，支持筆記本電腦等端側(cè)設(shè)備上運(yùn)行生成式AI應(yīng)用……
根據(jù)市研機(jī)構(gòu)IDC發(fā)布的最新報告，預(yù)估AI PC出貨量2024年逼近5000萬臺，到2027年將增長到1.67億臺，占全球PC總出貨量的60%左右。
AI PC這一新物種正在加速大模型的規(guī)?；涞?。與此同時，擁有龐大參數(shù)規(guī)模的大模型也對端側(cè)設(shè)備可承載的算力提出了更高的需求。在端側(cè)往往只有一個獨(dú)立設(shè)備。以PC為例，作為人們?nèi)粘Ｉ?、工作的常用設(shè)備，其體積并不大且足夠輕便，因此需要AI加速卡足夠小且不會因體積犧牲性能上的優(yōu)勢。以M.2加速卡的形式進(jìn)入AI PC的市場就是很有優(yōu)勢的產(chǎn)品形態(tài)。
可以看到，當(dāng)下大模型的發(fā)展路線不再唯參數(shù)論，越來越多參數(shù)規(guī)模小性能強(qiáng)大的模型出現(xiàn)，如開源的Llama 2模型系列參數(shù)在70億到700億不等，為大模型在端側(cè)的落地提供了機(jī)會。即便如此，大模型想要成功部署在端側(cè)對于芯片玩家而言仍然具有挑戰(zhàn)，需要其突破端側(cè)設(shè)備有限的計算和存儲能力，因此芯片玩家亟需找到芯片體積小與性能強(qiáng)大的平衡點(diǎn)。
李原談道，端側(cè)設(shè)備還有一大特點(diǎn)是，GPU是其最主要的元件。這背后的風(fēng)險在于，企業(yè)全部圍繞GPU來做設(shè)備，就會造成一旦產(chǎn)品的開發(fā)周期變長，其未來的開發(fā)路線會受到一定限制。由于邊緣設(shè)備上接口的可選擇性不多，很多設(shè)備需要針對不同的芯片進(jìn)行接口定制，企業(yè)就需要承擔(dān)接口受限的風(fēng)險。這些新的變化及需求為這家GPGPU創(chuàng)企帶來了新的機(jī)遇。
已適配Llama 2創(chuàng)新封裝技術(shù)兼顧體積與性能優(yōu)勢
芯動力科技的AzureBlade L系列M.2加速卡，就是面對這一市場變化的最佳解決方案之一。M.2加速卡搭載了4個DDR內(nèi)存，總?cè)萘窟_(dá)到16GB，除了支持傳統(tǒng)的視覺網(wǎng)絡(luò)，如YOLO等，現(xiàn)在更已經(jīng)實(shí)現(xiàn)了與Llama 2、Stable Diffusion等模型的適配。李原解釋道，M.2加速卡目前可以支持70億、130億參數(shù)規(guī)模的Llama 2模型，以及最多可以支持300億。
目前，70億參數(shù)規(guī)模的Llama 2在M.2加速卡上的計算速度可達(dá)到十幾tokens每秒。正與當(dāng)下端側(cè)的玩家承接大模型能力的核心痛點(diǎn)相對應(yīng)，M.2加速卡的優(yōu)勢正是體積小、性能強(qiáng)，功耗低。李原談道，一般的GPU,NPU如果要處理大模型，因為算力要求高、功耗大，芯片面積也會比較大，很難集成在端側(cè)設(shè)備狹小的空間內(nèi)。M.2加速卡的大小僅為80mmx22mm，剛好能做到這一點(diǎn)。達(dá)到這一優(yōu)勢的關(guān)鍵在于，芯動力科技為M.2加速卡集成了一顆芯片——AE7100，這顆芯片以17mmx17mm的面積實(shí)現(xiàn)了32 TOPs的算力與60GB/s的內(nèi)存帶寬。
為了打造這顆足夠薄且小的芯片，芯動力科技研發(fā)了一種創(chuàng)新的封裝方案。他們一開始就在這個方向布局，去掉了芯片中的ABF材料，在無基板的情況下制造完成了芯片，還能滿足其散熱需求?！斑@也是我們第一次嘗試這一封裝工藝，并打造出了這顆業(yè)界最小、最薄的GPU?！崩钤f。
M.2加速卡兼顧了體積與性能優(yōu)勢。由于端側(cè)設(shè)備的接口有限，芯動力科技為M.2加速卡選擇了更為普及的閃存硬盤接口，這種接口已經(jīng)普遍存在于PC等設(shè)備中，因此更容易被企業(yè)所接受，無需針對芯片進(jìn)行接口定制就能快速實(shí)現(xiàn)相應(yīng)的功能。目前已經(jīng)有諸多客戶注意到了M.2加速卡，芯動力科技M.2加速卡的通用接口可以幫助企業(yè)規(guī)避定制風(fēng)險，同時為其適配市面上的不同產(chǎn)品擴(kuò)大可選擇性。
與此同時，這一加速卡采用完全可編程設(shè)計，兼容CUDA+ONNX，可以廣泛應(yīng)用于AI PC、機(jī)器視覺、泛安防、內(nèi)容過濾等領(lǐng)域。
“六邊形戰(zhàn)士”處理器為支撐M.2加速卡已出貨
在當(dāng)下大模型逐漸邁向端側(cè)設(shè)備、AI PC等新物種的熱潮初現(xiàn)，支撐芯動力科技能夠迅速推出創(chuàng)新的M.2加速卡，其關(guān)鍵基石在于——可重構(gòu)并行處理器架構(gòu)（RPP）。這正是M.2加速卡的核心AE7100背后的殺手锏。RPP架構(gòu)是針對并行計算設(shè)計的芯片架構(gòu)，芯動力將其稱作“六邊形戰(zhàn)士”。
這一架構(gòu)既結(jié)合了NPU的高效率與GPU的高通用性優(yōu)勢，更具備DSP的低延時，可滿足高效并行計算及AI計算應(yīng)用，如圖像計算、視覺計算、信號處理計算等，大大提高了系統(tǒng)的實(shí)時性和響應(yīng)速度。
芯動力同樣制程下的GPGPU芯片，與英偉達(dá)相比，在一些場景下性能提高達(dá)50%，且Core的面積為類似芯片的1/7，功耗僅為其1/2-1/3。對這一架構(gòu)的探索正是他們成立公司的最根本原因。
芯片行業(yè)的發(fā)展周期很長，因此芯動力科技需要在保證芯片性能的同時，能適應(yīng)5、6年之后市場的變化，這樣才能在AI PC這樣的機(jī)會出現(xiàn)時，迅速抓住機(jī)遇，打造出具有顯著優(yōu)勢的產(chǎn)品。
對RPP架構(gòu)的探索可以追溯到英偉達(dá)提出GPGPU新概念前后。彼時，芯動力創(chuàng)始團(tuán)隊就開始探索如何在發(fā)揮GPU并行計算能力和通用性優(yōu)勢的同時，通過引入其他類架構(gòu)的長處，研發(fā)出能更好平衡性能、功耗、成本、延遲、部署速度的硬件。因此，在2011年到2016年間，他們探索出獨(dú)創(chuàng)的將NPU的高效率與GPU的高通用性相結(jié)合的創(chuàng)新架構(gòu)，RPP架構(gòu)應(yīng)運(yùn)而生。
芯動力科技將產(chǎn)品的開發(fā)周期定義為兩個階段，芯動力科技做的就是芯片的研制、基礎(chǔ)軟件研發(fā)，這樣一來，針對企業(yè)的需求在這塊基本成型的芯片上進(jìn)行研發(fā)，只需要兩三個月，就能達(dá)到產(chǎn)品性能，大大縮短芯片應(yīng)用的時間周期。這背后的考量就是芯片的市場推廣。他補(bǔ)充說，目前AI發(fā)展處于早期，其落地的產(chǎn)品量相比于其他傳統(tǒng)行業(yè)的設(shè)備而言并不算多，因此其產(chǎn)品定義仍然在快速變化中。以RPP架構(gòu)為核心的產(chǎn)品出現(xiàn)，能前瞻性地瞄準(zhǔn)通用性需求，滿足芯片在更廣泛場景下的應(yīng)用，這就相當(dāng)于他們面對最后的產(chǎn)品已經(jīng)走了70%的路。面向當(dāng)下的市場變化，M.2加速卡已經(jīng)快速向客戶實(shí)現(xiàn)出貨。
目前M.2加速卡面向的客戶主要為AI PC、工業(yè)視覺以及AI服務(wù)器廠商。目前，M.2加速卡已經(jīng)向基因檢測、AI服務(wù)器客戶出貨，AI PC廠商仍在進(jìn)行產(chǎn)品的調(diào)校?？梢源_定的是，芯動力科技的這一創(chuàng)新產(chǎn)品正讓大模型在端側(cè)迸發(fā)出無限的想象力。
結(jié)語：大模型走向端側(cè)GPGPU創(chuàng)企狂飆
大模型熱潮為國內(nèi)GPGPU公司帶來諸多機(jī)遇，大模型在應(yīng)用端的計算需求對于國內(nèi)創(chuàng)企而言是一個巨大的機(jī)會。
對于芯動力科技而言，其創(chuàng)辦之初就開始前瞻性地打造更加通用的產(chǎn)品，以RPP架構(gòu)為核心打造產(chǎn)品適配企業(yè)客戶更通用的需求，能更靈活應(yīng)對復(fù)雜多變的市場趨勢。
隨著M.2加速卡規(guī)模出貨、AI PC這一新物種的大規(guī)模量產(chǎn)，大模型在端側(cè)將會的發(fā)展將會加速。芯動力科技也在大模型帶來的產(chǎn)業(yè)變革下，熱切尋找市場機(jī)遇。可以看出，當(dāng)下想要抓住產(chǎn)業(yè)機(jī)遇，核心的技術(shù)積累與前瞻性的技術(shù)布局更為關(guān)鍵。
下載ECAD模型
