7940
隨著網(wǎng)絡(luò)攝像機的廣泛應(yīng)用，IPC SoC芯片已經(jīng)嶄露頭角，成為智慧城市管理的關(guān)鍵技術(shù)組件。其在市場上的地位得益于其卓越的性能，包括高圖像質(zhì)量、算法的廣泛兼容性及出色的低功耗特性。這些特點使得它們?nèi)找媸艿绞袌龅臒崃覛g迎。
亮相CPSE，愛芯元智展示“真黑光”技術(shù)
2023年10月25日，在深圳CPSE期間，愛芯元智舉行了愛芯元智“黑光全彩體驗中心”媒體溝通會，愛芯元智副總裁史欣接受了與非網(wǎng)記者的采訪。
愛芯元智副總裁史欣
這已經(jīng)是愛芯元智第二次參加深圳CPSE，與首次參展相比，愛芯已取得了市場和客戶上的顯著進展。史欣介紹，目前愛芯元智的業(yè)務(wù)線已經(jīng)涉及多個領(lǐng)域：包括智慧城市、智能駕駛和機器人及AR、VR等。史欣認為這些業(yè)務(wù)的核心是對視頻和環(huán)境感知的需求，這在AI中至關(guān)重要。面對碎片化的市場，他們錨定于算力和感知，目標是提高圖像效果并確保NPU的高能效比。史欣表示，作為普惠AI的推動者，愛芯元智根據(jù)市場反饋對業(yè)務(wù)線進行了重新梳理和思考。他表示：“盡管人們普遍認為AI是一個無所不在的技術(shù)，但實際上，這并不意味著所有的AI技術(shù)都會被市場所接受?！币虼耍瑦坌驹堑哪繕擞诌^去專注于更先進的AI技術(shù)，轉(zhuǎn)型到更務(wù)實的普惠AI，重點在于如何助力客戶實現(xiàn)商業(yè)成功。
事實上，愛芯元智充當了為客戶提供技術(shù)能力支持的角色，從畫面分割、圖像超分到人車非結(jié)構(gòu)化算法，愛芯展現(xiàn)了自家芯片集成的強大綜合能力。經(jīng)過四輪技術(shù)迭代，愛芯元智的自研核心技術(shù)，如愛芯智眸AI-ISP和愛芯通元混合精度NPU已經(jīng)在市場和客戶中取得了不俗的突破。
本次安防展上，愛芯元智重點介紹了其兩款新產(chǎn)品：AX630C和AX620Q。它們都搭載了最新的愛芯智眸AI-ISP4.0圖像處理引擎以及愛芯通元4.0高性能、低功耗的NPU引擎。這些技術(shù)的升級使得這兩款產(chǎn)品在視頻圖像效果、智能業(yè)務(wù)處理和分析等方面均達到了業(yè)界的領(lǐng)先水平。具體細節(jié)上，AX630C是一款針對智慧城市IPC市場的超高清智能SoC，能夠提供4K@30fps的實時“真黑光”技術(shù)。而AX620Q則是面向模組與渠道IPC市場的高清智能SoC，支持5Mp的實時和4K的非實時“真黑光”技術(shù)。另外，AX630C和AX620Q在功耗、集成度及性能等方面都表現(xiàn)出了明顯優(yōu)勢。AX630C，憑借其高算力，以及新一代的NPU引擎，不僅支持主流的Transformer網(wǎng)絡(luò)，還能解決算法精度和泛化性的問題。而AX620Q，雖然在算力上略顯不足，但在集成度和功耗上則更勝一籌。為了滿足客戶的多樣化需求，這兩款產(chǎn)品都配備了完備的SDK軟件開發(fā)包，確?？焖?、高效的量產(chǎn)。
“真黑光”技術(shù)：重新定義暗環(huán)境攝像與圖像處理
現(xiàn)場展示暗室環(huán)境拍攝
據(jù)介紹，愛芯元智的“真黑光”技術(shù)結(jié)合了AI-ISP與NPU，確保即使在極低的照度條件下，也能真實地還原畫面，實現(xiàn)超過人眼識別能力的清晰度。在不足0.001Lux的光照條件下，它還能夠提供高幀率的實時色彩展現(xiàn)，而且畫面中沒有任何拖影或鬼影，這無疑為攝像技術(shù)開創(chuàng)了新的紀元。
黑光全彩攝像機是一種可以在微弱光源中保持全彩效果的設(shè)備。雖然傳統(tǒng)方法如使用大靶面sensor或降低幀率可以部分達到這個效果，但在特別暗的環(huán)境中，仍然面臨種種問題。而愛芯元智的技術(shù)則完全打破了這一限制，使得在如城市路口或鄉(xiāng)村養(yǎng)殖業(yè)等多種環(huán)境下，即使是在夜間，也能捕獲到高品質(zhì)的彩色視頻。
ISP系統(tǒng)是實現(xiàn)“真黑光”效果的核心。愛芯元智公司AI-ISP專家張興曾在一次論壇上深入地解釋了這一創(chuàng)新ISP架構(gòu)的工作原理。簡單地說，ISP的功能就像人類的大腦，它處理并優(yōu)化傳感器所捕捉到的影像，確保輸出的視頻具有最優(yōu)的質(zhì)量。
愛芯元智副總裁史欣現(xiàn)場分享了更多關(guān)于“黑光全彩”技術(shù)的應(yīng)用前景。他提到了與創(chuàng)維公司的成功合作，這不僅是一個技術(shù)上的里程碑，也預(yù)示著圖像處理技術(shù)即將進入一個全新的階段。而且，這項技術(shù)的應(yīng)用遠不止于此。在汽車行業(yè)，特別是自動輔助駕駛系統(tǒng)中，當車輛在無光環(huán)境下行駛時，也開始廣泛使用這項技術(shù)。史欣進一步預(yù)測，隨著技術(shù)的不斷演進，“真黑光”未來將不再只是處理可見光，而是將包括毫米波雷達、紅外熱成像等多種傳感器信號融合，而這一切都將依賴于AI的處理和集成能力。
愛芯智眸AI-ISP技術(shù)：一場圖像處理的革命
數(shù)字成像技術(shù)，自從其誕生之日起，就為人們的生活帶來了翻天覆地的變化。其中，圖像信號處理（ISP）技術(shù)占據(jù)了核心地位。傳統(tǒng)的ISP技術(shù)，盡管歷經(jīng)數(shù)十年的發(fā)展和完善，但仍存在局限性，特別是在處理復(fù)雜、動態(tài)的實時視頻流時。而現(xiàn)在，隨著AI技術(shù)的迅速發(fā)展，AI-ISP技術(shù)應(yīng)運而生，它模擬人的大腦對圖像數(shù)據(jù)進行處理，為用戶帶來了前所未有的視覺體驗。
愛芯元智公司清楚地認識到，僅依靠傳統(tǒng)方法是無法滿足現(xiàn)代智能化需求的。在這樣的認知驅(qū)動下，他們對AI技術(shù)進行了深度的融入，全新地升級了ISP Pipeline的關(guān)鍵模塊，使得在各種應(yīng)用場景下，無論是公共安全、智慧交通還是家庭娛樂，成像效果都得到了質(zhì)的飛躍。這不僅優(yōu)化了圖像和視頻數(shù)據(jù)的質(zhì)量，而且為后續(xù)的智能處理打下了堅實的基礎(chǔ)。
同時，愛芯通元混合精度NPU技術(shù)的研發(fā)進一步推動了這一創(chuàng)新。傳統(tǒng)的處理技術(shù)經(jīng)常面臨數(shù)據(jù)傳輸量大、處理效率低的問題，特別是在功耗有限的場景下。但混合精度NPU技術(shù)改變了這一現(xiàn)狀，它成功地降低了數(shù)據(jù)傳輸量，提高了處理效率，并保證了在不同應(yīng)用場景中都能夠流暢運行各種復(fù)雜的智能算法。
愛芯智眸AI-ISP和愛芯通元混合精度NPU引領(lǐng)了視頻碼流的結(jié)構(gòu)化處理技術(shù)變革。這一技術(shù)的突破不僅大幅提升了芯片的工作性能，也在智慧城市領(lǐng)域取得了顯著的業(yè)績，促進了大批量的產(chǎn)品出貨。愛芯元智的愛芯智眸AI-ISP技術(shù)為ISP Pipeline中的四個核心模塊——HDR、3DNR、RLTM和Demosaic——帶來了前所未有的深度優(yōu)化。這四個模塊是決定圖像清晰度和整體質(zhì)量的關(guān)鍵，但在傳統(tǒng)ISP技術(shù)下，往往難以達到理想的處理效果。而現(xiàn)在，借助于愛芯智眸AI-ISP，這些難題得到了完美解決。
黑光技術(shù)就是該愛芯技術(shù)優(yōu)勢的又一明證。在低光照條件下，許多現(xiàn)有的技術(shù)都表現(xiàn)得力不從心，而愛芯智眸AI-ISP則輕松應(yīng)對，它能夠在極低亮度條件下實時識別移動物體，并準確還原色彩。史欣認為，隨著技術(shù)的不斷進步和市場的逐步擴大，AI-ISP技術(shù)將被更多的產(chǎn)品和解決方案所采納。
Transformer模型的前景與挑戰(zhàn)
隨著科技的進步，AI已經(jīng)不再是一個遙不可及的概念，它已經(jīng)深入到各個產(chǎn)業(yè)領(lǐng)域中。如今，越來越多的廠商開始涉足AI領(lǐng)域，提供各種基于AI的解決方案，市場競爭日趨激烈。其中，一大原因是由于技術(shù)的成本下降，這意味著更多先進的功能和技術(shù)變得觸手可及，進而帶來了市場上對高清像素和其他高級功能的強烈需求。
史欣認為隨著技術(shù)的進步，AI真正面臨的挑戰(zhàn)在于它們在真實應(yīng)用場景中的表現(xiàn)。談及AIGC廠商對AI的興趣時，史欣坦言許多華南的客戶更關(guān)注的是產(chǎn)品的實際效果而非背后的技術(shù)。他認為，科技要與實際需求相匹配，才能真正地被市場所接受。史欣以與創(chuàng)維的合作為例，分享了在無光環(huán)境下如何通過技術(shù)呈現(xiàn)真實全彩圖像。這一技術(shù)的推出不僅僅是為了吸引消費者的目光，更多的是希望能滿足客戶的實際需求，給用戶帶來真正的價值。
此外，近年來AI大模型也對智慧城市產(chǎn)生深遠影響。領(lǐng)頭企業(yè)紛紛推出大模型，意圖從To G或To大B業(yè)務(wù)拓展到To小B和To C。這增強了技術(shù)粘度和產(chǎn)品中標能力。但消費類市場因成本和技術(shù)門檻而難以進入。對于端側(cè)芯片部署，客戶需求集中于不降低性能和高性價比。這是芯片企業(yè)共同的挑戰(zhàn)。愛芯的解決策略基于先前的基礎(chǔ)，優(yōu)化工具鏈、算子集，并將更多原來需要DSP和FPGA處理的功能進行硬化處理，。成功關(guān)鍵在于構(gòu)建芯片PPA最優(yōu)。DSP、FPGA在高端場景得以留存是因為算法持續(xù)優(yōu)化。ASIC的優(yōu)勢在于固定已知的多種應(yīng)用算法，進行硬化，而有一些探索中的算法需要FPGA、DSP的靈活性。
作為普惠AI的推動者，愛芯元智深知在端側(cè)部署大模型的視覺AI的重要性。當面臨長尾場景下的高投入問題時，端側(cè)部署大模型不僅提供了一種解決方案，而且可能是未來的主流趨勢。當前，凡涉及攝像頭捕捉畫面的應(yīng)用場景，Transformer大模型的需求正在快速增長。這種需求的增加是由多種因素驅(qū)動的，其中包括技術(shù)的進步、市場的需求和用戶的期望。然而，部署的速度往往受到研發(fā)和資源的限制，這需要不同行業(yè)進行適當?shù)恼{(diào)整和規(guī)劃。
史欣也分享了Transformer在智慧城市中的應(yīng)用情景，并提到了Transformer技術(shù)如何幫助提高檢索準確性，這為愛芯帶來了新的機會和挑戰(zhàn)。史欣認為，為了確保技術(shù)部署的商業(yè)價值，需要持續(xù)的研發(fā)和創(chuàng)新。他期待行業(yè)上下游的緊密合作，希望看到更多具有實際應(yīng)用價值的技術(shù)和產(chǎn)品誕生。
對于技術(shù)公司，特別是專注于芯片設(shè)計的公司，如何在端側(cè)快速部署Transformer模型成為了一項關(guān)鍵任務(wù)。從愛芯元智的經(jīng)驗來看，降低大模型帶寬的使用和優(yōu)化Transformer的結(jié)構(gòu)是實現(xiàn)這一目標的關(guān)鍵。愛芯元智的AX650N芯片已經(jīng)在實際部署中證明了自己的價值，并為下一代芯片提供了寶貴的經(jīng)驗。
從更宏觀的角度看，愛芯元智的成功并非偶然。從2020年首顆高性能AI視覺芯片AX630A的量產(chǎn)，到2021年的第二代邊緣側(cè)智能芯片AX620A，再到今年發(fā)布的旗艦款A(yù)X650N，愛芯元智一直在不斷創(chuàng)新，為端側(cè)和邊緣側(cè)的AI應(yīng)用提供了強大的支持。但這只是開始。隨著大模型在端側(cè)和邊緣側(cè)的更廣泛部署，愛芯元智希望能在其AI算力平臺上開發(fā)更多基于Transformer模型的應(yīng)用，為整個行業(yè)帶來實際價值。
總結(jié)
史欣對與非網(wǎng)記者表示，一個公司無法獨自完成AI產(chǎn)業(yè)鏈的所有任務(wù)，需要產(chǎn)業(yè)的共同努力。各企業(yè)應(yīng)專注于自己擅長的領(lǐng)域，共推關(guān)鍵技術(shù)如軟硬結(jié)合。合作伙伴需提供算法和軟件，滿足量化需求。對于端側(cè)AI芯片的未來趨勢，史欣認為端側(cè)芯片將小型化，追求極致性價比，滿足1-2年業(yè)務(wù)需求，對消費者可能是1-1.5年。除性能外，易用性關(guān)鍵，產(chǎn)品應(yīng)更“傻瓜式”，特別適合技術(shù)能力不強，但有其他優(yōu)勢的客戶。
史欣同時預(yù)測到感知設(shè)備將增多，特別是新能源汽車市場。后端處理系統(tǒng)需能處理各種傳感器輸入。他期望未來的SoC既能處理傳感器輸入，也有強大的計算能力滿足應(yīng)用需求。Transformer大模型為AI行業(yè)創(chuàng)新機會，愛芯元智在此領(lǐng)域取得成功，且預(yù)期未來其影響力增大。
圖像處理因AI技術(shù)應(yīng)用進入新時代，愛芯智眸AI-ISP證明了其在圖像處理的領(lǐng)先地位，展望廣泛的成像未來。其“黑光全彩”技術(shù)預(yù)示攝像技術(shù)新紀元，對智慧城市和IoT有巨大應(yīng)用潛力。展望未來，愛芯元智將繼續(xù)合作推進技術(shù)進步，創(chuàng)建技術(shù)前沿、廣泛應(yīng)用的新時代。
下載ECAD模型
