• 正文
    • 光電混合計算可將絕對算力提升3-5倍以上
    • 曦智科技發(fā)布最新款光電混合計算卡產(chǎn)品——曦智天樞
    • 寫在最后:曦智天樞就像是"特斯拉Roadster"
  • 相關(guān)推薦
申請入駐 產(chǎn)業(yè)圖譜

光電混合計算商業(yè)落地,成為低延遲高能效計算新選擇

原創(chuàng)
04/03 11:04
1002
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

人工智能尤其是深度學習大模型的發(fā)展,正在對算力提出新的要求,有研究機構(gòu)預測,未來算力需求將每4-6個月翻一倍,遠快于摩爾定律的每18-24個月晶體管密度翻一倍。

與此同時,隨著芯片制程逼近物理極限(2nm工藝的晶體管僅幾十個原子寬),量子隧穿效應和制造成本暴漲(3nm研發(fā)超200億美元)讓傳統(tǒng)微縮難以為繼,摩爾定律正在走向終結(jié)。

為了解決以上算力需求增長與傳統(tǒng)芯片發(fā)展瓶頸間的矛盾,行業(yè)正積極探索多元路徑,為算力突破開辟新的方向。

其中,傳統(tǒng)的路線有兩大方向,一種是通過近存計算和存內(nèi)計算,也就是將存儲單元放在計算邏輯芯片上方或者與計算邏輯芯片放在同一顆芯片內(nèi)的方式,來解決存儲和計算之間帶寬和數(shù)據(jù)搬運的問題;另一種是通過架構(gòu)創(chuàng)新,也就是把芯片上的晶體管進行重新排列,讓AI產(chǎn)品重新定制計算核的形式,比如美國Sambanova公司的流式計算架構(gòu)、谷歌TPU專用的ASIC架構(gòu),來解決晶體管的使用率問題。

然而,這并不能解決“絕對算力”問題,人們依舊會面臨晶體管數(shù)量不足的困擾。

對此,曦智科技創(chuàng)始人兼首席執(zhí)行官沈亦晨博士表示:“我們正在從光電混合計算的角度來進一步解決晶體管或者代替晶體管解決單位面積的絕對算力問題,這是一種更底層的技術(shù)突破?!?/p>

圖 | 曦智科技創(chuàng)始人兼首席執(zhí)行官沈亦晨博士;來源:與非網(wǎng)攝制

光電混合計算可將絕對算力提升3-5倍以上

為什么光電混合計算可以突破晶體管的限制?

對此,沈亦晨解釋道:“這是因為對于光來講,不論以何種主頻,1GHz、10GHz還是100GHz,在光纖里面或者在芯片上的波導中傳播時,它都不會產(chǎn)生熱量。基于此,我們可以通過提高它的主頻,或者提高波分復用的波長數(shù)量,來進一步增加單位面積的絕對算力?!?/p>

“此外,近存計算架構(gòu)或者流式架構(gòu)同樣可以在光電混合計算芯片上來實現(xiàn),換言之,光電混合也可以做近存計算或AI流式計算?!?沈亦晨補充道。

提到光電混合計算,曦智科技作為該方向的提出者,當前不管是從底層創(chuàng)新還是商業(yè)落地,在全球都是走的最快的。

但是曦智科技并沒有講“比電快1萬倍、10萬倍的故事”,而是 非常樸實地表示,當前基于曦智科技的光電混合計算硬件,可以在特定場景下實現(xiàn)比電計算性能高3倍、5倍以上的提升。

圖 | 曦智科技提出了EOPP的概念;來源:與非網(wǎng)攝制

為了更好地理解當前光電混合計算的算力情況,曦智科技聯(lián)合創(chuàng)始人、首席技術(shù)官孟懷宇博士還提出了EOPP(Effective Optical Processing Power)的概念,從而將光計算的峰值算力、計算精度、矩陣可編程能力以及刷新頻率等納入光電混合計算能力的綜合評價體系中去。

圖 | 曦智科技聯(lián)合創(chuàng)始人、首席技術(shù)官孟懷宇博士;來源:與非網(wǎng)攝制

曦智科技發(fā)布最新款光電混合計算卡產(chǎn)品——曦智天樞

2021年12月,曦智科技首次對外發(fā)布光電混合計算產(chǎn)品,成功驗證了光電混合計算在特定算法下,相較于主流GPU數(shù)百倍的速度優(yōu)勢。

就在近日,曦智科技發(fā)布了全球首款實現(xiàn)商業(yè)化落地的可編程光電混合計算卡——曦智天樞,其核心突破在于采用3D先進封裝技術(shù)(TSV+FlipChip)128×128光學矩陣乘法器與電學專用集成電路異構(gòu)集成。光學處理單元(OPU)通過光的并行特性實現(xiàn)矩陣運算,主頻1GHz下延遲僅200ps,而電芯片(ASIC)負責邏輯控制與精度校準,兩者協(xié)同將輸出精度提升至8bit,滿足ResNet50等商用AI模型的推理需求。

圖 | 曦智科技光電混合計算卡“曦智天樞”;來源:曦智科技

相較上一代產(chǎn)品,曦智天樞的光子器件數(shù)量、芯片面積及矩陣規(guī)模均提升4倍,等效光算力(EOPP)達84,標志著光計算從實驗室走向產(chǎn)業(yè)化的關(guān)鍵一步。

軟件方面,曦智天樞搭載了曦智光電混合計算軟件棧,其算子庫包含RVV(RiscV Vector)算子,電矩陣(dMAC)加速算子,光矩陣(oMAC)加速算子,?支持CV類和LLM類模型,以及non-AI算子,如Ising,LineSolver等。用戶借助曦智編譯器,可以靈活地運用這些算子來構(gòu)建高效的應用模型。此外,平臺還支持用戶自定義算子,通過OpenCL C/C++語言進行編譯和優(yōu)化,進一步擴展了算法開發(fā)的靈活性。

曦智科技的軟件棧與主流框架如Pytorch和ONNX深度集成,客戶可以通過軟件棧直接使用曦智天樞的光矩陣和電矩陣加速單元對模型和算法進行加速和驗證,也可以將模型通過曦智編譯框架編譯部署在端側(cè)進行推理。通過軟件棧,天樞成功運行了深度卷積神經(jīng)網(wǎng)絡模型ResNet50及AI大語言模型LlaMA 2,首次實現(xiàn)了光電混合計算在商業(yè)化場景中的應用。

在實際應用中,根據(jù)北京大學常林教授團隊的實測數(shù)據(jù)顯示,天樞在醫(yī)學圖像分割(512×512分辨率)任務中,光加速占比75%,準確率媲美高端GPU;在毫米波雷達信號處理中,其納秒級延遲顯著提升實時性,驗證了光電協(xié)同校正技術(shù)的有效性。

寫在最后:曦智天樞就像是"特斯拉Roadster"

關(guān)于光電混合計算的未來,曦智科技CEO沈亦晨指出,曦智天樞的發(fā)布類比"特斯拉Roadster",標志著光計算首次以商業(yè)化產(chǎn)品形態(tài)突破電算力邊界。

根據(jù)Yole預測,2030年光電混合計算市場規(guī)模將超百億美元,而曦智天樞的技術(shù)路徑——通過波分復用(當前為單波長,可做到8波長/16波長復用)和主頻提升(當前1GHz vs. 光通信100GHz潛力)仍具3個數(shù)量級的算力擴展空間。

當然,曦智天樞的價值不僅在于性能參數(shù),更在于其構(gòu)建了光電混合計算的技術(shù)范式:以光突破晶體管密度限制,以電彌補光計算通用性短板。

隨著下一代產(chǎn)品(256×256光子矩陣)的研發(fā)推進,曦智科技正推動算力產(chǎn)業(yè)從"硅基微縮"轉(zhuǎn)向"光-電協(xié)同"的新賽道,這一創(chuàng)新或?qū)⒅厮蹵I基礎設施的競爭格局。

相關(guān)推薦