• 正文
  • 相關(guān)推薦
申請入駐 產(chǎn)業(yè)圖譜

進迭時空成功部署「RISC-V + OpenHarmony + 本地大模型」全棧方案

04/03 07:12
205
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

基于RISC-V AI CPU芯片K1與OpenHarmony 5.0生態(tài),進迭時空采用融合AI架構(gòu)實現(xiàn)首個RISC-V + OpenHarmony + 本地大模型的全棧方案,可以在進迭時空MUSE Paper平板上部署通義千問0.5B、1.5B以及DeepSeek-R1-1.5B等大模型,打造從硬件到系統(tǒng)的全棧創(chuàng)新AI解決方案。無需復(fù)雜適配、無需高昂算力成本,適用終端設(shè)備大模型新AI智能化升級。

技術(shù)路線:同構(gòu)融合AI架構(gòu)

相對于傳統(tǒng)“CPU + NPU”異構(gòu)方案,進迭時空通過同構(gòu)融合架構(gòu)提供了一條新的技術(shù)路線:

1.統(tǒng)一指令集:共同使用RISC-V指令集驅(qū)動通用計算和AI計算。

2.開放可編程:便捷接入RISC-V開源生態(tài),適配各種私有算子和新模型結(jié)構(gòu)的迭代。

基于同構(gòu)融合的架構(gòu),我們已經(jīng)接入llamacpp及ollama生態(tài),逐步接入Pytorch及vLLm等大模型生態(tài)中。

技術(shù)方案

模型運行環(huán)境(foundation/ai/ds_r1_service)

  • 模型部署:
    基礎(chǔ)模型:DeepSeek-R1-1.5B-Q4(4bit 量化)
  • 推理服務(wù)化:
    實現(xiàn) OHOS AI 標準接口
    支持 JS/TS 跨語言調(diào)用

系統(tǒng)級優(yōu)化(kernel/linux/arch/riscv)

  • 調(diào)度策略:
    推理進程綁定 CPU0-3(RV64 四核,屏蔽中斷)
    使用 SCHED_FIFO 實時調(diào)度(優(yōu)先級 99,高于系統(tǒng)服務(wù))

方案價值

全棧創(chuàng)新,安全與開放兼得

  • 全棧創(chuàng)新:采用K1芯片+ OpenHarmony 5.0系統(tǒng)+本地大模型,實現(xiàn)從硬件到系統(tǒng)到算法的全棧創(chuàng)新。
  • 數(shù)據(jù)安全:模型文件SELinux加密,在工業(yè)診斷、教育答題等敏感場景下,確保數(shù)據(jù)嚴格留存于本地設(shè)備,杜絕數(shù)據(jù)外流。
  • 生態(tài)開放:擁抱開源生態(tài),已接入llamacpp生態(tài),即將支持ONNXRuntime生態(tài),后續(xù)將逐步接入PyTorch及vLLM生態(tài)。

性能與成本平衡

  • 快速推理:通過標準256bit RVV向量指令及自定義AI指令集,深度優(yōu)化AI模型推理性能,提升0.5B和1.5B模型的運行速度。
  • 8核智能調(diào)度:8核CPU智能分工——4核專注大模型推理任務(wù),4核并行處理系統(tǒng)任務(wù),性能有保障。
  • 輕量部署:4GB跑1.5B參數(shù)模型,端側(cè)設(shè)備直接安裝。

高效開發(fā),快速部署

  • 提供完整的AI基礎(chǔ)和OpenHarmony系統(tǒng)LLM運行庫和應(yīng)用開發(fā)demo。
  • 輕松部署:標準化AI接口(OHOS IAiModelAgent),JS/TS跨語言一鍵調(diào)用。一鍵部署AI組件,運行LLM(10分鐘完成LLM組件加載)。

應(yīng)用場景

工業(yè)場景(邊緣設(shè)備問答與控制)

采用K1芯片的工業(yè)網(wǎng)關(guān),無需聯(lián)網(wǎng),即可實現(xiàn)本地響應(yīng)設(shè)備故障咨詢及本地故障診斷響應(yīng)。

教育場景(智能學(xué)習(xí)輔導(dǎo))

K1芯片教育平板,提供離線智能輔導(dǎo)、作業(yè)批改、趣味學(xué)習(xí)等功能,定義AI教育新模式。同時,模型文件存儲受SELinux保護,僅AI服務(wù)可讀寫,保障數(shù)據(jù)安全。

家居場景(低功耗智能控制)

K1芯片智能語音設(shè)備,待機時主頻降至600MHz,實現(xiàn)低功耗運行。

文檔與生態(tài)

開發(fā)指南:《OH5.0 標準系統(tǒng)下 DeepSeek-R1 部署指南》

示例代碼:提供 JS/TS 調(diào)用示例

兼容性聲明:支持 OH5.0 標準系統(tǒng) + SpacemiT K1產(chǎn)品發(fā)布計劃

參考開發(fā)硬件平臺:MUSE Paper

相關(guān)文檔請登錄https://archive.spacemit.com/tools/openharmony/ai/下載。

相關(guān)推薦