基于EdgeX+OpenVINO? 的邊緣智能融合網(wǎng)關YiFUSION

作者：上海億琪軟件有限公司CEO 褚建琪，Linux基金會亞太區(qū)開源布道者 張晶

01、應用場景簡介

有邊緣智能需求的大部分客戶已經對AI推理和邊緣計算有一定的了解，都希望可以將邊緣數(shù)采和AI推理結合在一起，實現(xiàn)硬件資源的充分利用，完成更高層次的業(yè)務結合。

英特爾??視頻AI計算盒：已經興起一段時間，各種業(yè)務場景使用的推理模型不計其數(shù)，調優(yōu)和再訓練已經成了當前的熱門工作內容。

邊緣數(shù)采：對傳統(tǒng)的傳感器進行數(shù)據(jù)收集和處理，已經在各領域應用數(shù)十年。

在當前客戶的業(yè)務需求下：

活切換推理模型，根據(jù)業(yè)務需要選擇。

與北向系統(tǒng)對接，完成云/企業(yè)服務融合。

如何將邊緣數(shù)采和AI推理充分結合，已經破在眉睫，文本提出一種解決方案YiFUSION：將AI推理集成到成熟的邊緣計算框架-EdgeX Foundry中，而從快速實現(xiàn)具備邊緣數(shù)采和AI推理功能的邊緣智能融合網(wǎng)關。

02、解決方案系統(tǒng)構架：

本系統(tǒng)設計硬件設計采用英特爾? CPU(iGPU)+GPU[可選] ：CPU必須有，獨立GPU可根據(jù)實際需要靈活擴展，如下圖所示：

本系統(tǒng)全部采用Docker微服務運行，具體功能描述如下：

圖例中，①作為AI推理服務器，運行OpenVINO? Model Server容器；

圖例中，②作為流媒體服務器，負責流媒體的編解碼，實時查看視頻流，運行億琪軟件產品YiMEDIA，同樣也采用容器運行；

圖例中，③作為邊緣計算，運行EdgeX Foundry容器，負責整個系統(tǒng)的協(xié)調和業(yè)務驅動；

03、硬件環(huán)境

準備一臺可以作為整個系統(tǒng)運行的硬件設備，筆者使用了開頭提到的兩種英特爾開發(fā)套件家族里的硬件設備分別進行了測試。

1. 研揚科技哪吒（Nezha）開發(fā)套件。作為基礎型驗證或少量攝像頭推理；<100 fps(Frame Per Second) 推理性能；

研揚科技哪吒（Nezha）開發(fā)套件：https://ic-item.jd.com/10093217881071.html#none

2. 深圳市鉑盛科技有限公司生產的算力魔方，型號：PZ21_2L2S。桌面型小主機，可帶掛架；作為商業(yè)級應用，<10臺攝像頭推理；<200 fps(Frame Per Second) 推理性能。

算力魔方：https://www.pasuntech.com.cn/2068.html

04、軟件實現(xiàn)

采用Ubuntu 22.04作為Docker宿主主機，并且已經成功完成Docker運行環(huán)境的安裝和測試：

基于OpenVINO? Model Server提供AI推理服務

采用億琪軟件公司自己的流媒體服務器軟件：YiMEDIA，來實現(xiàn)視頻流的編解碼

使用EdgeX Foundry管理攝像頭和邊緣數(shù)據(jù)

億琪云接收到的推理結果，如下圖所示：

05、YiFUSION功能全景圖

基于EdgeX和OpenVINO?的邊緣融合智能網(wǎng)關YiFUSION具備邊緣計算、智能分析、數(shù)據(jù)融合等功能的智能網(wǎng)關，能夠在邊緣側實現(xiàn)數(shù)據(jù)采集、處理、分析、融合和應用，為用戶提供更加智能、高性價比的服務：

06、總結

上海億琪軟件有限公司作為國家級高新技術企業(yè)，全球領先的工業(yè)物聯(lián)網(wǎng)軟件開發(fā)商和解決方案提供商，助力企業(yè)和組織實現(xiàn)數(shù)字化轉型。公司基于EdgeX和OpenVINO? 打造的YiFUSION邊緣融合智能網(wǎng)關產品，為工業(yè)客戶提供一整套的邊緣計算+AI能力：高性能數(shù)據(jù)采集、多類型數(shù)據(jù)融合、AI算法集成、云端業(yè)務對接。在邊緣網(wǎng)關的基礎上，集成了IoT平臺的邊緣協(xié)同能力、本地Web SCADA和HMI功能、本地數(shù)據(jù)存儲、邊緣AI視頻分析、行業(yè)應用集成等。

本文詳細技術細節(jié)，請參考：https://www.edgexfoundry.org.cn/blog/2024/02/24/yifusion_edgex_with_openvino/

上海億琪軟件有限公司聯(lián)系方式：

網(wǎng)站：www.yiqisoft.cn

電話：18616669123

Email：jiekechoo@yiqisoft.cn