• 正文
    • 01、做一款真正的“新”求解器
    • 02、成為中國產(chǎn)業(yè)升級的“最強(qiáng)大腦”
    • 03、結(jié)語
  • 相關(guān)推薦
申請入駐 產(chǎn)業(yè)圖譜

打造產(chǎn)業(yè)升級隱形引擎:達(dá)摩院求解器的「寂靜戰(zhàn)場」

01/25 08:55
1298
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

作者丨馬曉寧,編輯丨陳彩嫻

世界500強(qiáng)企業(yè)中,已經(jīng)有85%在使用求解器作出最優(yōu)決策。”? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?

這是一個小眾的領(lǐng)域。這是一場少有人知的比賽。這卻是一份決定中國未來工業(yè)智能化軟件。一切指向三個字:求解器。

2024年12月28日下午6點,是 “國產(chǎn)求解器技術(shù)專題賽”決賽的提交截止時間。這是一場極其低調(diào)的比賽,由工信部產(chǎn)業(yè)發(fā)展促進(jìn)中心組織的“第二屆能源電子產(chǎn)業(yè)創(chuàng)新大賽”專設(shè),作為目前國內(nèi)求解器領(lǐng)域唯一的權(quán)威賽事。

主流的商用求解器和科研院所開發(fā)者濟(jì)濟(jì)一堂,但在大眾層面,沒有太多的熱度和關(guān)注。達(dá)摩院決策智能實驗室算法專家葉俊帶領(lǐng)的小分隊,帶著“敏迭求解器”,頂著“衛(wèi)冕冠軍”的光環(huán)和壓力,經(jīng)過了十天的線上測試賽和三天的線下測試賽,直至參加決賽。比賽的賽題延續(xù)去年,以電力調(diào)度為背景。

求解器需要精準(zhǔn)地調(diào)度發(fā)電機(jī)組,在每時每刻,決策哪些機(jī)組啟停,發(fā)電功率多少,既要保持電網(wǎng)平衡,又要經(jīng)濟(jì)效益最高,還要安全穩(wěn)定。這種“燒腦”的數(shù)學(xué)題,正是求解器的用武之地。但即使是對高性能的求解器而言,電網(wǎng)也是一張由百萬級變量緊密耦合的復(fù)雜網(wǎng)絡(luò),求解難度極大。

本屆比賽進(jìn)一步“上強(qiáng)度”,將計算規(guī)模提升至上千臺發(fā)電機(jī)組的調(diào)度,并且額外引入了儲能調(diào)度。這也是在新能源比例不斷攀升的時代,新型電力系統(tǒng)面臨的現(xiàn)實需求,賽題充分考慮到了這一點。為此,衛(wèi)冕冠軍隊準(zhǔn)備了兩手新的“殺招”。一是AI,二是分布式計算。針對比賽前下發(fā)的參考算例,他們將測試算例拆分成多個單元計算任務(wù),依托自研的分布式計算框架Distrun并行測試,“一將”化成“千軍萬馬”,快速尋找算法的改進(jìn)機(jī)會。

面對決賽中的未知算例,他們利用深度學(xué)習(xí)技術(shù)Learn2Configure,為求解器自動配置高質(zhì)量的超參數(shù),就像有一位“AI顧問”幫助人類自動搜索最佳參數(shù)組合,平均可將求解效率提升1.5倍。

01、做一款真正的“新”求解器

從運籌學(xué)的角度看,一切決策都應(yīng)該基于“問題求解”(Problem Solving),即在有限的資源下實現(xiàn)最大化效益或最小化成本。解決這類問題的專業(yè)軟件,被稱為“求解器”(solver)。它是現(xiàn)代工業(yè)、商業(yè)決策行為中的核心工具之一,內(nèi)嵌在電力能源、工業(yè)制造、交通物流、零售、金融、云計算、科研等行業(yè)的核心業(yè)務(wù)系統(tǒng)中。因此,求解器也有“工業(yè)軟件之芯”之稱。設(shè)計工期最短的項目計劃、總成本最低的航班編排、風(fēng)險水平最低的資金調(diào)配方案、對健康組織傷害最小的放療方案、里程最短的運輸路線等......人類整個經(jīng)濟(jì)社會,都是求解器的舞臺。

長期以來,國際市場上占據(jù)主導(dǎo)地位的是三家國外求解器巨頭,IBM CPLEX、GUROBI和FICO Xpress。國內(nèi)既缺少相關(guān)研發(fā)人才,也缺少商用求解器的品牌。

達(dá)摩院決策智能研究實驗室負(fù)責(zé)人、運籌學(xué)Egon Balas獎唯一的中國得主印臥濤,是運籌優(yōu)化研究的領(lǐng)軍人物之一。2019年,基于中國產(chǎn)業(yè)界的諸多現(xiàn)實需求,他決定帶隊自研一套求解器。然而,工程和學(xué)術(shù)之間的差別巨大。一篇論文只是一塊算法的磚頭,但是一個求解器是一座算法的大廈,不僅要把每一塊磚頭煅燒好,也要有工程的實現(xiàn)能力,更要提升算法之間的配合效率。

經(jīng)過四年的連續(xù)攻堅戰(zhàn),隨著各模塊不斷被驗證、完善,共迭代26個版本,線性規(guī)劃能力多次登頂國際權(quán)威測評榜單。2023年10月,達(dá)摩院自研求解器的1.0版本正式發(fā)布。2024年11月,該求解器被正式命名為“敏迭”并升級2.0版本,增加了對非線性規(guī)劃(NLP)和混合整數(shù)二次錐規(guī)劃(MIQCP)兩類模型的支持。在針對1800個NLP和252個MIQCP問題的測評中,敏迭的求解數(shù)量和速度均持平或超越其他商用求解器,達(dá)到國際一流水平。

和國外那些已經(jīng)有幾十年歷史的求解器相比起來,敏迭必須承擔(dān)“遲到者”的劣勢,那就是老牌廠商已經(jīng)積攢了幾十年的算例、數(shù)據(jù)和算法,底蘊深厚,能熟練地針對特定行業(yè)應(yīng)用問題進(jìn)行求解。這是一定要承認(rèn)的事實。但從另一方面講,老牌廠商有時也受限于“老牌”的包袱,沒有給后來誕生的新技術(shù)預(yù)留位置,面對一些新產(chǎn)業(yè)形態(tài)和需求,也會有跟不上的困擾。而這,正是敏迭作為“后發(fā)者”的優(yōu)勢。

印臥濤表示:“從2019年起步的時候,達(dá)摩院求解器就把目標(biāo)定為下一代的技術(shù),而不是僅僅是追趕國際領(lǐng)先廠商?!痹谶@次比賽中,葉俊等嘗試的AI、分布式計算、優(yōu)化求解三方面的融合,就是由敏迭長期堅持的創(chuàng)新技術(shù)路線。它突破傳統(tǒng)的求解器概念,直接把最前沿的技術(shù)寫入求解器的基因,重塑“工業(yè)軟件之芯”。

不久前,敏迭求解器就入選了工信部發(fā)布的“人工智能賦能新型工業(yè)化”典型應(yīng)用案例,在“裝備產(chǎn)品”方向上排名第一。敏迭證明了,人工智能這個最熱門的技術(shù)名詞,和求解器這個小眾冷門的技術(shù)名詞,完全可以互相成就。

02、成為中國產(chǎn)業(yè)升級的“最強(qiáng)大腦”

2023年年底,達(dá)摩院自研求解器剛剛發(fā)布1.0版本,恰逢首屆國產(chǎn)求解器技術(shù)專題賽舉辦,一舉奪魁。2024年底,“敏迭”求解器2.0碰上第二屆國產(chǎn)求解器技術(shù)專題賽,又是一場酣暢淋漓的勝利。

在某種意義上,達(dá)摩院自研求解器的歷程,也和中國產(chǎn)業(yè)界對決策智能的認(rèn)知和需求發(fā)展相契合。早在研發(fā)之初,達(dá)摩院就曾在國際權(quán)威求解器性能榜單上刷新世界紀(jì)錄,從此之后,團(tuán)隊心里有了底,不再將單純的打榜作為評價能力的指標(biāo),而將這款求解器能否真的在實際場景中產(chǎn)生價值,作為自我考核的標(biāo)準(zhǔn)。光有技術(shù)是不夠的,只有被市場廣泛認(rèn)可的產(chǎn)品,才有余力去做自我迭代,從而保留長久的生命力。

和老牌求解器相比,除了“AI+優(yōu)化求解器”的技術(shù)創(chuàng)新,敏迭求解器也作了生態(tài)創(chuàng)新的嘗試。首先是降低安裝和部署的門檻。敏迭求解器器是國內(nèi)唯一一家有云端在線版本的求解器軟件。這種部署既可以支持不同的云廠商和云資源,也可以支持個人電腦。再加上使用說明極其詳盡,配置起來也很簡單,需求簡單的客戶,可以直接上手。其他求解器需要本地化部署,將一些沒有技術(shù)和資源條件的需求方拒之門外。其次,敏迭團(tuán)隊向客戶“多走一步”,打造了全流程優(yōu)化套件,包括建模語言MAPL、AI調(diào)參器Tuner、開發(fā)平臺Studio、AI工程師Copilot以及分布式計算DistRun等。求解器的價值,是能夠支撐決策智能化的核心計算引擎。

中國的商用求解器發(fā)展較晚,一個深層的原因是,求解器的發(fā)展和產(chǎn)業(yè)數(shù)字化的進(jìn)程息息相關(guān)。有了數(shù)字化,有了數(shù)據(jù)和技術(shù)支撐,才能將產(chǎn)業(yè)問題轉(zhuǎn)變?yōu)閿?shù)學(xué)問題,也才能通過求解的方式,從依賴人工經(jīng)驗轉(zhuǎn)向有科學(xué)依據(jù)的智能決策。

中國的工業(yè)數(shù)字化正在進(jìn)行時,工業(yè)數(shù)智化又近在眼前。許多剛剛完成數(shù)字化、或者尚未完成數(shù)字化的企業(yè),都面臨著缺乏數(shù)學(xué)建模工程師的窘?jīng)r。而敏迭求解器,通過AI工程師Copilot這個優(yōu)化套件,可以將客戶用自然語言描述的業(yè)務(wù)問題自動建模,再調(diào)用求解器,對于許多沒有足夠建模工程能力的客戶而言,敏迭的這一功能幫了大忙。

此外,達(dá)摩院自研的建模語言MAPL語法接近數(shù)學(xué)語言,易學(xué)易寫易讀易維護(hù);AI調(diào)參器Tuner結(jié)合深度學(xué)習(xí)技術(shù),幫助運籌優(yōu)化工程師自動搜索求解器最佳參數(shù)組合,提升求解器求解性能;“運籌優(yōu)化 + AI智能”雙決策引擎開發(fā)平臺Studio,可一站式解決數(shù)據(jù)接入、算力管理、持續(xù)評測、方案沉淀等開發(fā)需求,平臺上有豐富的求解案例源代碼示例,用戶可以快速掌握。這一系列優(yōu)化套件,都是在降低求解器的使用門檻,讓各行各業(yè)的企業(yè)、開發(fā)者盡快上手。目前,敏迭已推廣到了阿里集團(tuán)內(nèi)部多個業(yè)務(wù)場景,包括云計算資源調(diào)度、金融資金分配、新零售智能營銷等。在外部,敏迭則落地電力調(diào)度、航班編排、高端制造等關(guān)鍵領(lǐng)域。

比如,在電力調(diào)度上,達(dá)摩院已與中國南方電網(wǎng)電力調(diào)度控制中心合作發(fā)布“電力調(diào)度智能決策平臺”,幫助南網(wǎng)總調(diào)實現(xiàn)從15分鐘到秒級的調(diào)度,準(zhǔn)確率媲美經(jīng)驗豐富的調(diào)度員。在儲能調(diào)度方面,敏迭落地國家電投“天樞一號”智慧能源物聯(lián)網(wǎng)平臺,助力打造國內(nèi)首個面向工商業(yè)儲能的優(yōu)化求解子系統(tǒng),將充放電策略求解時間從小時級壓縮到分鐘級,工廠月度電費減少30%。在石化行業(yè),敏迭能夠建立大規(guī)模池化問題的數(shù)學(xué)優(yōu)化模型,利用非線性規(guī)劃求解器求解非凸二次規(guī)劃問題,對比國外某知名求解器,求解時間從163.8.4秒縮短至155.8秒,求解成功率從63%提升至74%。在金融資產(chǎn)管理領(lǐng)域,敏迭從預(yù)處理開始去縮減模型規(guī)模,引入Jacobi ADMM并行計算技術(shù)加速整體計算效率,幫助將10億級參數(shù)的全鏈優(yōu)化求解壓縮到半小時內(nèi)完成。

在可見的未來,求解器將滲透到各行各業(yè)的關(guān)鍵環(huán)節(jié),從智能設(shè)備的研發(fā)與設(shè)計,到生產(chǎn)線的自動化與智能化改造,再到供應(yīng)鏈的優(yōu)化與管理、低空經(jīng)濟(jì)的路徑規(guī)劃,無處不在。它將助力企業(yè)精準(zhǔn)控制生產(chǎn)過程,提高資源利用效率,降低能耗和排放,推動綠色制造和可持續(xù)發(fā)展。世界500強(qiáng)企業(yè)中,已經(jīng)有85%在使用求解器作出最優(yōu)決策。在中國,越來越多的企業(yè)將會開始熟練使用這一產(chǎn)業(yè)升級的“隱形引擎”。

03、結(jié)語

這是一個極其小眾的領(lǐng)域,敏迭剛剛開始研發(fā)時,印臥濤覺得“全世界能做這件事的只有100多人?!边@也是一場極其低調(diào)的比賽,除了求解器的相關(guān)從業(yè)和研究者,大眾層面沒有太多的熱度和關(guān)注。但就在這個小小的角落,在這一小批人的努力下,中國的求解器正在追趕和超越著國際領(lǐng)先水平。求解器將成為中國產(chǎn)業(yè)升級的最大助力之一。為眾人抱薪者,他們的努力永不會被埋沒。

相關(guān)推薦