大模型賽點：場景與成本

作者：葉子凌，編輯：陳彬

前幾天，OpenAI舉行首次開發(fā)者大會。一系列的更新發(fā)布使得現(xiàn)場高潮不斷，最令人驚艷的可能莫過于：OpenAI為創(chuàng)業(yè)者開放了支持自定義模型的GPTs。也就是說，創(chuàng)業(yè)者可以針對專業(yè)場景進行定制化的模型研發(fā)。

場景，其實一直是大模型創(chuàng)新最主要的難題之一。

現(xiàn)場另一個重磅發(fā)布則是降價。和原版GPT-4相比，新版GPT-4 Turbo價格降低了2.75倍多。OpenAI的舉動頗具代表性。場景與成本，正是當(dāng)下大模型都在全力攻克的兩座大山。

另一個風(fēng)口

當(dāng)下，相比于創(chuàng)造全新的場景，利用大模型改造現(xiàn)存場景，實現(xiàn)生產(chǎn)力提升，或許是一個更好的思路。

一個典型案例是營銷場景：復(fù)雜的營銷模式和供應(yīng)鏈環(huán)節(jié)，為AI提供了絕佳的應(yīng)用場景。當(dāng)下，行業(yè)已經(jīng)開始思考，如何把大模型應(yīng)用在品牌營銷，尤其是營銷標(biāo)配的電商直播中，以領(lǐng)先技術(shù)實現(xiàn)成本的極致壓縮。

電商直播的優(yōu)勢已無需贅述，大到奢侈品牌，小到莆田廠家都試圖通過這一方式尋求新增長。但對品牌商家而言，做直播需要耗費人力、資源、時間等高成本投入，并且對人員專業(yè)能力有較高要求。因此不免會出現(xiàn)主播在直播時閑聊、產(chǎn)品介紹不到位、主播不招人喜歡、回答不夠?qū)I(yè)等問題，讓不少品牌商望而卻步。

而這一類場景則恰恰適合大模型一展拳腳。京東云以言犀大模型加持的言犀虛擬主播，用不及真人主播1/10的低成本、2小時即可開播的高效率，以及24h拉滿直播時長，給出了高度適配這一場景的降本增效方案。

同仁堂是第一批吃螃蟹的品牌。如今，專業(yè)度極高的京東云言犀虛擬主播，已成為同仁堂京東自營旗艦店的“正式員工”，實現(xiàn)了24小時不間斷直播。特別是在深夜無人值守時段，虛擬主播帶貨了燕窩、阿膠等100余款熱門產(chǎn)品，成交轉(zhuǎn)化率超10%。

除同仁堂外，京東云言犀虛擬主播已經(jīng)入駐青蛙王子、六神、百雀羚等4000多個品牌直播間，累計帶動超10億元GMV，占真人直播40%。今年11.11期間，更以全棧自研技術(shù)支撐，幫助品牌實現(xiàn)提升業(yè)績增量、客服溫度、營銷效率等多維度的價值創(chuàng)造。

評估一項技術(shù)的價值，不應(yīng)該只看發(fā)了多少篇論文，更要看給社會生產(chǎn)力帶來了多少提升，大模型也不例外，而這正是京東的目標(biāo)。

事實上，除數(shù)字人主播之外，京東針對營銷的各個環(huán)節(jié)都提供了對應(yīng)的AI工具。

例如在金融營銷上，京東科技的AI增長營銷平臺，可以快速生成創(chuàng)意營銷方案，僅需1人即可完成過去涉及及產(chǎn)品、研發(fā)等5類以上職能才能完成的流程。同時，一個入口的全新交互模式，讓人機交互次數(shù)從2000次降低至少于50次，將操作效率提升了超過40倍。

加持大模型能力的AI專家，如今正成為營銷場景中必不可少的一員。

從通用到產(chǎn)業(yè)

10月23日晚上8點，今年的雙11大戰(zhàn)正式開幕。同往年一樣，社交平臺上立馬充斥著關(guān)于大促期間，物流快到令人咂舌的段子。

31日晚8剛過10分鐘，全國已于有超1000個縣區(qū)市的消費者收到了小時達(dá)訂單，這背后其實是平臺運營效率的提升。今年在大量商家和消費者服務(wù)上，京東云的產(chǎn)業(yè)AI技術(shù)代替真人分擔(dān)了相當(dāng)一部分工作：

自10月23日京東11.11開啟以來，京東云智能客服已經(jīng)完成了超10億次消費者的應(yīng)答。作為京東官方的服務(wù)與營銷一體化平臺，京小智至今服務(wù)商家數(shù)量超36萬，其中，中小商家較去年11.11增加102%，較今年618增加62%。

零售讓大模型找到了一個可以深入落地的場景，但想解決產(chǎn)業(yè)場景中的實際問題，其實并不容易。

大模型內(nèi)部是一個黑箱，輸出存在不可控的問題。但在更加嚴(yán)肅的商業(yè)場景，品牌商及消費者肯定不能接受大模型胡說八道。得益于長期以來對專業(yè)場景語料訓(xùn)練的京東言犀大模型，京東云已經(jīng)找到了一套解決方案。

京東云將零售、物流、健康等專業(yè)領(lǐng)域知識在預(yù)訓(xùn)練階段就注入到言犀大模型中，對電商商品屬性、價格、品類知識等進行重點強化，使基礎(chǔ)大模型一開始就對關(guān)鍵性信息進行抓取和表征。在應(yīng)用的時候，在客服，導(dǎo)購，直播帶貨，對于非常敏感的信息點就會有更高的保證度和專業(yè)性。

通過信息抽取，京東云將類似信息問答的準(zhǔn)確率從80%+正確率提升到96%的準(zhǔn)確率。而在此基礎(chǔ)上，京東云又通過運營審核對信息準(zhǔn)確性進行兜底，使得最終準(zhǔn)確率達(dá)到近乎100%，真正實現(xiàn)可用。

不過，解決胡說八道只是第一步，消費者不會因為AI專家回答準(zhǔn)確而激情下單。

另一項考驗是：如何讓虛擬主播擁有真人主播的情緒，感染到消費者？京東云在為國臺提供數(shù)字人服務(wù)時就曾遇到過這個問題，開發(fā)出的第一版聲音溫柔且咬字清晰，顯得過于一板一眼。收到商家反饋后，技術(shù)團隊迅速迭代出第二版：充滿激情的人聲。

在這個過程中，京東云打造了一條“聲音供應(yīng)鏈”：

從聲音最基礎(chǔ)的元素上進行規(guī)范、制定標(biāo)準(zhǔn)，再通過技術(shù)進行適配以打磨聲音表現(xiàn)力，并且結(jié)合真實的直播數(shù)據(jù)，持續(xù)迭代有感染力的聲音，如今言犀虛擬主播的音色庫已擴充至超過40個。

除了感染消費者，如何能“體會”消費者的情緒，也是智能客服的難點所在。基于言犀大模型，京東云AI技術(shù)能識別“買貴了”等價格敏感型對話意圖，主動推送“一鍵價?！狈?wù)，提高成單率。同時也有能力將“能刷公交卡的手機”理解為“支持NFC功能”等商品屬性，抓取相關(guān)商品直接推薦給消費者，提高準(zhǔn)確應(yīng)答率。

憑借這一系列技術(shù)方案，虛擬主播的帶貨轉(zhuǎn)化率最高可達(dá)到40%。

相似的方法正同樣被京東云應(yīng)用于視覺形象的迭代。超過70個數(shù)字人形象，讓京東平臺商家在選取符合自家商品調(diào)性的AI形象時，擁有了更多、更合適的選擇。

然而，一個工具畢竟很難100%覆蓋所有的細(xì)分需求。隨著品牌商家不斷深入，難免會希望擁有一個定制化的品牌大模型，以高度匹配自家產(chǎn)品和服務(wù)。可大模型定制化高昂的投入成本和高門檻的技術(shù)要求，是擋在絕大部分品牌面前的兩座大山。

京東云的思路是MaaS（model as service），向客戶提供言犀 AI 開發(fā)計算平臺。

這個平臺覆蓋了數(shù)據(jù)準(zhǔn)備、模型開發(fā)、模型訓(xùn)練及模型部署的 AI 開發(fā)全流程能力，預(yù)置了主流開源大模型以及部分商業(yè)化大模型，以及一百多種推理工具和框架，能夠有效降低大模型開發(fā)門檻和成本。

尤其在開發(fā)者關(guān)注的性能方面，言犀 AI 開發(fā)計算平臺在算力和存儲上做了許多技術(shù)突破，包括平臺對 GPU 算力進行整體調(diào)度和統(tǒng)籌，提高對平臺的底層資源使用的調(diào)度效率；而云海分布式存儲能夠支持大模型海量數(shù)據(jù)高并發(fā)集群要求，可以做到千萬級 IOPS，延遲低至百微秒。

從用戶視角來看，從真人轉(zhuǎn)到數(shù)字人或許只是視覺效果上的切換；但在這背后，其實是京東多年技術(shù)布局的厚積薄發(fā)。

成本攻堅戰(zhàn)

電商為大模型提供了一個合適的場景，相比之下，算力成本問題則沒那么好解決。大模型前期需要訓(xùn)練，應(yīng)用階段需要推理，這些都會消耗巨大的算力。不解決大模型的成本難題，商業(yè)盈利就遙遙無期。

京東云的經(jīng)驗是，先從模型層面進行優(yōu)化，即大模型的蒸餾和量化。

原來的大模型參數(shù)應(yīng)用的32位或64位的浮點數(shù)作為參數(shù)，但浮點數(shù)占用空間大且運算較慢。京東云可以通過4位或8位的數(shù)字來模擬浮點數(shù)參數(shù)，保證精度的同時再通過流式計算的方式提高模型的運行速度。這樣大模型平均生成每個Token的運行成本大大降低。

其次，優(yōu)化大模型推理階段的算力損耗。不同于需要大量并行計算的訓(xùn)練階段，推理需要的數(shù)據(jù)量相對較少。此外京東平臺商家調(diào)用大模型應(yīng)用的時間會呈現(xiàn)波峰波谷，這意味著對計算資源的調(diào)度十分關(guān)鍵。

京東云在計算資源調(diào)度上久經(jīng)沙場了。通過混合多云操作系統(tǒng)云艦，京東云可對超1500萬核容器秒級調(diào)度則可以解決推理階段的算力能力。

這套能力源于常年支持618和11.11。所以借助計算調(diào)度能力，京東云在11.11期間可以為幾十萬需要大模型應(yīng)用的商家部署獨立的容器完成計算支持，應(yīng)用完成后再快速釋放，既靈活高效，又節(jié)省成本。

想要實現(xiàn)算力降本，還有個不容忽視的部分，即數(shù)據(jù)中心的運行電力成本。

數(shù)據(jù)中心是大模型的訓(xùn)練與應(yīng)用的數(shù)字設(shè)施基礎(chǔ)，24小時連續(xù)運行，電力成本占運營總成本的60%-70%；隨著大模型帶動AI 服務(wù)器需求快速提升，因AI 服務(wù)器中大量使用高功率 CPU、GPU芯片，使得服務(wù)器整機功耗以至機柜功耗急劇走高，帶動數(shù)據(jù)中心用電規(guī)模迅速增長。

且隨著電力市場化改革深入，市場交易電價上下浮動范圍不斷擴大，數(shù)據(jù)中心運行電力成本不斷攀升，因此如何降低數(shù)據(jù)中心的電力消耗，已然成為算力降本道路上不可避免的最大挑戰(zhàn)。

面對這個挑戰(zhàn)，京東云基于多年來對研發(fā)大模型的能力積累和大模型對數(shù)字基礎(chǔ)設(shè)施需求的深切理解，創(chuàng)新推出了“阿爾法”智能算力模塊高功率密度解決方案，可根據(jù)數(shù)據(jù)中心基礎(chǔ)條件及服務(wù)器配置需求，定制化提供相應(yīng)的產(chǎn)品解決方案。

這其中包括風(fēng)冷型及液冷型兩個系列模塊產(chǎn)品解決方案：

風(fēng)冷型算力模塊配套采用風(fēng)墻型空調(diào)，風(fēng)墻型空調(diào)功耗較傳統(tǒng)機房空調(diào)可降低30%，并可靈活匹配冷凍水、相變自然冷卻空調(diào)冷源系統(tǒng)；液冷型算力模塊配套采用冷板式液冷系統(tǒng)，空調(diào)系統(tǒng)全年平均運行能效可將PUE制冷因子低于0.07，從而大幅降低數(shù)據(jù)中心運行能耗及運行電力成本，最終實現(xiàn)算力成本的下降。

在面對AI浪潮時，京東的步伐其實跟OpenAI的成長過程有很多不約而同之處。OpenAI的班底是幾個硅谷極客，堅信人工智能可以改變世界。而京東同樣以技術(shù)為起點，以為產(chǎn)業(yè)賦能為最終目標(biāo)，交出了一份值得業(yè)界參考的答卷。

這份始終圍繞產(chǎn)業(yè)思考的誠心其實更加可貴。

而京東的故事也證明了，能夠在技術(shù)風(fēng)口期內(nèi)，迅速把握方向，從學(xué)術(shù)理論走向產(chǎn)業(yè)，其實并不簡單。這既需要對前沿技術(shù)的高瞻遠(yuǎn)矚，又需要對當(dāng)下終端需求的敏感和精準(zhǔn)捕捉。這對一個企業(yè)組織的溝通效率、軟硬件融合能力、以及投研實力都是巨大的考驗。

在科技企業(yè)的商業(yè)戰(zhàn)爭中，最終獲勝的通常不是那個技術(shù)開創(chuàng)者，而是真正將技術(shù)推廣出去，通過工程上的點滴進步，最終為產(chǎn)業(yè)帶來紅利的企業(yè)。

而這方面，其實一直是京東等中國科技企業(yè)的長項。

作者：葉子凌，編輯：陳彬，視覺設(shè)計：疏睿，責(zé)任編輯：陳彬