1784
隨著深度學(xué)習(xí)和復(fù)雜模型的不斷涌現(xiàn)，對算力的需求持續(xù)上漲。企業(yè)正加大對高性能計算資源的投入，特別是GPU和TPU等專用硬件的使用。而如何降低模型部署成本是各家公司一直考慮的關(guān)鍵點。今天特邀AI基礎(chǔ)設(shè)施領(lǐng)域?qū)＜?、趨境科技CEO艾智遠(yuǎn)，一起圍繞AI Infra市場的商業(yè)創(chuàng)新與競爭機遇，進(jìn)行深度對話。
1創(chuàng)業(yè)二三事
趨境科技創(chuàng)立剛滿一年時間，您也從大廠研發(fā)負(fù)責(zé)人轉(zhuǎn)變?yōu)閯?chuàng)業(yè)公司CEO，如果用三個關(guān)鍵詞總結(jié)2024年，會是哪三個關(guān)鍵詞？
艾智遠(yuǎn)：那應(yīng)該是從零開始、多重打工人、成長突破。
第一個從零開始是因為之前的團隊經(jīng)過五年的時間形成了規(guī)模，各個方面都趨近于成熟化，對于新公司來說首要問題是怎么找到合適的伙伴一起創(chuàng)業(yè)。大廠背景下會有伙伴慕名而來，但對于創(chuàng)業(yè)公司來說還需要摸索和探討，一切都是從零開始。
第二點是體會了多重打工人的身份，公司剛成立的時候，我主要是尋找大方向，做技術(shù)決策。再到后來財務(wù)管理、場地租賃、融資情況、企業(yè)文化、保潔安排等都需要處理，感覺自己在各種忙碌的角色中進(jìn)行切換，像管家一樣服務(wù)公司。
第三個關(guān)鍵詞是成長突破，我在之前的公司做到研發(fā)主管層面，很多流程都比較熟悉。但是現(xiàn)在要面臨公司如何實現(xiàn)商業(yè)化的問題，以及如何選擇商業(yè)路徑，尤其目前市場上還沒有展現(xiàn)出非常精通大模型商業(yè)邏輯的公司，大家都在摸著石頭過河。我在這個過程中不斷的突破自我，學(xué)到了很多東西，從財務(wù)本身到融資，再到產(chǎn)品研發(fā)，方方面面都要重新學(xué)習(xí)?？傮w而言，這個過程辛苦，但做著自己喜歡的事，我認(rèn)為是一個很讓人興奮的過程。
艾總的回答很符合初次創(chuàng)業(yè)者的心態(tài)，您所在的AI Infra和大模型領(lǐng)域中，清華系公司很多，而且大多數(shù)是清華師生共同創(chuàng)業(yè)，趨境科技略有差別，是知名投資人+清華系技術(shù)的組合創(chuàng)業(yè)，為什么是這樣的組合？
艾智遠(yuǎn)：每次融資也會有人提這個問題，創(chuàng)業(yè)的過程往往是遇到什么機會就抓住什么機會，所以創(chuàng)業(yè)的過程中有必然和偶然的推動。起初我們的天使投資方真知資本和清華實驗室有較多合作，并且當(dāng)時也探討過大模型時代要做什么事情。當(dāng)初我們賭了兩件事情：第一是大模型的預(yù)訓(xùn)練，最后開源社區(qū)跟閉源的差別縮小，并且開源的生態(tài)發(fā)展比較好。
第二件事是?Post-training（后訓(xùn)練）的算力布局比Pre-train（預(yù)訓(xùn)練）的算力布局會更長。在這個假設(shè)背景下，真知資本和清華實驗室一拍即合，共同創(chuàng)立了趨境科技，專注于AI Infra賽道，降低私有化大模型落地的準(zhǔn)入門檻。剛開始我們對真知資本的模式了解甚少，但是經(jīng)過2024年全年運營，我們發(fā)現(xiàn)“投資人+技術(shù)的組合創(chuàng)業(yè)”是一個適合我們且對公司良性發(fā)展非常有利的模式。真知資本的風(fēng)格是深度孵化，投資人親自下場幫助公司發(fā)展，替我們解決了很多不擅長領(lǐng)域的工作，免于被公司創(chuàng)立初期的雜事所干擾。我們是第一次創(chuàng)業(yè)，之前更多專注于技術(shù)本身。真知資本具有豐富的公司運營經(jīng)驗，從前期公司的創(chuàng)立、商業(yè)化路徑的選擇、人才的引進(jìn)、資源的引進(jìn)，財務(wù)的建立、融資等各個方面給與了很多專業(yè)化的經(jīng)驗，幫助我們少走了很多彎路。一方面讓我們更加聚焦在業(yè)務(wù)本身，另一方面讓公司的運轉(zhuǎn)也更加有條理。所以我們在整個商業(yè)化的過程中沒有發(fā)生任何變故，可謂麻雀雖小，五臟俱全。
“投資人+技術(shù)創(chuàng)業(yè)”這種組合在過往幾年也存在，萬一真的發(fā)生了分歧，最后是誰去拍板做決策呢？
艾智遠(yuǎn)：目前還沒有遇到過分歧，大家的想法比較一致。我們內(nèi)部是研發(fā)層面占比更大。也就是說研發(fā)的事情由我們自己做決策。投資人更多是在輔助我們把公司創(chuàng)立起來，最終還是要交到我們自己手里。
2?行業(yè)競爭格局與市場機遇
2024年AI Infra比較火熱，也是經(jīng)歷了從算力緊缺到算力過剩，您怎么看待算力過剩這個問題，是不是真的有“泡沫”？哪些環(huán)節(jié)存在算力泡沫呢？
艾智遠(yuǎn)：目前大家認(rèn)為的算力過剩更多是在數(shù)據(jù)中心，算力中心在目前的運營中可能存在供需割裂的問題。我們調(diào)研并反推出兩個原因：??1）最開始算力的建設(shè)以大模型訓(xùn)練為初衷，而模型訓(xùn)練算力的需求降低比大家想象中要快，這可以從部分大模型公司開始放棄預(yù)訓(xùn)練的行為中看出。實際上，目前大模型落地過程中，微調(diào)不算是大家的首要方案，主要還是通過通用模型RAG的方式來解決。2）第二點是應(yīng)用問題，應(yīng)用跟模型是息息相關(guān)的，大模型應(yīng)用還在探索的路上，落地的速度還沒有達(dá)到預(yù)期，從而造成應(yīng)用對算力的消耗量沒有爆發(fā)起來。我認(rèn)為目前給出泡沫的結(jié)論還太早。2025年初，一些頭部公司已經(jīng)開始轉(zhuǎn)向推理算力平臺建設(shè)了。隨著這兩年的不斷試錯，2025年會面臨更多大模型應(yīng)用的落地，我們在客戶側(cè)也見到了不少跟業(yè)務(wù)結(jié)合不錯的應(yīng)用落地案例，甚至有大型企業(yè)2025年預(yù)計有數(shù)十、數(shù)百個AI應(yīng)用的落地規(guī)劃，應(yīng)用場景遍布多個業(yè)務(wù)環(huán)節(jié)。此外，在企業(yè)私有化的場景中，很多企業(yè)和單位還沒有算力的建設(shè)，大家是基于應(yīng)用來構(gòu)建算力，這部分的需求也不少，企業(yè)都在著手部署推理算力的建設(shè)。
李喆：了解，這個問題我們內(nèi)部也有探討，可能覺得現(xiàn)在AI Infra還是有一些“泡沫”存在的，但我們更多是思考哪里存在泡沫。
第一是市場炒N卡價格，這會是一個關(guān)鍵的泡沫。2023年，NVIDIA DGX B200系統(tǒng)的價格是250萬左右，當(dāng)時有國內(nèi)的集成商會把八張卡做合成去賣，價格大概是100萬+。后面國內(nèi)廠商集成系統(tǒng)的價格逐漸趨近于原版，所以類似的哄抬市價的行為必然存在泡沫。供不應(yīng)求時抬價“囤卡”，出現(xiàn)泡沫后市場需求就會減少，價格也會下降，但這是一個正常的市場行為。
第二是興建智算中心，這的確有一部分價值，但是也有通過新能源騙政府補貼和保險的現(xiàn)象，這種泡沫是應(yīng)該戳破的，減少不必要的資源浪費。
第三是AI?芯片，這部分我認(rèn)為談不上泡沫，目前國內(nèi)可供給的芯片較少，國產(chǎn)芯片仍然需要扶持。
我們能看到Infra是很大的市場機會，但是對比原來的云市場，可以發(fā)現(xiàn)早期雖然有小廠商占據(jù)一定的市場份額，但是后來阿里、騰訊、華為大廠入局，打下了云市場，再到第三波國資進(jìn)場，移動、天翼和聯(lián)通三家進(jìn)來瓜分，可見基礎(chǔ)設(shè)施市場也是一門巨頭生意。而對創(chuàng)業(yè)公司來說，一般是要找“非共識”機會，AI Infra屬于大家都能看得到的機會，這對創(chuàng)業(yè)公司來說，該如何看待呢？
艾智遠(yuǎn)：首先大家認(rèn)可AI Infra的市場機會，證明方向是沒錯的，創(chuàng)業(yè)公司最怕選錯方向。其次創(chuàng)業(yè)公司要找到適合自己體量以及技術(shù)的客群和場景，我們選擇的賽道和大廠不一樣。對于AI Infra，目前主流的AI Infra廠商主要做兩個事情：第一件事情是做Model as a Service（MaaS），第二件事情是算力租賃。在共識的機會面前找到合適的切入口，用自己獨到的技術(shù)把這個切入口吃透，創(chuàng)業(yè)公司就可以構(gòu)建自己的一席之地。我們的選擇不同，瞄準(zhǔn)企業(yè)私有化模型落地的場景，因此我們需要把成本在私有化層面降下來，比如最近很火的DeepSeek發(fā)布的6710億模型，它能否在私有化場景中，以成本可控的情況下部署落地？這是需要面臨的考驗和挑戰(zhàn)。
當(dāng)前市場中的項目交付時，仍熱衷于推薦7B或13B以內(nèi)的模型，但是我們遇到的客戶認(rèn)為模型不夠大，認(rèn)為如果是AI Coding的千億模型效果會更好，這時我們要怎樣控制成本呢？這其中最大的問題是應(yīng)用價值和應(yīng)用價格達(dá)不到很高的附加值，如果項目部署下去，應(yīng)用帶來額外的業(yè)務(wù)增長能不能支撐百萬量級的成本？這也是我們在AI Infra賽道里看到并想要去做的方向。
那您認(rèn)為AI Infra市場未來會是什么格局？它會走Auth市場的老路嗎，還是會有自己新的格局發(fā)展？
艾智遠(yuǎn)：可能會有一些不一樣的點，但目前整體發(fā)展的邏輯態(tài)勢比較類似，都分公有市場和私有市場，但是公有市場比私有市場發(fā)展的更快。但市場中存在兩個變數(shù)：第一個變數(shù)是來源于硬件本身，目前硬件是不確定的。國產(chǎn)和進(jìn)口硬件有很多系列，他們怎么搭配是不確定的。另外可能會有外來廠商介入市場格局，這也使得市場存在很大變數(shù)。第二個變數(shù)是應(yīng)用，目前應(yīng)用邏輯沒有完全驗證通過，也許會出現(xiàn)應(yīng)用廠商主導(dǎo)的AI Infra市場。
另外在AI Infra市場中，似乎各家重心都放在“囤卡”上，但初創(chuàng)公司資源有限，競爭力也有限，您怎么看待這個問題？
艾智遠(yuǎn)：“囤卡”背后可能是這兩種考慮：一是Model as a Service（MaaS），另一個是租賃。所以我認(rèn)為創(chuàng)業(yè)有兩種邏輯，一種邏輯是為公司拉更多投資來儲備資金，再去做卡的重資產(chǎn)。第二個邏輯也是我們正在遵循的，聚焦在私有化大模型的落地場景上。這樣的選擇會緊貼客戶的業(yè)務(wù)需求進(jìn)行算力的建設(shè)，因此是有的放矢的進(jìn)行GPU卡的采購，并不算是重資產(chǎn)的業(yè)務(wù)。而且從2023年開始，趨境科技就直接瞄準(zhǔn)了推理算力的建設(shè)，而不是訓(xùn)練算力。推理卡相比于訓(xùn)練卡還是要便宜的多，因此我們在現(xiàn)金流上的壓力并不大。
“囤卡”的邏輯業(yè)務(wù)，我認(rèn)為在租賃市場中會存在投資周期長、用戶集群忠誠度低的問題，風(fēng)險較大。我們更關(guān)注大模型推理技術(shù)本身的核心競爭力的構(gòu)建，也是業(yè)界第一個提出“以存換算”的概念，通過廉價的存儲來置換高昂的GPU算力成本，避免大量的重復(fù)計算，從而帶來10倍的GPU成本降低。同時，我們也提出基于異構(gòu)協(xié)同的推理架構(gòu)，通過對MOE模型的計算任務(wù)拆分，聯(lián)合CPU和GPU的算力，在一張4090D的顯卡上就可以運行千億大模型。此外，還有2024年AI Infra層面比較火熱討論的Mooncake PD分離架構(gòu)，以及目前我們也參與推動的Mooncake開源版等等。我們沒有大廠那么豐富的資源，所以想利用自己擅長的體系結(jié)構(gòu)和存儲上的技術(shù)積累，來努力推動大模型推理技術(shù)的發(fā)展。每一個客戶都希望私有化落地的大模型具有更大的參數(shù)量，同時花費更少的成本，這也是我們技術(shù)研發(fā)一直以來的目標(biāo)。試想一下，千億大模型能夠以更低的成本落地，那應(yīng)用效果也許就能達(dá)到業(yè)務(wù)的預(yù)期。
OpenAI今年也發(fā)布了o1和o3，這對AI Infra市場會帶來哪些影響？
艾智遠(yuǎn)：之前行業(yè)內(nèi)已經(jīng)有一些論斷，o系列最突出的點在于它增加了深層次的推理，我們認(rèn)為o1實際是推理從system?1到system?2的轉(zhuǎn)變，也就是從直覺型推理到深層次推理的轉(zhuǎn)變。推理的成本會大幅度增高，在這個背景下我們要去構(gòu)建自己的推理集群才能夠在未來做到更大的推理市場。這背后也反映了另一件事情：訓(xùn)練階段模型的提升比較緩慢，推理層面對模型的提升更高效，所以行業(yè)內(nèi)會更聚焦于推理層面。
李喆：是的，包括我們看到近兩年大部分AI應(yīng)用還是生成類應(yīng)用，真正的決策類應(yīng)用是非常少的，或者說決策是非常依賴企業(yè)自身內(nèi)部的知識積累，因為它的實現(xiàn)邏輯是RAG或者Graph?RAG的方式，是基于過往案例輔助工作流從而達(dá)到?jīng)Q策效果。這也就是為什么大家覺得行業(yè)內(nèi)沒有新場景，甚至我們遇到的很多企業(yè)用戶表示大模型的能力到了一定的天花板。但我認(rèn)為推理模型對于整個AI Infra市場帶來了兩個機會：第一，推理模型代表了大模型能力的增強，會帶來新場景的創(chuàng)新，會有更多的決策類應(yīng)用，這是很有價值的點。第二，決策類應(yīng)用對于算力的要求會比生成類應(yīng)用提高很多，會帶來算力端的需求增加，所以我還是比較看好o系列。
艾智遠(yuǎn)：目前業(yè)內(nèi)都在分析o系列模型的底層原理，相信它會有亮眼的關(guān)鍵點。
李喆：也非常建議大家持續(xù)關(guān)注這個機會點。
3?業(yè)務(wù)發(fā)展與商業(yè)化方向
從業(yè)務(wù)角度出發(fā)，目前海外市場Together AI、CoreWeave都拿了巨額融資，在您看來，國內(nèi)外在技術(shù)、商業(yè)模式等方向有哪些異同？是否會借鑒海外廠商的經(jīng)驗？
艾智遠(yuǎn)：國內(nèi)外技術(shù)層面差別不大，明顯的是商業(yè)模式認(rèn)知的差別。國外更相信SaaS化的應(yīng)用及Model as a Service的邏輯布局，但這個商業(yè)模式拋到國內(nèi)會存在兩個問題。第一個問題是如果純粹做Model as a Service邏輯，競爭會更加元化，一方面來自大模型公司，一方面來自阿里云、華為之類的科技大廠。在資本的布局下，中小廠商的生存空間很小。第二個問題是國內(nèi)大量的客戶會選擇私有化，選擇自建，而且更期望符合他們個性化場景的端到端的解決方案，這個對于B2B行業(yè)的落地有較大的挑戰(zhàn)。所以沒有辦法將國外的商業(yè)模式帶到國內(nèi)，還是要結(jié)合我們國情特色形成合理的生意邏輯，從To B側(cè)的生態(tài)開始做起，因為To B側(cè)有現(xiàn)金流，能夠形成閉環(huán)。
您怎么看待出海的呢？因為看到一種說法是“AI Infra公司出海已經(jīng)成為必答題”，您是否有考慮過這個問題？
艾智遠(yuǎn)：目前我們看到的國內(nèi)需求不少，所以還沒有著急考慮出海的業(yè)務(wù)。我們現(xiàn)在遇到不少私有化大模型落地的場景，目前國內(nèi)的業(yè)務(wù)也有不少機會。很多客戶對大模型都有很濃厚的興趣，期望大模型真的能夠提高效率，降低大家的工作負(fù)擔(dān)。當(dāng)然，并不是為了取代人的工作，而是讓大家不要被一些繁瑣的、重復(fù)性工作束縛，讓大家有更飽滿的情緒，處理工作上的事宜。所以我們目前主要深耕國內(nèi)業(yè)務(wù)，先盡力服務(wù)好國內(nèi)客戶，等公司發(fā)展起來或者資源更加豐富后，會再逐步考慮出海業(yè)務(wù)。
另外關(guān)于商業(yè)化視角，咱們應(yīng)該是剛剛商業(yè)化不久，從業(yè)務(wù)視角來看，您覺得2025年有哪些關(guān)鍵問題要解決？
艾智遠(yuǎn)：第一個問題就是缺少人才，我們希望有擅長商業(yè)化的伙伴加入團隊，一起把生意做起來。(??如果有對趨境科技感興趣、對AI Infra市場感興趣、對大模型推理感興趣的同學(xué)可以聯(lián)系愛分析幫忙推薦?；蛘哧P(guān)注趨境科技微信公眾號，了解趨境科技的更多信息和崗位JD。)第二我們在2025年面臨最大的問題是商業(yè)路徑的試錯與固化，目前市場中各家都在試錯，會選擇幾條路線并行。我們團隊資產(chǎn)不重，現(xiàn)金流良好，所以在2025年我們想逐步的驗證商業(yè)化路徑，從而試錯和固化PMF獲得更好的商業(yè)模型。我們現(xiàn)有產(chǎn)品是軟硬一體交付的“大模型推理一體機”，搭載自研的推理引擎，推理性能提升超過10倍，為客戶提供私有化大模型推理平臺：支持高達(dá)千億參數(shù)的主流大模型，內(nèi)置AI搜索、智能問答、AI創(chuàng)作等基礎(chǔ)應(yīng)用，開箱即用；另外提供多樣化的API接口，能夠高效對接現(xiàn)有業(yè)務(wù)。所以2025年我們整體的商業(yè)化大方向是To B端的私有化模型落地，幫助客戶解決大模型最后一公里的問題。
最后請您可以展望一下2025年AI市場的合并機會吧。
艾智遠(yuǎn)：實際合并已經(jīng)在發(fā)生了，基座模型的能力差異逐漸凸顯，目前幾個模型的定位也很清晰。大家可以發(fā)現(xiàn)，年初的模型在年底時看它的更新時間，基本就能判斷出來哪一家還在前進(jìn)，哪一家已經(jīng)停滯了。這是一個必然的態(tài)勢，訓(xùn)練模型是一件投入成本很大的工程，最終可能只有兩三家能殺出重圍。而且本身基座模型現(xiàn)在的能力差異也逐步凸顯出來，定位也相對清晰，有做端側(cè)的、也有做To B端的，也有純To C的，目前也有正在構(gòu)建影響力過程中的公司。李喆：就像李開復(fù)老師講到的，國內(nèi)做To C市場的付費能力非常有限，個人買軟件的付費能力是有限的，一個純軟的產(chǎn)品每年付五、六百已經(jīng)很高了，相當(dāng)于每個月五六十元。所以目前我覺得單純的To C業(yè)務(wù)比較危險，也許未來會有其他轉(zhuǎn)機。艾智遠(yuǎn)：關(guān)鍵現(xiàn)在還有很多免費的大模型服務(wù)的，所以當(dāng)前C端市場能發(fā)現(xiàn)，誰開始收費，誰的用戶量就會有可能開始有一些下降。而且本身基座模型現(xiàn)在的能力差異也逐步凸顯出來，定位也相對清晰，有做短的、也有做To B端的，也有純To C的，通用化的，目前也有正在構(gòu)建影響力過程中的公司，整體來說，模型公司的熱度正在逐步下降。
李喆：好的，感謝艾總的觀點分享，期待AI Infra市場商業(yè)化成熟后，再做更多的交流與探討。長按二維碼，領(lǐng)取完整視頻回放
「愛分析·對話首席」欄目介紹：為了深入數(shù)智化轉(zhuǎn)型，洞察企業(yè)創(chuàng)新機遇，愛分析搭建了一個高層次的交流網(wǎng)絡(luò)，全新推出“對話首席”欄目。每期邀請一位科技公司高管，圍繞數(shù)智化相關(guān)的前沿技術(shù)、行業(yè)趨勢、競爭格局、公司內(nèi)部經(jīng)營以及落地進(jìn)展等維度進(jìn)行深度對話。通過與行業(yè)從業(yè)者的交流，我們希望能夠揭示各個領(lǐng)域數(shù)智化應(yīng)用的現(xiàn)狀與趨勢，探討未來技術(shù)與行業(yè)發(fā)展方向。
