昆侖萬(wàn)維CEO方漢演講實(shí)錄：語(yǔ)言大模型的技術(shù)進(jìn)展和應(yīng)用前景

5月31日，由品玩主辦的「模型思辨」國(guó)內(nèi)大模型產(chǎn)業(yè)生態(tài)研討會(huì)在北京舉辦。360集團(tuán)創(chuàng)始人周鴻祎、百度、阿里巴巴、商湯科技、昆侖萬(wàn)維、Zilliz、瀚博半導(dǎo)體等來(lái)自大模型產(chǎn)業(yè)鏈上的頭部互聯(lián)網(wǎng)公司、芯片、數(shù)據(jù)庫(kù)、應(yīng)用項(xiàng)目、投資機(jī)構(gòu)等100多位VP級(jí)的嘉賓參與此次研討會(huì)，深度探討中國(guó)大模型產(chǎn)業(yè)生態(tài)的建設(shè)。

會(huì)中，昆侖萬(wàn)維CEO方漢進(jìn)行了主題分享《語(yǔ)言大模型的技術(shù)進(jìn)展和應(yīng)用前景》。他認(rèn)為：要想AI市場(chǎng)天花板足夠高，一定不是做針對(duì)B端或者針對(duì)C端的工具，而是做端到端的內(nèi)容生成工具，更多用戶能夠直接創(chuàng)造內(nèi)容，從而形成新的社區(qū)。只有端到端的內(nèi)容生成工具催生的內(nèi)容社區(qū)才是天花板比較高的發(fā)展方向，中國(guó)廠商在這方面是大有可為的。

以下是方漢演講全文：昆侖萬(wàn)維是一家A股上市公司，目前在全球大概有4億月活用戶，海外收入占比78%，目前在七十多個(gè)國(guó)家和地區(qū)都有業(yè)務(wù)開(kāi)展，二十個(gè)國(guó)家以上有自己的海外團(tuán)隊(duì)。

我們是從2020年底開(kāi)始做大模型研發(fā)，并于今年4月發(fā)布「天工」大模型。應(yīng)該說(shuō)我們?cè)陬A(yù)訓(xùn)練大模型賽道做得比較久，剛開(kāi)始是比較機(jī)緣巧合進(jìn)入這一賽道。我們是一家內(nèi)容+社交的公司，因此對(duì)內(nèi)容賽道的任何科技進(jìn)展和第二曲線是非常敏感的。

記得在2020年6月GPT-3發(fā)布的時(shí)候，我是集團(tuán)CTO，花了很多精力去研究，得出的認(rèn)知是GPT-3是內(nèi)容生成領(lǐng)域的里程碑。說(shuō)一說(shuō)我們對(duì)大模型生態(tài)的認(rèn)知，大模型的出現(xiàn)會(huì)帶來(lái)應(yīng)用市場(chǎng)的重構(gòu)。

首先，任何一個(gè)應(yīng)用是否能夠在線上完成閉環(huán)，一旦能夠完成閉環(huán)的應(yīng)用就一定是值得大模型重塑。現(xiàn)在所有的生產(chǎn)力工具仍然是PC電腦，完成閉環(huán)的工作都有哪些？首先是微軟Office系列或者中國(guó)的WPS，這是在線上完成閉環(huán)工作的第一個(gè)分類，第二個(gè)分類是美術(shù)人員使用Adobe全家桶來(lái)進(jìn)行美術(shù)工作，第三個(gè)分類是編程人員使用各種各樣的編程工具在線上完成業(yè)務(wù)工作?？梢钥吹酱竽Ｐ驮谖谋旧蓤D像、輔助寫(xiě)作、輔助編程方面極大的應(yīng)用，這也印證了我們的觀點(diǎn)，就是線上完成閉環(huán)的產(chǎn)品和應(yīng)用都是值得用大模型重做的。

再來(lái)分析應(yīng)用場(chǎng)景的容錯(cuò)率，對(duì)容錯(cuò)率容忍度越高的場(chǎng)景越是容易應(yīng)用大模型，現(xiàn)在大模型對(duì)美術(shù)行業(yè)沖擊是最大的，所有中國(guó)做電商的去做商品圖片或者拍商品照片、拍模特照片都已經(jīng)是被文本生成圖像大模型所取代，我覺(jué)得這是非常自然的事情。大家都知道最早文本生成圖像的圖片都有一個(gè)缺點(diǎn)，就是手指頭畫(huà)不好，一個(gè)圖片有六個(gè)手指頭和五個(gè)手指頭對(duì)我們有什么損害？大模型是可以容忍的，但如果是在金融方面少一兩個(gè)小數(shù)點(diǎn)，其實(shí)可能就非常致命。整個(gè)內(nèi)容行業(yè)大模型的應(yīng)用一定是最快和最早的，因?yàn)榇蠹覍?duì)內(nèi)容出錯(cuò)的容忍度是非常高的，這也是現(xiàn)在大模型各行各業(yè)的應(yīng)用可以驗(yàn)證的。

我們現(xiàn)在的策略是對(duì)國(guó)內(nèi)市場(chǎng)To B和To C并重，大模型在B端應(yīng)用的經(jīng)驗(yàn)是什么？大家都知道ChatGPT訓(xùn)練的時(shí)候百分之九十二的語(yǔ)料是英文，中文語(yǔ)料占比非常低。很多人說(shuō)中文語(yǔ)料質(zhì)量不高，但可以說(shuō)中文有一項(xiàng)數(shù)據(jù)是領(lǐng)先英文的，就是中小學(xué)生的全科題庫(kù)，大概一億五千萬(wàn)道，高質(zhì)量的大概兩千萬(wàn)道，但沒(méi)辦法直接給大模型使用。因?yàn)槲覀兯械念}都是以圖片的格式，很少有文本描述，我們能用這些數(shù)據(jù)干什么？就是把所有題轉(zhuǎn)化為純文本描述的格式丟給大模型訓(xùn)練，然后大模型才能理解。我們近兩年多時(shí)間的大模型研發(fā)，花了特別多的時(shí)間去做數(shù)據(jù)處理，怎樣把行業(yè)數(shù)據(jù)生成大模型可以用的數(shù)據(jù)，其實(shí)這是最難的事情。

打個(gè)比方，大家平時(shí)去看中學(xué)或者小學(xué)的數(shù)學(xué)題，往往是有題目、有答案，但如果不寫(xiě)解題過(guò)程，大模型是沒(méi)有辦法解題的，只能背答案。很多行業(yè)數(shù)據(jù)只有題和答案，但缺少解題過(guò)程，要把解題過(guò)程補(bǔ)上就非常工程化，非常需要時(shí)間和經(jīng)驗(yàn)積累。

全世界最大的金融信息服務(wù)提供商Bloomberg，發(fā)布了BloombergGPT產(chǎn)品，大家認(rèn)為OpenAI能不能快速趕上？經(jīng)過(guò)我和他們內(nèi)部技術(shù)人員的溝通，應(yīng)該還是很難的，他們內(nèi)部有將近60名算法工程師花了七、八年時(shí)間只干一件事情，就是把金融財(cái)報(bào)數(shù)據(jù)化。大家可能覺(jué)得這是很簡(jiǎn)單的事情，因?yàn)橛蠵DF，格式基本都是成立的，我們只是把圖表和表格結(jié)構(gòu)化，但這里有太多工程的技巧。每個(gè)材料表格都有行、列，每一列數(shù)據(jù)都是DAU、ROI，如何把不同來(lái)源的數(shù)據(jù)格式單位轉(zhuǎn)成統(tǒng)一的單位，這些是非常工程化的事情。

在B端所有人都要干一個(gè)事，幫助各行各業(yè)生產(chǎn)或者轉(zhuǎn)化大模型可以理解的數(shù)據(jù)格式。大家知道OpenAI在海外訂閱制模式已經(jīng)取得非常大的成功，但在中國(guó)對(duì)C端收費(fèi)采用訂閱制是不會(huì)成立的，一定是以免費(fèi)模式為主。

海外所有AIGC創(chuàng)業(yè)的小公司基本都是想做SaaS和公開(kāi)服務(wù)，中國(guó)私有化部署大模型將是一個(gè)更主要的趨勢(shì)?，F(xiàn)在我們有很多做硬件的廠商正在全力以赴去做NVIDIA的替代品，除了硬件廠商的努力以外，NVIDIA已經(jīng)掌握了前所未有的高度，整個(gè)市值已經(jīng)超過(guò)一萬(wàn)億。大家只看到硬件廠商的努力，很多人沒(méi)有看到由于現(xiàn)在硬件成本高昂，導(dǎo)致大學(xué)教授和博士手上沒(méi)有卡就沒(méi)有辦法做科研，全部都在想方設(shè)法利用手上有限的消費(fèi)顯卡資源去做一些工作，主要工作就是優(yōu)化。

最新的優(yōu)化成果就是可以把65B的預(yù)訓(xùn)練大模型弄到只有24GB顯存的4090去跑。軟件優(yōu)化速度是以每年一百倍的進(jìn)化速度迭代，相信人人手機(jī)自帶ChatGPT的時(shí)代一定會(huì)到來(lái)，人人消費(fèi)級(jí)顯卡可以跑類ChatGPT的大模型沒(méi)有任何問(wèn)題。大家可能不知道，ChatGPT-3.5的AI是不到30B的模型，微軟為了優(yōu)化，不斷地降低模型參數(shù)，到現(xiàn)在個(gè)人判斷已經(jīng)不會(huì)超過(guò)10B。我們認(rèn)為這種私有化部署會(huì)極大地刺激大模型在低端GPU的運(yùn)行效率，因?yàn)樵谥袊?guó)免費(fèi)以及私有化部署都是非常值得關(guān)注的方向。

目前海外的策略主要是針對(duì)To C市場(chǎng)，因?yàn)槔鋈f(wàn)維出海經(jīng)驗(yàn)比較豐富，曾經(jīng)孵化的DAU在一千萬(wàn)以上的產(chǎn)品有四五個(gè)，覆蓋社交、音樂(lè)、瀏覽器和工具場(chǎng)景，針對(duì)海外C端拓展經(jīng)驗(yàn)非常豐富?，F(xiàn)在我們的判斷是，在C端做內(nèi)容生成工具本身是沒(méi)有太大商業(yè)前景的，一定要做端到端的內(nèi)容生成社區(qū)才有前景。

全世界游戲研發(fā)公司百分之九十以上都是使用兩家公司的產(chǎn)品：一家叫做Unreal，一家叫做Unity，但其實(shí)他們的游戲收入是非常低的。Unreal自己下場(chǎng)做《戰(zhàn)爭(zhēng)機(jī)器》系列也沒(méi)有賺錢(qián)，后來(lái)做了一個(gè)產(chǎn)品叫做《絕地求生》，這個(gè)產(chǎn)品也成為Unreal的主力收入產(chǎn)品。當(dāng)產(chǎn)品收入開(kāi)始走下坡路，他們的CEO提到一個(gè)概念，叫做元宇宙。Unity的引擎部分也是不賺錢(qián)的，就做了Unity S廣告聯(lián)盟。

個(gè)人認(rèn)為，要想AI市場(chǎng)天花板足夠高，一定不是做針對(duì)B端或者針對(duì)C端的工具，而是做端到端的內(nèi)容生成工具，更多用戶能夠直接創(chuàng)造內(nèi)容，從而形成新的社區(qū)。我們認(rèn)為只有端到端的內(nèi)容生成工具催生的內(nèi)容社區(qū)才是天花板比較高的發(fā)展方向，中國(guó)廠商在這方面是大有可為的。

“與志同道合的人創(chuàng)造出改變世界的產(chǎn)品”是我們公司的愿景，我從1995年開(kāi)始做互聯(lián)網(wǎng)，目睹了兩次大的技術(shù)革命：一次是互聯(lián)網(wǎng)，一次是移動(dòng)互聯(lián)網(wǎng)，等到快退休的時(shí)候又趕上AIGC這一波大的浪潮。個(gè)人認(rèn)為，AIGC這一波浪潮是所有人的機(jī)會(huì)，同時(shí)對(duì)中國(guó)企業(yè)來(lái)說(shuō)也是在全球市場(chǎng)上開(kāi)疆拓土的一個(gè)非常好的機(jī)會(huì)。原因無(wú)它，如果說(shuō)美國(guó)是全世界AIGC領(lǐng)域的老大，中國(guó)肯定是排在第二位的位置，其他國(guó)家距離前兩位的差距都比較遠(yuǎn)，希望大家能夠在AIGC領(lǐng)域取得自己的一席之地。