DeepSeek最強專業(yè)拆解來了，清交復教授超硬核解讀

編輯?| ?ZeR0

DeepSeek的寫作能力為何飛躍？PTX是否真正做到了繞開CUDA的壟斷？

智東西2月3日報道，周日晚間，五位高校教授夜話DeepSeek，從模型方法、框架、系統(tǒng)、基礎設施等角度，闡述DeepSeek的技術原理與未來方向，揭秘其優(yōu)化方法如何提升算力能效，信息量很大。

如何復現o1大推理模型？DeepSeek R1技術路線和訓練流程有哪些亮點？為什么DeepSeek能做到轟動全球？DeepSeek通過哪些優(yōu)化策略有效降低成本？DeepSeek的寫作能力為何飛躍？MoE架構會是最優(yōu)解嗎？PTX是否真正做到了繞開CUDA的壟斷？這些業(yè)界關注焦點話題被一一解答。

北京交通大學教授、CCF YOCSEF AC副主席金一主持了這場線上分享。復旦大學教授邱錫鵬，清華大學長聘副教授劉知遠，清華大學教授翟季冬，上海交通大學副教授戴國浩，分別從不同專業(yè)角度分享了對DeepSeek的思考，并延伸到對中國大模型高質量發(fā)展路徑的啟發(fā)。邱錫鵬教授主持開發(fā)了國內首個開源對話式大語言模型MOSS。劉知遠教授是大模型創(chuàng)企面壁智能的首席科學家。翟季冬教授是AI基礎設施創(chuàng)企清程極智的首席科學家。戴國浩教授是AI基礎設施創(chuàng)企無問芯穹的聯(lián)合創(chuàng)始人。

以下是實錄整理（為提高閱讀體驗已做精編）：

01.邱錫鵬：解讀R1技術路線圖，強推理模型最終落腳點是Agent

給大家分享一下關于DeepSeek的一些思考和啟發(fā)。OpenAI o1也是一個非?，F象級的推理模型，在競賽題目上達到了人類專家水平。OpenAI推出了一個AGI規(guī)劃，推理在其中是非常重要的一步。那么在去年Ilya（前OpenAI首席科學家）曾經說過，我們的預訓練可能時代可能即將結束了。其中一個非常重要的原因就是數據沒有在增長。OpenAI可能會打破這種數據不增長的范式，繼續(xù)推動Scaling Law向前發(fā)展。不過因為沒有數據，所以它的目標可能就轉向到比如強化學習、推理時計算這種Scaling。推理長度越長，它的性能可以繼續(xù)得以改進。這使得大家對下一代大模型的發(fā)展抱以新期望。所以我們可以看到o1的各種復現層出不窮。業(yè)界非常多的o1復現可能基于比如SFT或者蒸餾的路線。但是其實o1的核心應該還是從RL（強化學習）開始。我們去年也剛好寫了一篇o1的綜述。所以我簡單以此為概括來看一下o1的四個核心。在強化學習的框架下，大語言模型充當了一個Agent。每個Action是預測Next Token或者Step或者Solution，看不同顆粒度。大模型輸入作為State。Policy就是給定當前的步驟或者Talk或者Solution來生成下一階段的Action。在強化學習的框架下重新看大推理模型，它有四個重要因素：一是策略初始化（Policy Initialization），通過預訓練、提示工程、監(jiān)督微調，讓模型具有初始的類人推理行為，比如問題理解、任務分解、驗證修正錯誤等。

二是獎勵設計（Reward Design），為RL提供獎勵信號。傳統(tǒng)方法分為兩種，一是從環(huán)境直接獲取獎勵信號，二是從專家數據或者偏好數據學習獎勵。o1應該是混合了多種獎勵設計的方法。比如有ground truth的環(huán)境，將結果監(jiān)督（ORM）轉換為過程監(jiān)督（PRM）。沒有ground truth的話，就用專家或者偏好數據來學習獎勵。在大量領域上訓練獎勵模型，提升泛化性。

三是搜索（Search），找尋問題的最優(yōu)解法。傳統(tǒng)方法基本分為兩大類，基于樹的搜索和基于順序修改的搜索。這兩種可能對復現o1都有非常大的幫助。

四是學習（Learning），優(yōu)化模型參數?；旧暇褪且粋€是用強學習的Policy Gradient，還有一個Behavior Cloning。這兩種基本上可以用在兩個階段：Warmup階段可以使用行為克隆方法，快速收斂；第二階段再用強化學習來提升上限。

復現o1大推理模型，基本上都要從這四個方面下功夫。R1發(fā)布有兩個模型，一個是R1-Zero。R1-Zero從一個基模型開始，純RL驅動，經過比如Warmup階段，它有了一個Reward，讓模型具有一個類人回復。比如先給一些prompt，就是要求你的思考要在比如兩個Thinking之間，答案要在兩個Answer的tag之間，然后用最終結果的正確性和是不是符合這種格式來作為Reward，然后對模型進行獎勵。在R1的訓練過程中，我們可以看到，隨著訓練步驟的增加，它逐漸涌現出這種長CoT（思維鏈）能力，它的推理路徑會越來越長。另外它也發(fā)現了一些“aha moment”，模型訓練過程中能夠自我發(fā)現，可以嘗試修復一些以前的推理。

在純強化學習訓練中，它的性能可以不斷提升。但它有一些不足，它的可讀性比較差，還有l(wèi)anguage mixing（語言混雜）問題，中英文可能會混雜輸出。這也是下一步真正的R1要解決的兩個問題。和R1-Zero不同的是，R1模型分為四個階段來進行。左邊這張圖是參考了一個知乎問答的路線圖，畫得非常清楚。

第一階段是冷啟動，一開始要收集少量的Long-CoT數據來微調模型，目的是防止早期訓練不穩(wěn)定和可讀性差問題。第二階段是推理導向的強化學習，它以DeepSeek-V3為基礎，針對推理密集型任務，用和R1-Zero相同的大規(guī)模RL來進行訓練。同時它為了解決語言混雜問題，引入了語言一致性獎勵。第三階段是拒絕抽樣和監(jiān)督微調，要真正訓練R1了，所以它將第一階段的模型加上一些抽樣，結合其他領域的SFT數據，增強模型在寫作、角色扮演和其他通用任務中的能力。第四階段是適用于所有場景的強化學習，數據準備好、進行微調之后，再以DeepSeek-V3為基礎，先是SFT，然后進行所有場景的RL。對于推理任務就用基于規(guī)則的獎勵來指導，對于一般任務就用RLHF（人類反饋強化學習）這種方式來進行。這基本上就是R1的技術路線。我簡單列一些關于DeepSeek R1的思考和啟發(fā)：

1、R1/R1-zero的技術路線和社區(qū)對o1復現的差異

此前社區(qū)對o1的復現基本都會涉及到蒸餾和搜索。

R1-Zero沒有SFT，沒有過程監(jiān)督，沒有搜索，也能訓練出類似o1的效果。學術界之前也有很多實驗，但在較小的模型上都沒有成功。說明只有基模型足夠強，Scaling RL才能取得比較好的效果。

雖然R1強調MCTS沒有效果，但是簡單的majority vote能大幅提升R1的效果，說明搜索仍然是重要的Scale的范式。

R1的成功還依賴DeepSeek強大的系統(tǒng)效率和RL調教能力。

2、策略初始化

R1-zero是一個比較好的嘗試，但是R1還是經過了先SFT（大概幾干條）后再進行RL。

未來后訓練的重心會逐步傾向于RL，但是少量訓練用于SFT可能還是必須的。

3、獎勵模型

R1的獎勵設計跟普通的后訓練沒特別大的區(qū)別（Qwen2，Tulu3），有ground truth用ground truth做EM，否則用RM。

RM的（訓練數據量，模型大小，OOD問題，選代周期）的相關問題在整個訓練的流程中還是比較關鍵。可能使用當前開源的比較強大的RM可以達到比較好的效果，也有可能基于內部的數據重新進行了偏好標注。

獎勵設計（例如RPM的技巧）可能會在基于少量樣本的強化學習微調上仍然起到顯著作用。

4、PRM和MCIS

DS給了兩個PRM和MCTS的“不成功嘗試”。但PRM部分說的比較籠統(tǒng)，并且DS的PRM只評估Correctness（與OAI的Lets verify step by step一致）。

R1給的是一個簡單而且可規(guī)?；目尚薪猓@樣做不一定是最優(yōu)的?；赗1的Test-time search也繼續(xù)優(yōu)化它的效果。

PRM總歸是一種比較稠密的監(jiān)督信號，按照傳統(tǒng)R1的理論，對OR進行shaping可以使訓練更穩(wěn)定或收斂得更快。

PRM不應該是一個被完全放棄的東西，可以讓模型收斂得更快速或更穩(wěn)定（Scaling曲線的斜率更大）。

5、寫作能力提升

o1相比4o在寫作等任務上的提升非常小，但R1的創(chuàng)作經常會令人眼前一亮，可能主要是強基模型在Scale RL后涌現的能力，也有人猜測是因為R1的安全對齊做的比較少，沒有太約束模型的創(chuàng)作能力。

6、過度優(yōu)化問題

R1經常會使用一些高端詞匯，典型的如量子糾纏和熵增熵減（會用在各個領域）。猜測是某種形式的reward hacking導致的。

R1在一些通用領域沒有ground truth的任務上的推理效果還并不理想，強化學習的訓練并不能保證泛化。

7、Test-Time Scaling

o1出來后大家討論比較多的是Test-Time Scaling，但重要的還是Training-Time Scaling，包括數據和Training Step。蒸餾見效快，但上限不高，重要的還是高質量致?lián)娜笔?，蒸餾數據無法提供訓練Scaling。RL是其中的關鍵，因為它可以保障有足夠的數據和足夠的訓練步驟。

8、Agentic展望

R1是目前唯一同時具有強推理能力和聯(lián)網搜索的產品，效果很好，可以調研一些復雜的信息并進行回答。強推理模型最終的落腳點大概率是Agent，怎么用強推理模型幫助Agent更好更魯棒是一個比較重要的問題。

02.劉知遠：R1訓練流程有兩大亮點，DeepSeek的意義更像Llama??

我將從宏觀角度來介紹DeepSeek R1所代表的大規(guī)模強化學習技術及其基本原理，同時我們也會探討為什么R1和o1能夠引起這么多的關注，并從DeepSeek最近發(fā)布的模型，對大模型技術未來發(fā)展進行大致研判。首先來看DeepSeek最近發(fā)布的R1模型，它的價值主要體現在能夠復現OpenAI o1的深度推理能力。因為OpenAI o1本身并沒有提供任何關于它是如何實現的細節(jié)，相當于o1引爆了一個原子彈，但沒有告訴大家秘方。我們需要能夠從頭自己去尋找到底如何能夠復現出這個能力。

DeepSeek可能是全球第一個能夠通過純強化學習技術復現OpenAI o1能力的團隊，并開源和發(fā)布相對詳細技術介紹，為行業(yè)做出了重要貢獻。我們大致可以總結DeepSeek-R1的訓練流程，有兩個非常重要的亮點。

一是R1模型創(chuàng)造性地基于DeepSeek-V1的基座模型，通過大規(guī)模強化學習技術，得到一個純粹通過強化學習來增強的強推理模型，也就是R1-Zero。這具有非常重要的價值。因為在歷史上，幾乎沒有團隊能夠成功地把強化學習技術非常好地用在一個大規(guī)模模型上，并實現大規(guī)模的訓練。DeepSeek之所以能夠實現大規(guī)模強化學習，一個重要技術特點是采用了基于規(guī)則的方法，確保強化學習可規(guī)模化，實現面向強化學習的Scaling。

第二個貢獻是強化學習技術不只局限在基于規(guī)則的數學、算法代碼等容易提供獎勵的領域，它還可以創(chuàng)造性地把強化學習所帶來的強推理能力，泛化到其他領域。這也是所有用戶在實際使用DeepSeek R1進行寫作等任務時，能夠感受到它有非常強的深度思考能力的原因。那具體是怎么做的呢？它分了兩個階段：第一階段還是基于V3基座模型，通過增強推理過程的可讀性，能夠生成相當于是深度推理的SFT數據；第二階段，它又去結合傳統(tǒng)的通用SFT數據來微調大模型，再進一步進行強化學習，從而得到了一個具有非常強泛化能力的強推理模型，也就是R1。

所以DeepSeek-R1的重要貢獻體現在兩個方面：一是通過規(guī)則驅動的方法實現了大規(guī)模強化學習；二是通過深度推理SFT數據和通用SFT數據的混合微調，實現了推理能力的跨任務泛化。我們應該非常重視DeepSeek-R1。它由于開源，讓全球的人能夠意識到深度思考的能力，相當于讓人工智能再次迎來了類似于2023年初的“ChatGPT時刻”，讓每個人感受到大模型的能力又往前邁進了一大步。但是我們同時也要合理評估DeepSeek-R1本身的重要意義。如果說2023年初OpenAI發(fā)布的ChatGPT讓全球看到了大模型的重要價值，那么這一次的強推理能力，其實也是OpenAI在2024年9月份發(fā)布的o1率先在全球實現。我們認為DeepSeek-R1在歷史上應該是更像是2023年的Meta Llama。它通過開源復現，并且把這些事情公開給全球，讓大家能夠快速建立起相關能力。這是我們需要對DeepSeek-R1重要意義的一個準確認識。當然為什么說DeepSeek-R1能夠取得如此全球性的成功呢？我們認為它跟OpenAI采用的錯誤決策有非常大的關系。我們會看到OpenAI在發(fā)布了o1之后，第一，不開源；第二，把o1深度思考過程隱藏起來；第三，o1收費非常高，不能在全球讓盡可能多的人去普惠、去感受深度思考所帶來的震撼。而DeepSeek R1相當于是像2023年初的OpenAI ChatGPT一樣，讓所有人真正地感受到了震撼。這是DeepSeek R1出圈的非常重要的原因。

如果再進一步，把DeepSeek R1和前面發(fā)布的V3一起來考慮，它的重要意義在于，在有限算力資源支持下，通過強大的算法創(chuàng)新模式，突破了算力的“卡脖子”限制，讓我們看到即使是在非常有限的算力下，我們仍然可以做出具有全球意義的這一些領先成果，這件事情對于我們中國AI的發(fā)展具有非常重要的意義。同時我們也應該看到如果想要AI能夠真正賦能全人類，讓每個人都能夠用得上、用得起大模型和通用人工智能，高效是一個非常重要的命題。強化學習需要有一些未來更加高效的方案。我們還需要探索出更加高效的模型架構，譬如說V3所采用的MoE架構。未來應該也有很多其他相關方案，還有高效算力利用等等。這是DeepSeek V3和R1帶給我們的另一個非常重要的啟示。我們認為，整個人工智能的發(fā)展，未來追求高效是我們的一個內在使命和需求。前一個科技革命，即信息革命，它的一個非常重要的內核是計算芯片的發(fā)展。

過去80年，計算機從最初要一個屋子才能裝得下的規(guī)模，發(fā)展到現在人手一臺的手機、PC、各種各樣的計算設備，都具備非常強大的計算能力。所有這一切都來源于芯片行業(yè)在摩爾定律的指引下，不斷提升芯片制程，提升芯片的電路密度，實現計算設備的小型化、普惠化，推動算力普及。這也是為什么我們在去年特別強調要發(fā)展大模型的能力密度。過去幾年，我們看到類似于摩爾定律這樣，大模型能力密度呈現指數級增強。從2023年以來，大模型的能力密度大概是按每100天翻1倍。也就是每過100天，只需要一半的算力、一半的參數，就可以實現相同的能力。

面向未來，我們應該不斷追求更高的能力密度，努力以更低成本，包括訓練成本、計算成本，來實現大模型的高效發(fā)展。上一個科技革命，也就是信息革命，對于我們即將到來的智能革命有非常重要的啟示。在信息革命剛剛開始的時候，IBM創(chuàng)始人沃森曾經認為這個世界上不需要超過5臺的主機，足以滿足全世界的計算需求。但到了今天，全球有數十億、上百億的計算設備在服務全人類的社會。我們認為智能革命也要走過一條類似于信息革命的階段，也要能夠不斷提高能力密度，不斷降低計算成本，讓大模型得以更加普惠。AI時代的核心引擎包括電力、算力、現在所訓練的大模型代表的智力。這種密度定律應該是普遍存在的，將是實現人工智能高質量、可持續(xù)發(fā)展的關鍵。

面向未來，我們認為人工智能有三大主戰(zhàn)場，目標都是要讓通用進行到底。一是人工智能科學化，為能力涌現等關鍵機制建立科學理論，科學解釋人工智能形成的原理。二是計算系統(tǒng)智能化，大模型與底層芯片、操作系統(tǒng)、數據管理、編程開發(fā)、網絡通信深度融合，能夠在計算層面，用更低成本來把大模型更加通用地用在各個領域。三是領域應用廣譜化，將大模型應用于高精尖制造、科學發(fā)現等高度專業(yè)化場景中。最后我特別想說，DeepSeek給我們帶來的一個非常重要的啟示，就是我們用小米加步槍，依然能夠取得非常廣闊的勝利。我們即將迎來一個非常重要且意義深遠的智能革命時代，它的高潮即將到來，這是可望也可及的。特別希望能夠跟由DeepSeek來吸引來的更多關注這個方向的人，一起沿著正確的發(fā)展方向，不只是為算力，更要重視算法創(chuàng)新，重視高水平人才的培養(yǎng)，走出一條真正屬于人工智能的高質量發(fā)展路線。

03.翟季冬：DeepSeek如何降低成本？拆解并行訓練策略

我主要分享DeepSeek在系統(tǒng)軟件方面的一些工作。這是DeepSeek-V3在技術報告里公開的預訓練成本。按照H800 GPU每小時每卡2美元的租賃成本，全部訓練成本是550萬美元左右，不包括前期探索模型架構、消融實驗等開銷。

它的成本相對比較低。雖然我們不知道國外像OpenAI這些公司的模型訓練成本，但是可以通過一些相關報道知道成本肯定很高。大家經常會討論說，為什么DeepSeek-V3能用這么低的成本，帶來這么驚艷的效果？我們來看一下DeepSeek采用的一些技術。因為DeepSeek本身并沒有公開說用了多少張卡。如果按照它給的數據，是2048張H800的話，大約是需要54天，也就不到兩個月。如果是1萬張H800，大約是11天可以訓練好這個模型。這是DeepSeek V3的模型參數，是671B。GPT-3的參數是175B，所以它要比GPT-3模型大很多。它是一個MoE的架構，每個token會激活37B參數，大約是5.5%?？偣舶?strong>61層Transformer。然后它在FFN網絡，除了前三層以外，全部替換成MoE。它的MoE架構采用了非常多的細粒度專家，包括1個共享專家和256個路由專家。每個token會激活8個路由專家。

論文里給了DeepSeek模型架構圖，核心是兩塊，MLA和MoE。MLA可以進一步降低推理消耗的內存。MoE包括共享專家和大量路由專家。

之前發(fā)布的一些MoE模型，比如像Mistral，采用的專家數很少、每個專家很大的架構。但是DeepSeek其實采用的是大量細粒度的專家。

DeepSeek并行訓練方面，技術報告里有一個輕量級訓練框架。下圖右邊是從網上找的一個示意圖。具體訓練實驗平臺沒有公布，但從它公開的一些數據，它是一個通過InfiniBand連接起來的GPU集群，然后在每個節(jié)點內通過NVLink連接起GPU。GPU之間的帶寬是160GB，節(jié)點之間的帶寬是50GB。這是一個網絡拓撲情況。

它具體采用的并行訓練策略，用的是16路流水線并行、64路專家并行，跨8個物理節(jié)點，數據并行采用的是ZeRO-1，沒有用通信開銷比較大的張量并行。我總結了一下，讓整個訓練效率提升有4個方面的優(yōu)化，分別是負載均衡、通信優(yōu)化、內存優(yōu)化、計算優(yōu)化。下面分別介紹這四點。首先是負載均衡優(yōu)化。如果要用MoE架構去訓練一個超大的模型，最大挑戰(zhàn)是負載均衡。我們清華跟北京智源還有一些單位合作訓練的八卦爐模型就是一個MoE的架構。DeepSeek團隊為了解決負載均衡的挑戰(zhàn)，創(chuàng)新提出了一個叫Auxiliary-Loss-Free Load Balancing的策略，下圖是DeepSeek團隊公布的一張圖片，核心是說當給一個token在計算它錄到哪個專家的時候，會給它加上一個專家Bias。Bias的核心目的是保證這些專家負載均衡，如果能做到，最后可以提高整個集群的效率。

它之前有一篇論文是2024年8月份，Bias的核心是只影響專家路由，但是不產生任何梯度影響。然后它會動態(tài)調整Bias。調整策略思路比較簡單：如果發(fā)現某個專家是overloaded，就會降低這個Bias；如果發(fā)現某個專家給他的負載不夠，它就會增大Bias。核心是要控制，讓這些專家能夠均衡。如果控制不好專家負載均衡，那它在一個大規(guī)模集群訓練時，利用率很難提升上去。第二，它們的工作用了很多通信優(yōu)化。用專家并行會引入非常大的All to All通信開銷。為了降低這個通信開銷，它想了很多辦法。它提出來一個DualPipe算法，核心是精細地編排計算和通信。這里有兩張圖，下面是它的技術包里的圖片，上面是我從網上找到的?？梢钥吹竭@是兩個micro-batch，前向跟反向可以拆分成一些單元，比如計算attention、計算MLP。All to All有兩個階段：一是把token分發(fā)，最后在過完專家之后，會把它收回來，叫combine。這樣前向和反向都有一些計算和通信。它通過精細控制GPU SM數量，保證計算和通信正好能夠完全重疊。

具體怎么重疊呢？它采用的是雙向流水線機制。下圖上方的示意圖用的是一個8級流水線、20個micro-batch，從前向和反向兩條流水分別去流，然后在中間穩(wěn)定狀態(tài)，黃色跟綠色部分就是前項跟反向重疊的階段。也就是說在這個過程中，可以讓計算和通信充分重疊。它也給了一些分析。

這里有一個需要注意的點，如果采用雙向流水線，要在GPU顯存里存兩份模型參數。大模型訓練內存使用非常重要。為了解決這個問題，它采用了64路的專家并行。雙流水可以非常有效地降低流水線的bubble。下一個是，通信優(yōu)化一定會有一些token會被路由到，相當于是走IB網絡會分到其他物理節(jié)點。它采用了一個算法，這個code design會限制跨節(jié)點的token，每個token最多可以路由到4個物理節(jié)點。這實際上是在算法層面的一個調整。同時它在節(jié)點內每個token最多平均可以選擇3.2個專家。為什么是3.2個專家呢？這里的核心IB帶寬是50GB/s，NVLink帶寬是160GB/s，相差的比值是3.2。也就是說在一個節(jié)點內路由3.2個專家和在IB上路由1個專家的時間是相當。這樣就可以保證IB和NVLink傳輸時間是重疊的。

同時它還有一些token的路由策略。它用到一個確定性的路由策略，可以非常簡單高效。它首先通過IB轉發(fā)到確定的節(jié)點，再通過NVLink轉到對應的GPU上，還采用了warp specialization技術。H800里有132個SM，這里是用20個SM來控制通信，用剩下的SM做計算。這20個控制通信的SM，同時還會去動態(tài)調整web的數量，會根據通信負載，通過英偉達提供的底層PTX（類似于像匯編層的編程語言），來控制SM使用。下面介紹內存優(yōu)化。大模型訓練中內存非常重要。DeepSeek團隊在優(yōu)化內存方面想了非常多的辦法。比如重計算，提出相應方法，把一些前向計算不去存，反向時再去計算，這樣可以節(jié)約一些內存使用。同時它還把一些數據，包括像模型參數的指數移動平均，存到CPU內存，這樣也是節(jié)約GPU顯存。

它還有一個機制，就是為了提高模型精度，采用MTP。它把主模型和MTP模塊的output head和embedding部署在相同節(jié)點，讓參數共享。核心是想辦法去降低內存。DeepSeek團隊沒有公布用了多少個節(jié)點去做模型訓練。對于給定的算力，GPU顯存是一個非常珍貴的資源。另外它為了提升訓練的效率，采用了混合精度。它用了英偉達最新FP8，把主要計算量、比較大的核心矩陣乘法都用FP8去計算。但是用這些低精度去做訓練，模型可能不收斂，或者導致不管是activation還是weight會有一些outlier的存在。DeepSeek團隊為了減緩outlier影響想了很多辦法，比如采用了細粒度量化，對于activation采用tail條形分組量化方式，對于weight采用block分組方式。同時它還通過增加累積精度（FP32）、增加尾數量，以及在線量化策略。這些方式都是為了減緩outlier的影響，來提高模型精度。最后它用FP8低精度達到了模型收斂。

總結一下我對DeepSeek的一些思考：第一，協(xié)同創(chuàng)新，DeepSeek團隊充分挖掘了算法、軟件、硬件協(xié)同創(chuàng)新。比如它采用了MoE架構，但又在算法和軟件層面上解決了MoE本身專家并行帶來的通信開銷問題。第二，軟件靈活，如果大家看DeepSeek論文分享報告，能看到軟件是非常靈活的。當我們用某一款硬件，不管是英偉達的還是某一款芯片，它都會有一些限制。這個時候軟件能夠彌補硬件的很多限制。第三，系統(tǒng)軟件，DeepSeek團隊為了降低模型訓練成本想了很多的辦法。優(yōu)秀的系統(tǒng)軟件可以充分釋放底層硬件的潛力，極致優(yōu)化。包括DeepSeek團隊自己也承認，用了很多非常細致的優(yōu)化。這些也是它通過挖掘一點點的優(yōu)化，讓整個模型的訓練效率提升，來降低訓練成本。最后從我個人角度來說，DeepSeek把整個模型開源，能極大促進人工智能領域的飛速發(fā)展。有一個非常開源好用的、效果非常好的大模型，我們就可以嘗試更多軟件相關優(yōu)化。

04.戴國浩：PTX是否做到繞過CUDA壟斷？如何極致優(yōu)化大模型性能？

我來就DeepSeek在軟硬件上的優(yōu)化，特別是繞過CUDA層的事情上，展開做一個討論。我關注DeepSeek團隊和他們的工作有很長一段時間了。他們論文發(fā)布時，我非常喜歡這份技術報告。把它的目錄做個拆解，可以看到它基本上在文章中說了四件事，分別是模型架構、系統(tǒng)架構、預訓練方法、后訓練方法。相對于模型架構、預訓練和后訓練，團隊對于系統(tǒng)架構做了非常充分的介紹。

我在思考的事情是：為什么這樣一個大模型的工作，大家會花更多的時間和精力去介紹系統(tǒng)層的架構？DeepSeek團隊有大量的工程師是聚焦在系統(tǒng)架構的優(yōu)化上。過年期間我刷到了很多（DeepSeek繞開CUDA）的推送和新聞。我相信它最早的來源是來自于DeepSeek論文中這樣一句話：“we employ customized PTX（Parallel Thread Execution）instructions and auto-tune the ?communication chunk size, which significantly reduces the use of the L2 cache and the interference to other SMs?！?/em>“我們采用定制的PTX（并行線程執(zhí)行）指令并自動調整通信塊大小，這大大減少了L2緩存的使用和對其他SM的干擾?！?/em>可以看到通過這樣的一個定制的PTX優(yōu)化，使DeepSeek的系統(tǒng)和模型可以更好釋放底層硬件的性能。無論是在通過去做一些auto-tuning，或者說去做一些communication chunk size的調整。它對于L2 cache的使用，以及不同SM之間的streaming multiprocessor之間的干擾，都會做到最小。但是這些被媒體們解讀成，國外可能叫“breakthrough by pass CUDA”，一些國內媒體會解讀成是“繞開CUDA壟斷”。我們具體來看一下，到底什么是CUDA，什么是PTX？為什么繞開CUDA的壟斷這件事在我們看來具有很重要的價值，以及它是否真的做到了繞開CUDA的壟斷？稍微給大家介紹一下，大家平時在使用GPU或者英偉達硬件時，編程時到底是怎么一步一步來調用到底層硬件的？為了做深度學習，為了訓練一個大模型，首先你需要有一張或很多GPU卡。但在上面做編程時，一般大家更多接觸到的是像PyTorch或者Python這樣的高層語言。一個很高層的語言最終是怎么調用到底層硬件的？它實際上經過了很多語言轉換和編譯的過程。這是我上課時會用到的一頁PPT。一般上層的應用會通過一些高層次的語言，或者說硬件的一些接口，從而進行編程，于是大家并不需要關注到底層硬件長得是什么樣子。這些接口包括了像CUDA，也就是英偉達所提供的硬件接口，也有一些其他的，大家如果做一些圖形和圖像顯示，會用到像DriectX或者并行計算會用到OpenCL等接口。