152
在媒體層面?zhèn)鞑啄旰?，“黃氏定律”這一命名終于被英偉達(dá)官方認(rèn)可。
摩爾定律會(huì)失效嗎？
除了 Intel 一直不肯承認(rèn)外，想必其他廠商的答案都是“肯定”的。
在這一事實(shí)的前提下，他們更多的考慮的問(wèn)題是：摩爾定律失效后，該如何進(jìn)一步提高處理器的能效？針對(duì)這個(gè)問(wèn)題，一些公司已經(jīng)找到了自己的答案，比如英偉達(dá)。
過(guò)去幾年來(lái)，黃仁勛一直對(duì)外表達(dá)“摩爾定律已死、新定律正在形成”，尤其是在 GPU 方面，更是預(yù)測(cè)每 10 年 GPU 性能增長(zhǎng) 1000 倍，這一預(yù)測(cè)也被戲稱(chēng)為“黃氏定律”。
值得注意的是，就在正在舉辦的 GTC 2020 中國(guó)線上大會(huì)上，“黃氏定律”正式被官方敲章——官方活動(dòng)上，英偉達(dá)首席科學(xué)家兼研究院副總裁 Bill Dally 親口說(shuō)出“黃氏定律”。
圖 | 英偉達(dá)首席科學(xué)家兼研究院副總裁 Bill Dally
?
什么是黃氏定律？
聊黃氏定律之前，我們先了解一下被預(yù)測(cè)即將失效或“已死”的摩爾定律。
摩爾定律由 Intel 創(chuàng)始人之一的戈登·摩爾提出，預(yù)測(cè)集成電路上可以容納的晶體管數(shù)目大約每經(jīng)過(guò) 24 個(gè)月就會(huì)增加一倍。
之后，Intel 前 CEO 大衛(wèi)·豪斯更新了另外一版說(shuō)法，即每 18 個(gè)月芯片性能將提高一倍。
現(xiàn)在，以性能提升一倍為目標(biāo)，黃仁勛也帶來(lái)了自己的答案——1 年。沒(méi)錯(cuò)，在黃仁勛認(rèn)為，基于 GPU 的一倍性能提升只需要 1 年的時(shí)間，這個(gè)速度比摩爾定律至少快 1.5 倍。
當(dāng)然，任何一個(gè)論點(diǎn)的成立沒(méi)有事實(shí)依據(jù)來(lái)支撐必然是脆弱的，為此 Bill Dally 在線上演講過(guò)程中直接以英偉達(dá) GPU 產(chǎn)品為例，證明芯片產(chǎn)品性能的提升核心并不是制程工藝。
具體來(lái)看，Bill Dally 帶來(lái)了一張圖標(biāo)，其中展示了從 2012 年的 Kepler，一直到今年 5 月份的 Ampere A100 等多款 GPU 產(chǎn)品的性能增長(zhǎng)趨勢(shì)圖：
8 年時(shí)間，單芯片推理性能提高了 317 倍?！皩?shí)際上，我們的推理性能每年都要增加一倍以上，部分原因在于 Tensor Core 的改進(jìn)、更優(yōu)化的電路設(shè)計(jì)和架構(gòu)，制程技術(shù)所發(fā)揮的作用不大?！盉ill Dally 表示。
他解釋稱(chēng)，自 2012 年到 2020 年，英偉達(dá)在 GPU 產(chǎn)品養(yǎng)發(fā)上僅使用了 3 代制程工藝，分別是最開(kāi)始 Kepler 架構(gòu)使用的 28nm、中間時(shí)期采用的 16nm，以及最近 Ampere 架構(gòu)使用的 7nm。
其中 Bill Dally 指出，在“317 倍”這一成果中，制程工藝整體上發(fā)揮的作用不到 2 成，主要功臣是“架構(gòu)的改進(jìn)”。
“在摩爾定律消失之后，我們還有‘黃氏定律’來(lái)不斷提高計(jì)算性能，因?yàn)槲覀兾磥?lái)需要利用更高的計(jì)算性能來(lái)完成許多工作。”
眾所周知，摩爾定律的關(guān)鍵是基于先進(jìn)工藝在特定體積內(nèi)放入更多的晶體管，還是容易理解的。至于黃氏定律的“架構(gòu)改進(jìn)”，具體怎么實(shí)現(xiàn)？針對(duì)這個(gè)問(wèn)題，Bill Dally 也在演講中做出了解答。
如何實(shí)現(xiàn)黃氏定律？
針對(duì)這個(gè)問(wèn)題，Bill Dally 在演講中用了三個(gè)項(xiàng)目進(jìn)行解答。
首先是為了實(shí)現(xiàn)超高能效加速器的 MAGNet 工具。英偉達(dá)稱(chēng)，MAGNet 生成的 AI 推理加速器在模擬測(cè)試中，能夠達(dá)到每瓦 100 tera ops 的推理能力，比目前的商用芯片高出一個(gè)數(shù)量級(jí)。
之所以能夠達(dá)到這樣的成效，是因?yàn)?MAGNet 采用了一系列新技術(shù)來(lái)協(xié)調(diào)并控制通過(guò)設(shè)備的信息流，最大限度地減少數(shù)據(jù)傳輸，畢竟數(shù)據(jù)傳輸正是當(dāng)今芯片中最耗能的環(huán)節(jié)。整個(gè)過(guò)程中，這一研究原型均以模組化實(shí)現(xiàn)，因此能夠靈活擴(kuò)展。
第二個(gè)項(xiàng)目的目標(biāo)則是為了以更快速的光鏈路取代現(xiàn)有系統(tǒng)內(nèi)的電器鏈路。Bill Dally 表示：“我們可以將連接 GPU 的 NVLink 速度提高一倍，也許還會(huì)再翻番，但電子信號(hào)最終會(huì)消耗殆盡。”
目前，由 Bill Dally 帶領(lǐng)的 200 人團(tuán)隊(duì)正在與哥倫比亞大學(xué)的研究人員密切合作，探討如何利用電信供應(yīng)商在其核心網(wǎng)絡(luò)中所采用的技術(shù)，通過(guò)一條光纖來(lái)傳輸數(shù)十路信號(hào)。
據(jù)了解，這種名為“密集波分復(fù)用”的技術(shù), 有望在僅一毫米大小的芯片上實(shí)現(xiàn) Tb/s 級(jí)數(shù)據(jù)的傳輸，是如今互連密度的十倍以上。
值得注意的是，除了更大的吞吐量，光鏈路也有助于打造更為密集型的系統(tǒng)。針對(duì)這一點(diǎn)，Bill Dally 舉例展示了一個(gè)未來(lái)將搭載 160 多個(gè) GPU 的 NVIDIA DGX 系統(tǒng)模型。
圖 | 搭載 160 多個(gè) GPU 的 NVIDIA DGX 系統(tǒng)模型
?
想要發(fā)揮光鏈路的全部潛能，還需要相應(yīng)的軟件，這也是 Bill Dally 分享的第三個(gè)項(xiàng)目——全新編程系統(tǒng)原型 Legate。
Legate 將一種新的編程速記融入了加速軟件庫(kù)和高級(jí)運(yùn)行時(shí)環(huán)境 Legion，借助 Legate，開(kāi)發(fā)者可在任何規(guī)模的系統(tǒng)上運(yùn)行針對(duì)單一 GPU 編寫(xiě)的程序——甚至適用于諸如 Selene 等搭載數(shù)千個(gè) GPU 的巨型超級(jí)計(jì)算機(jī)。
目前，Legate 正在美國(guó)國(guó)家實(shí)驗(yàn)室接受測(cè)試。
黃氏定律存在“天花板”嗎？
一個(gè)定律的成立與延續(xù)，必然不是一家企業(yè)單打獨(dú)斗能夠做到的，需要更多上下游的合作伙伴一起來(lái)激發(fā)新需求和推進(jìn)創(chuàng)新落地。
這方面，英偉達(dá)也正以 GPU 產(chǎn)品為中心，搭建自己的 AI 生態(tài)圈。以英偉達(dá)初創(chuàng)加速計(jì)劃為例，在 4 年時(shí)間內(nèi)，加入該計(jì)劃的企業(yè)已經(jīng)超過(guò)了 7000 家，遍布全球 92 個(gè)國(guó)家，其中僅在中國(guó)，得到英偉達(dá)扶持的企業(yè)就已經(jīng)超過(guò)了 800 家。
在 Bill Dally 的演講中，我們也見(jiàn)到了國(guó)內(nèi) 12 家代表性 AI 創(chuàng)企的展示，其中包括自動(dòng)駕駛明星創(chuàng)企圖森未來(lái)、文遠(yuǎn)知行、衛(wèi)星圖像數(shù)據(jù)分析公司大地量子等等。
以圖森未來(lái)為例，早在此前的一次采訪中，他們就曾對(duì)外表示，采用英偉達(dá) AI 芯片的系統(tǒng)，效能每年都增加一倍。站在落地商用的角度，從企業(yè)所表述的情況來(lái)看，“黃氏定律”顯然正發(fā)揮作用、成為現(xiàn)實(shí)。
當(dāng)然，參考當(dāng)前摩爾定律正在失效的情況，人們也不可避免的開(kāi)始擔(dān)憂，黃氏定律也會(huì)有失效的一天嗎？
不同于制程工藝的肉眼可見(jiàn)，架構(gòu)的改進(jìn)相對(duì)來(lái)講是較為虛化的。針對(duì)這個(gè)問(wèn)題，曾有人給出了一個(gè)“10 年內(nèi)”的可能答案。對(duì)于這個(gè)答案的準(zhǔn)確與否，我們也不過(guò)多評(píng)判，不管“天花板”存在與否，我們目前可以確定的是，從過(guò)去 8 年的表現(xiàn)來(lái)判斷，在未來(lái)一段十日內(nèi)，黃氏定律仍然會(huì)繼續(xù)發(fā)揮它“性能一年翻一倍”的優(yōu)勢(shì)，這一定律帶來(lái)的最終成果還是很值得期待的。
