903
來自美國阿貢國家實驗室、NVIDIA、芝加哥大學(xué)等組織機(jī)構(gòu)的研究員開發(fā)了一個處理基因組規(guī)模數(shù)據(jù)的先進(jìn)模型，并入圍戈登貝爾COVID-19研究特別獎決賽。
這一戈登貝爾特別獎旨在表彰基于高性能計算的COVID-19研究。一位決賽入圍選手教會了大型語言模型（LLMs）一種新的語言——基因序列，使這些模型能夠提供基因組學(xué)、流行病學(xué)和蛋白質(zhì)工程方面的洞察。
這項開創(chuàng)性的成果發(fā)表于10月，是由來自美國阿貢國家實驗室、NVIDIA、芝加哥大學(xué)等組織機(jī)構(gòu)的二十多名學(xué)術(shù)和商業(yè)研究員合作完成。
該研究團(tuán)隊訓(xùn)練了一個LLM來追蹤基因突變，并預(yù)測需要關(guān)注的SARS-CoV-2（導(dǎo)致COVID-19的病毒）變異株。雖然迄今為止大多數(shù)應(yīng)用于生物學(xué)的LLM都是在小分子或蛋白質(zhì)的數(shù)據(jù)集上訓(xùn)練的，但這一項目是在原始核苷酸序列（DNA和RNA的最小單位）上訓(xùn)練的首批模型之一。
負(fù)責(zé)帶領(lǐng)該項目的阿貢國家實驗室計算生物學(xué)家Arvind Ramanathan表示：“我們假設(shè)從蛋白質(zhì)水平到基因水平的數(shù)據(jù)有助于我們構(gòu)建出更易于理解新冠病毒變異株的模型。通過訓(xùn)練模型去追蹤整個基因組及其進(jìn)化過程中的所有變化，我們不僅能夠更好地預(yù)測COVID，還能預(yù)測已掌握足夠基因組數(shù)據(jù)的任何疾病?！?/p>
戈登貝爾獎被譽(yù)為HPC領(lǐng)域的諾貝爾獎。今年的戈登貝爾獎將在本周的SC22上由美國計算機(jī)協(xié)會頒發(fā)。該協(xié)會代表著全球約10萬名計算領(lǐng)域的專家，自2020年開始向使用HPC推進(jìn)COVID-19研究的杰出研究員頒發(fā)特別獎。
在一種只有四個字母的語言上訓(xùn)練大型語言模型
長期以來，LLM一直在接受人類語言的訓(xùn)練，這些語言通常由幾十個字母組成，可以排列組合成數(shù)萬個單詞，并連接成長句和段落。而生物學(xué)語言只有四個代表核苷酸的字母，即DNA中的A、T、G和C，或RNA中的A、U、G和C。這些字母按不同順序排列成基因。
雖然較少的字母看似會降低AI學(xué)習(xí)的難度，但實際上生物學(xué)語言模型要復(fù)雜得多。這是因為人類的基因組由超過30億個核苷酸組成，而冠狀病毒的基因組由大約3萬個核苷酸組成，因此很難將基因組分解成不同、有意義的單位。
Ramanathan表示： “在理解基因組這一 ‘生命代碼’的過程中，我們所面對的一個主要挑戰(zhàn)是基因組中的龐大測序信息。核苷酸序列的意義可能會受另一序列的影響，以人類的文本做類比，這種影響的范圍不僅僅是文本中的下一句話或下一段話，而是相當(dāng)于一本書中的整個章節(jié)。”
參與該項目協(xié)作的NVIDIA研究員設(shè)計了一種分層擴(kuò)散方法，使LLM能夠?qū)⒓s1500個核苷酸的長字符串當(dāng)作句子來處理。
論文共同作者、NVIDIA AI研究高級總監(jiān)、加州理工學(xué)院計算+數(shù)學(xué)科學(xué)系布倫講席教授Anima Anandkumar表示：“標(biāo)準(zhǔn)語言模型難以生成連貫的長序列，也難以學(xué)習(xí)不同變異株的基本分布。我們開發(fā)了一個在更高細(xì)節(jié)水平上運作的擴(kuò)散模型，該模型使我們能夠生成現(xiàn)實中的變異株，并采集到更完善的統(tǒng)計數(shù)據(jù)?！?/p>
預(yù)測需要關(guān)注的新冠病毒變異株
該團(tuán)隊首先使用細(xì)菌和病毒生物信息學(xué)資源中心的開源數(shù)據(jù)，對來自原核生物（像細(xì)菌一樣的單細(xì)胞生物）超過1.1億個基因序列進(jìn)行了LLM預(yù)訓(xùn)練，然后使用150萬個高質(zhì)量的新冠病毒基因組序列，對該模型進(jìn)行微調(diào)。
研究員還通過在更廣泛的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，確保其模型能夠在未來的項目中推廣到其他預(yù)測任務(wù)，使其成為首批具備此能力的全基因組規(guī)模的模型之一。
在對COVID數(shù)據(jù)進(jìn)行了微調(diào)后，LLM就能夠區(qū)分病毒變異株的基因組序列。它還能夠生成自己的核苷酸序列，預(yù)測COVID基因組的潛在突變，這可以幫助科學(xué)家預(yù)測未來需要關(guān)注的變異株。
在長達(dá)一年時間內(nèi)積累的SARS-CoV-2基因組數(shù)據(jù)的訓(xùn)練下，該模型可以推斷出各種病毒株之間的區(qū)別。左邊的每個點對應(yīng)一個已測序的SARS-CoV-2病毒株，并按變異株顏色編碼。右圖放大了該病毒的一個特定毒株，它捕捉到了該毒株特有的病毒蛋白進(jìn)化耦合關(guān)系。圖片由美國阿貢國家實驗室的Bharat Kale、Max Zvyagin和Michael E. Papka提供。
Ramanathan表示： “大多數(shù)研究員一直在追蹤新冠病毒突刺蛋白的突變，尤其是與人類細(xì)胞結(jié)合的域。但病毒基因組中還有其他蛋白質(zhì)也會經(jīng)歷頻繁的突變，所以了解這些蛋白質(zhì)十分重要。”
論文中提到，該模型還可以與AlphaFold、OpenFold等常見的蛋白質(zhì)結(jié)構(gòu)預(yù)測模型整合，幫助研究員模擬病毒結(jié)構(gòu)，研究基因突變?nèi)绾斡绊懖《靖腥酒渌拗鞯哪芰?。OpenFold是NVIDIA BioNeMo LLM服務(wù)中包含的預(yù)訓(xùn)練語言模型之一。NVIDIA BioNeMo LLM服務(wù)面向的是致力于將LLM應(yīng)用于數(shù)字生物學(xué)和化學(xué)應(yīng)用的開發(fā)者。
利用GPU加速超級計算機(jī)大幅加快AI訓(xùn)練速度
該團(tuán)隊在由NVIDIA A100 Tensor Core GPU驅(qū)動的超級計算機(jī)上開發(fā)AI模型，包括阿貢國家實驗室的Polaris、美國能源部的Perlmutter以及NVIDIA的Selene系統(tǒng)。通過擴(kuò)展到這些強(qiáng)大的系統(tǒng)，他們在訓(xùn)練中實現(xiàn)了超過1500 exaflops的性能，創(chuàng)建了迄今為止最大的生物語言模型。
Ramanathan 表示： “我們?nèi)缃裉幚淼哪Ｐ陀卸噙_(dá)250億個參數(shù)，預(yù)計這一數(shù)量未來還會大幅增加。模型的尺寸、基因序列的長度、以及所需的訓(xùn)練數(shù)據(jù)量，都意味著我們的確需要搭載數(shù)千顆GPU的超級計算機(jī)來完成復(fù)雜的計算?！?/p>
研究員估計，訓(xùn)練一個具有25億參數(shù)的模型版本，需要約4000個GPU耗時一個多月。該團(tuán)隊已經(jīng)在研究用于生物學(xué)的LLM，在公布論文和代碼之前，他們在這個項目上已耗時約四個月。GitHub頁面上有供其他研究員在Polaris和Perlmutter上運行該模型的說明。
NVIDIA BioNeMo框架可在NVIDIA NGC中心上的GPU優(yōu)化軟件中搶先體驗。該框架將幫助研究員在多個GPU上擴(kuò)展大型生物分子語言模型。作為NVIDIA Clara Discovery藥物研發(fā)工具集的一部分，該框架將支持化學(xué)、蛋白質(zhì)、DNA和RNA數(shù)據(jù)格式。
在SC22上蒞臨NVIDIA展臺并觀看以下特別演講回放：
頭圖是研究員的LLM所測序的新冠病毒株。每個點都按新冠病毒變異株進(jìn)行了顏色編碼。該圖由美國阿貢國家實驗室的Bharat Kale、Max Zvyagin和Michael E. Papka提供。
