初創(chuàng)公司的生存取決于第一條規(guī)則:永遠(yuǎn)不要缺錢。無論是Cerebra、Tenstorrent、Groq還是SambaNova,每家AI芯片初創(chuàng)公司都面臨著在Nvidia主導(dǎo)的市場中維持資金流的挑戰(zhàn)。?
迄今為止,盡管許多AI芯片初創(chuàng)公司都忙于各種PR,包括芯片發(fā)布、電路板發(fā)布和開發(fā)可以修改的SDK,但沒有一家公司說得出任何實(shí)際客戶的名字。
在沒有這樣的突破之前,Tenstorrent一直在設(shè)定某種基調(diào),發(fā)布敘事、技術(shù)和業(yè)務(wù)戰(zhàn)略,讓業(yè)界了解Tenstorrent是誰以及它將走向何方。
為什么要這樣宣傳?從第一天起,Tenstorrent的高管們(CEO-Jim Keller、COO-Keith Witek和CCO-David Bennet)就非常明確地表示:“我們不是在與Nvidia競爭?!?/p>
他們對外始終如一地表示,如果一家初創(chuàng)公司認(rèn)為自己可以與Jenson Huang為Nvidia打造的巨大工程資源和財(cái)力相媲美,那“簡直是瘋了”,因?yàn)镹vidia的市值已超2萬億美元。
或許Tenstorrent在謹(jǐn)慎地降低人們的期望值。但這也反映了對當(dāng)今AI硬件市場以及Tenstorrent的地位和前景的現(xiàn)實(shí)看法。
盡管如此,仍有媒體在等待一家AI芯片公司成為下一個Nvidia。
誰不喜歡大衛(wèi)與歌利亞的故事呢?
上周,我看到了一個熟悉的標(biāo)題,“Startup with ‘radical’ concept for AI chips emerges from stealth with $15 million to try to challenge Nvidia”。
“Challenge Nvidia”這個故事情節(jié)蒼白且老套,讓人難以相信。
Tenstorrent的理由??
那么,如果Tenstorrent真的沒有在挑戰(zhàn)Nvidia,它的利基在哪里?有哪些Nvidia沒有cover到的角落可供Tenstorrent搶奪呢?
所謂“服務(wù)不足”的AI市場有多大?
AMD的Lisa Su預(yù)測,到2027年,AI領(lǐng)域的收入將達(dá)到4,000億美元。保守預(yù)測的數(shù)字約為1,000億美元,因?yàn)楹芏嗳苏J(rèn)為不存在生產(chǎn)4,000億美元AI硬件的制造能力。不過,Tenstorrent認(rèn)為,到本十年末,AI芯片行業(yè)的TAM(total available market)將達(dá)到2,000億美元。
無論從哪個角度來看,這都是一個巨大的市場,有大量的AI細(xì)分市場可供Tenstorrent等公司開發(fā)。
在最近與Ark Investment的一次視頻播客中,Tenstorrent的COO Witek分享了他在不與Nvidia發(fā)生沖突的情況下開拓AI市場的計(jì)算方法。
“對于像Nvidia這樣的公司來說,每年都有數(shù)百億美元投入到DGX盒子與H100這樣的產(chǎn)品中,利潤率非常高,你需要不斷打造大型、昂貴、高性能的AI盒子,配備昂貴的HBM、interposer和一切非常大的東西?!盢vidia為維持自身增長而期望賺取的資金量,讓“二線、三線細(xì)分市場落在了后面,而這些細(xì)分市場對Nvidia來說可能是更痛苦的支持”。
更具體地說,Witek指出:“Nvidia并不是在尋找5億美元或10億美元的機(jī)會。他們正在尋找下一個250億美元的機(jī)會。這樣的機(jī)會并不多,但這可能是他們的重點(diǎn)。對Jenson來說,這將是一件明智的事情。
同時,他補(bǔ)充說:“Jim Keller和我可以專注于50億美元的機(jī)會。”雖然這只是AI硬件市場的一小部分,但Witek和Kellert認(rèn)為它足以讓Tenstorrent上市。
Tenstorrent害怕Nvidia嗎???
Witek說:“在一個2,000億美元的市場中,沒人能讓營收30億美元的Nvidia垂頭喪氣。他們不會把自己的毛利率從82%降到甚至81%,來試圖打擊競爭對手?!?/p>
這個理由聽起來可能有些自圓其說,但Witek的信念是基于他對電子行業(yè)歷史的觀察。像IBM或Intel這樣的大公司,在它們的鼎盛時期,都是被它們的規(guī)模和對年銷售額的高期望值所驅(qū)使。他們釣大魚,把小雨小蝦留給別人去撈,直到小雨小蝦占領(lǐng)了海洋。Clayton Christensen的一書對這一經(jīng)典案例進(jìn)行了詳細(xì)描述。
游戲計(jì)劃??
Tenstorrent聲稱,AI市場足夠大,足以讓其他行業(yè)找到Nvidia提供的替代解決方案。
如果是這樣,他們是誰,他們看中Tenstorrent的什么?
每家AI芯片供應(yīng)商都希望在數(shù)據(jù)中心獲得設(shè)計(jì)上的第一桶金,除此之外,Tenstorrent還提到了汽車和機(jī)器人領(lǐng)域的關(guān)鍵應(yīng)用。Tenstorrent戰(zhàn)略與企業(yè)傳播副總裁Bob Grim說,人們對AI芯片的興趣已經(jīng)讓“一些機(jī)器人客戶”進(jìn)入了發(fā)展通道。今年夏天,Tenstorrent將指定至少一家車廠為其商業(yè)客戶。
Tenstorrent的魅力何在?這位發(fā)言人表示,Nvidia H100和A100的有限供應(yīng)和令人瞠目的成本是明顯的障礙。更重要的是,汽車和機(jī)器人領(lǐng)域的應(yīng)用“需要難以想象的質(zhì)保工作”。
100%的代碼檢測?????
典型的例子就是Nvidia的專有軟件庫CUDA。
Tenstorrent聲稱,“很多客戶……無法使用CUDA”,因?yàn)橛行?a class="article-link" target="_blank" href="/tag/%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F/">應(yīng)用程序“需要100%的代碼檢測,而使用CUDA庫,你無法做到這一點(diǎn),因?yàn)樗鼈兪菍S械摹薄?/p>
對此,Nvidia表示,CUDA“作為Nvidia DRIVE OS軟件的一部分已通過認(rèn)證,可提供高達(dá)ASIL-D的認(rèn)證”,但沒有直接解釋CUDA庫本身是否通過了ASIL認(rèn)證的SEooC(Safety Element Out of Context)。
SEooC非常重要,因?yàn)樗糜陂_發(fā)SW、HW或系統(tǒng)元素,在這些元素中,開發(fā)者確信該元素不僅是一個安全程序中的安全元素,也是其他安全程序中的安全元素,在這些安全程序中,該安全元素可用于多個安全目標(biāo)或安全要求。
開發(fā)者是否將CUDA庫用于機(jī)器人、無人機(jī)、采礦車或其他不一定使用Nvidia DRIVE OS的應(yīng)用?在這種情況下,Nvidia如何對CUDA庫進(jìn)行100%的代碼檢查和測試?Nvidia承認(rèn),機(jī)器人和醫(yī)療設(shè)備等市場也有類似的安全認(rèn)證,這些認(rèn)證與汽車行業(yè)的ISO 26262相關(guān),但并不完全相同?!拔覀冋谂c這些行業(yè)的客戶合作,并將在未來公布其中的一些產(chǎn)品?!?/p>
通過提供開源軟件堆棧,Tenstorrent認(rèn)為自己的定位是為無法使用Nvidia的CUDA或DRIVE OS的汽車和機(jī)器人客戶提供服務(wù)。
分散的AI應(yīng)用???????????
Tenstorrent并沒有在超大規(guī)模企業(yè)中尋找巨額交易機(jī)會,而是選擇了長尾市場。一個每個應(yīng)用都有不同需求的碎片化AI市場。
Tenstorrent的優(yōu)勢在于其AI芯片解決方案的可擴(kuò)展架構(gòu)。其方法是將基于圖形計(jì)算機(jī)的AI硬件與RISC-V計(jì)算內(nèi)核相結(jié)合。RISC-V內(nèi)核為處理解決方案提供了內(nèi)置靈活性,以支持未來的模式。
Tenstorrent最近推出了“Wormhole”芯片,其特點(diǎn)是為對可擴(kuò)展性感興趣的開發(fā)者設(shè)計(jì)了PCIe卡和工作站。他們可以使用Tenstorrent強(qiáng)大的開源軟件棧進(jìn)行多芯片開發(fā)。
該公司發(fā)言人將Wormhole描述為“a fabric”或“sea of chips”,稱其“非常適合于解決需要在多個芯片上解決的問題,并讓這些芯片協(xié)同工作”。
通過利用Wormhole芯片,Tenstorrent正在為開發(fā)者構(gòu)建開發(fā)板和系統(tǒng)。Wormhole n150由單個處理器驅(qū)動。Wormhole n300由兩個處理器驅(qū)動。這些板卡隨后被制成兩種不同類型的工作站,供開發(fā)者使用。第一種是TT-LoudBox,一種由四個Wormhole n300(八個處理器)驅(qū)動的開發(fā)者工作站;第二種是TT-QuietBox,一種高端水冷式開發(fā)者工作站。Tenstorrent利用其開源TT-Buda和TT-Metallium軟件棧為這兩個工作站提供支持。據(jù)該公司稱,這些軟件可支持多個LLM和其他流行的AI模型。
工作站與服務(wù)器中的AI芯片??????
Tenstorrent希望強(qiáng)調(diào)的另一個產(chǎn)品是其在工作站中使用的AI芯片與在服務(wù)器中設(shè)計(jì)的AI芯片。
Tenstorrent解釋說,“我們在工作站和服務(wù)器中使用相同的AI芯片”。這是因?yàn)楫?dāng)開發(fā)者從AI開發(fā)轉(zhuǎn)向部署,再擴(kuò)展到服務(wù)器時,“將代碼從工作站移植到服務(wù)器變得非常簡單直接”。
相比之下,Dell等電腦公司在數(shù)據(jù)中心和工作站中使用不同的AI芯片。
Dell發(fā)言人證實(shí),“Dell Precision工作站沒有使用Nvidia的H100或A100。她補(bǔ)充說,Dell的工作站“包括跨芯片合作伙伴的強(qiáng)大圖形選擇,如Nvidia RTX Ada代GPU和AMD Radeon Pro”。
當(dāng)然,“當(dāng)你需要擴(kuò)展模型并進(jìn)行更廣泛的部署時,企業(yè)可以輕松地過渡到Dell PowerEdge服務(wù)器”。她強(qiáng)調(diào),Dell服務(wù)器提供“一系列的GPU”,這些GPU來自芯片合作伙伴,包括Nvidia的H100、A100和即將推出的Blackwell架構(gòu)和H200 GPU,即將支持Intel的Guadi3和AMD的Instinct MI300x加速器。
SoftBank最近收購了英國的Graphcore,隨后AMD又收購了芬蘭的Silo.ai,后者是歐洲最大的私人AI實(shí)驗(yàn)室。但這些舉動是否預(yù)示著AI芯片公司之間會出現(xiàn)并購浪潮呢?很難說。要擺脫曇花一現(xiàn)的局面,AI芯片初創(chuàng)公司需要一個可靠的生存計(jì)劃。