CES 2025 | 即刻關(guān)注：NVIDIA 推出可分析視頻的 AI 智能體藍(lán)圖

由 Metropolis 驅(qū)動(dòng)的全新 NVIDIA AI Blueprint 可助力企業(yè)和個(gè)人提高生產(chǎn)力、增強(qiáng)安全性，甚至還能幫助 NVIDIA 首席執(zhí)行官提升快球投球水平。

AI 的下一個(gè)重大時(shí)刻即將到來(lái)——確切地說(shuō)，是 “看得見(jiàn)” 的時(shí)刻。

如今，全球共部署超過(guò) 15 億臺(tái)企業(yè)級(jí)攝像頭，每年生成約 7 萬(wàn)億小時(shí)的視頻。然而，僅有其中一小部分得到了分析。

據(jù)估計(jì)，工業(yè)攝像頭拍攝的視頻中，僅有不足 1% 會(huì)被人類實(shí)時(shí)觀看，這意味著關(guān)鍵運(yùn)營(yíng)事件可能在很大程度上被忽視。

這種忽視帶來(lái)了高昂的代價(jià)。例如，制造商每年因產(chǎn)品質(zhì)量欠佳或存在缺陷，會(huì)損失數(shù)萬(wàn)億美元，然而，通過(guò)能夠感知、分析并幫助人類采取行動(dòng)的 AI 智能體，這些問(wèn)題可以被提早發(fā)現(xiàn)，甚至被提前預(yù)測(cè)。

具備內(nèi)置視覺(jué)感知能力的交互式 AI 智能體可以充當(dāng)始終在線的視頻分析師，幫助工廠更高效地運(yùn)轉(zhuǎn)，增強(qiáng)工人安全保障，維持交通順暢，甚至可以提升運(yùn)動(dòng)員的競(jìng)技水平。

為了加速此類智能體的創(chuàng)建，NVIDIA 宣布用戶可提前訪問(wèn)用于視頻搜索與總結(jié)的新版 NVIDIA AI Blueprint。該藍(lán)圖基于 NVIDIA Metropolis 平臺(tái)構(gòu)建，如今借助 NVIDIA Cosmos Nemotron 視覺(jué)語(yǔ)言模型 (VLM)、NVIDIA Llama Nemotron 大語(yǔ)言模型 (LLM) 以及 NVIDIA NeMo Retriever 的強(qiáng)大能力，為開(kāi)發(fā)者提供了構(gòu)建和部署能夠分析大量視頻和圖像內(nèi)容的 AI 智能體的工具。

該藍(lán)圖集成了 NVIDIA AI Enterprise 軟件平臺(tái)，其中包括用于 VLM、LLM 的 NVIDIA NIM 微服務(wù)、以及用于檢索增強(qiáng)生成的高級(jí) AI 框架，以實(shí)現(xiàn)比實(shí)時(shí)觀看快 30 倍的批量視頻處理。

該藍(lán)圖包含多種代理式 AI 功能，如思維鏈推理、任務(wù)規(guī)劃和工具調(diào)用，可以幫助開(kāi)發(fā)者更簡(jiǎn)化地創(chuàng)建強(qiáng)大且多樣的視覺(jué)智能體，解決各種問(wèn)題。

具備視頻分析能力的 AI 智能體可以與其他擁有不同技能的智能體相結(jié)合，以實(shí)現(xiàn)更復(fù)雜的代理式 AI 服務(wù)。企業(yè)可以靈活地從邊緣到云端構(gòu)建和部署自己的 AI 智能體。

視頻分析 AI 智能體如何助力工業(yè)企業(yè)

具備視覺(jué)感知和分析技能的 AI 智能體可通過(guò)以下方式經(jīng)過(guò)微調(diào)，助力企業(yè)進(jìn)行工業(yè)運(yùn)營(yíng)：

提高生產(chǎn)力并減少浪費(fèi)：智能體可以幫助確保在產(chǎn)品組裝等復(fù)雜工業(yè)流程中遵循標(biāo)準(zhǔn)操作程序。經(jīng)過(guò)微調(diào)，它們還可以仔細(xì)觀察和理解細(xì)微的動(dòng)作及其執(zhí)行順序。

通過(guò)優(yōu)化空間利用來(lái)提高資產(chǎn)管理效率：智能體可以通過(guò) 3D 體積估算，并整合不同攝像頭的信息流，來(lái)幫助優(yōu)化倉(cāng)庫(kù)中的庫(kù)存存儲(chǔ)。

通過(guò)自動(dòng)生成事故報(bào)告和總結(jié)來(lái)提高安全性：智能體可以處理大量視頻，并將其總結(jié)為內(nèi)容詳實(shí)的事故報(bào)告。它們還可以幫助確保工廠中個(gè)人防護(hù)裝備的合規(guī)使用，提高工業(yè)環(huán)境中的工人安全。

預(yù)防事故和生產(chǎn)問(wèn)題：無(wú)論是在倉(cāng)庫(kù)、工廠、機(jī)場(chǎng)，還是在交通路口或其他市政場(chǎng)所，AI 智能體都可以識(shí)別異?；顒?dòng)，快速降低運(yùn)營(yíng)和安全風(fēng)險(xiǎn)。

從過(guò)去汲取經(jīng)驗(yàn)：智能體可以搜索運(yùn)營(yíng)視頻檔案，從過(guò)去的資料中找到相關(guān)信息，并利用這些信息來(lái)解決問(wèn)題或創(chuàng)建新流程。

用于體育、娛樂(lè)等領(lǐng)域的視頻分析工具

視頻分析 AI 智能體還將在體育產(chǎn)業(yè)發(fā)揮重要作用。體育產(chǎn)業(yè)在全球擁有規(guī)模達(dá) 5000 億美元的市場(chǎng)，預(yù)計(jì)未來(lái)幾年還將有數(shù)千億美元的增長(zhǎng)。

無(wú)論是職業(yè)還是業(yè)余的教練、球隊(duì)和聯(lián)賽，都依賴視頻分析來(lái)評(píng)估和提升球員表現(xiàn)，在優(yōu)先考慮安全性的基礎(chǔ)上，通過(guò)球員分析平臺(tái)和數(shù)據(jù)可視化來(lái)提高球迷的參與度。借助具備視覺(jué)感知能力的 AI 智能體，運(yùn)動(dòng)員如今能夠比以往更加深入地了解自身水平，并獲得更多提升機(jī)會(huì)。

在 CES 主題演講中，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛展示了一款 AI 視頻分析智能體，該智能體將一名業(yè)余棒球運(yùn)動(dòng)員的快球投球技巧與專業(yè)球員進(jìn)行對(duì)比評(píng)估。通過(guò)對(duì)黃仁勛為舊金山巨人隊(duì)投擲的開(kāi)球視頻進(jìn)行分析，該視頻分析 AI 智能體能夠從而給出改進(jìn)建議。

規(guī)模達(dá) 3 萬(wàn)億美元的媒體和娛樂(lè)行業(yè)也有望通過(guò)視頻分析 AI 智能體受益。通過(guò) NVIDIA Media2 計(jì)劃，這些智能體將推動(dòng)創(chuàng)造更智能、更貼合需求且更具影響力的內(nèi)容，以適應(yīng)個(gè)人觀眾的喜好。

全球范圍內(nèi)的應(yīng)用與可用性

來(lái)自世界各地的合作伙伴正在將構(gòu)建視頻分析 AI 智能體的藍(lán)圖融入他們的開(kāi)發(fā)者工作流，其中包括埃森哲、Centific、德勤、安永、Infosys、Linker Vision、Pegatron、塔塔咨詢服務(wù)公司 (TCS)、Telit Cinterion 和 VAST。

申請(qǐng)?zhí)崆笆褂?/strong> NVIDIA Blueprint 進(jìn)行視頻搜索和總結(jié)：https://developer.nvidia.cn/login