452
NVIDIA 發(fā)布具有推理功能的開(kāi)源 Llama Nemotron 模型系列，旨在為開(kāi)發(fā)者和企業(yè)提供業(yè)務(wù)就緒型基礎(chǔ)，助力構(gòu)建能夠獨(dú)立工作或以團(tuán)隊(duì)形式完成復(fù)雜任務(wù)的高級(jí) AI 智能體。
NVIDIA Llama Nemotron 推理模型系列基于 Llama 模型構(gòu)建，提供按需 AI 推理功能。 NVIDIA 在后訓(xùn)練期間對(duì)該推理模型系列進(jìn)行了增強(qiáng)，以提升多步數(shù)學(xué)運(yùn)算、編碼、推理和復(fù)雜決策能力。
與基礎(chǔ)模型相比，這種增強(qiáng)過(guò)程將模型的精度提高多達(dá) 20%；與其他領(lǐng)先的開(kāi)放推理模型相比，優(yōu)化推理速度達(dá)到了 5 倍。推理性能的提高意味著模型可處理更復(fù)雜的推理任務(wù)，增強(qiáng)決策能力，并降低企業(yè)運(yùn)營(yíng)成本。
包括埃森哲、Amdocs、Atlassian、Box、Cadence、CrowdStrike、德勤、IQVIA、微軟、SAP 和 ServiceNow 的領(lǐng)先智能體 AI 平臺(tái)， 正在這一全新推理模型和軟件上與 NVIDIA 進(jìn)行合作。
“推理和代理式 AI 的采用速度非常驚人，” NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“NVIDIA 的開(kāi)放推理模型、軟件和工具為世界各地的開(kāi)發(fā)者和企業(yè)構(gòu)建高效的代理式 AI 團(tuán)隊(duì)提供了堅(jiān)實(shí)基礎(chǔ)?！?/p>
NVIDIA 后訓(xùn)練為企業(yè)推理提高準(zhǔn)確性和可靠性
Llama Nemotron 模型系列專為提供生產(chǎn)就緒型 AI 推理而打造，以 NVIDIA NIM? 微服務(wù)形式提供，包括 Nano、Super 和 Ultra 三種規(guī)模，每種規(guī)模都針對(duì)不同部署需求進(jìn)行了優(yōu)化。
Nano 模型可在 PC 和邊緣設(shè)備上提供最高準(zhǔn)確性；Super 模型能夠在單個(gè) GPU 上提供最佳的準(zhǔn)確性和最高的吞吐量；而 Ultra 模型將在多 GPU 服務(wù)器上實(shí)現(xiàn)最高代理準(zhǔn)確性。
NVIDIA 在 NVIDIA DGX? Cloud 上采用高質(zhì)量精選合成數(shù)據(jù)進(jìn)行大量后訓(xùn)練，該合成數(shù)據(jù)由 NVIDIA Nemotron? 模型和其他開(kāi)源模型，以及 NVIDIA 共同創(chuàng)建的其它精選數(shù)據(jù)集生成。
用于開(kāi)發(fā)模型的工具、數(shù)據(jù)集和后訓(xùn)練優(yōu)化技術(shù)將全面開(kāi)放，為企業(yè)提供靈活性，以構(gòu)建自己的自定義推理模型。
代理式平臺(tái)與 NVIDIA 合作為各行業(yè)增強(qiáng)推理能力
代理式 AI 平臺(tái)行業(yè)領(lǐng)導(dǎo)者正在使用 NVIDIA Llama Nemotron 推理模型，為企業(yè)提供先進(jìn)推理能力。
微軟將 Llama Nemotron 推理模型和 NIM 微服務(wù)集成到 Microsoft Azure AI Foundry 中。 此舉擴(kuò)展了 Azure AI Foundry 模型目錄，為客戶提供增強(qiáng)服務(wù)的選項(xiàng)，如針對(duì) Microsoft 365 的 Azure AI Agent Service。
SAP 正利用 Llama Nemotron 模型，推動(dòng) SAP Business AI 解決方案和 SAP 智能副駕 Joule 的發(fā)展。 此外，它還采用 NVIDIA NIM 和 NVIDIA NeMo? 微服務(wù)，提高了 SAP ABAP 編程語(yǔ)言模型的代碼補(bǔ)全精度。
“我們正在與 NVIDIA 合作，將 Llama Nemotron 推理模型整合到 Joule 中，以增強(qiáng)我們的 AI 智能體，使其更加直觀、準(zhǔn)確且具有成本效益?！?SAP 全球 AI 負(fù)責(zé)人 Walter Sun 表示，“這些先進(jìn)的推理模型將優(yōu)化和重寫(xiě)用戶查詢請(qǐng)求，使我們的 AI 能夠更好地理解問(wèn)題，并提供更智能、更高效的 AI 體驗(yàn)，從而推動(dòng)業(yè)務(wù)創(chuàng)新?！?/p>
ServiceNow 正利用 Llama Nemotron 模型構(gòu)建 AI 智能體，提供更高的性能和準(zhǔn)確性，從而提升各行各業(yè)的企業(yè)生產(chǎn)力。
埃森哲已經(jīng)在其 AI Refinery 平臺(tái)上提供 NVIDIA Llama Nemotron 推理模型，包括今日發(fā)布的全新行業(yè)智能體解決方案 —— 可助力客戶快速開(kāi)發(fā)和部署定制 AI 智能體，以應(yīng)對(duì)行業(yè)特定挑戰(zhàn)，加速業(yè)務(wù)轉(zhuǎn)型。
德勤計(jì)劃將 Llama Nemotron 推理模型納入其近期發(fā)布的 Zora AI 代理式 AI 平臺(tái)，該平臺(tái)旨在通過(guò)包含深度功能性、特定行業(yè)業(yè)務(wù)知識(shí)以及具備透明度的智能體，為人類(lèi)決策和行動(dòng)提供支持。
NVIDIA AI Enterprise 為代理式 AI 提供必要工具
開(kāi)發(fā)者可借助新的 NVIDIA 代理式 AI 工具和軟件，部署 NVIDIA Llama Nemotron 推理模型，簡(jiǎn)化高級(jí)推理在協(xié)作 AI 系統(tǒng)中的應(yīng)用。
作為 NVIDIA AI Enterprise 軟件平臺(tái)的組成部分，最新的代理式 AI 構(gòu)建模塊包括：
- NVIDIA AI-Q Blueprint 助力企業(yè)將知識(shí)導(dǎo)入可自主感知、推理和行動(dòng)的 AI 智能體。這一藍(lán)圖由 NVIDIA NIM 微服務(wù)構(gòu)建，集成 NVIDIA NeMo Retriever? 用于多模態(tài)信息檢索，使用開(kāi)源 NVIDIA AgentIQ 工具包將智能體和數(shù)據(jù)連接并優(yōu)化，同時(shí)實(shí)現(xiàn)公開(kāi)透明。
- NVIDIA AI 數(shù)據(jù)平臺(tái)為新型企業(yè)基礎(chǔ)設(shè)施提供的可定制參考設(shè)計(jì)，集成了使用 AI-Q Blueprint 構(gòu)建的 AI 查詢智能體。
- 為復(fù)雜代理式 AI 應(yīng)用優(yōu)化推理的全新 NVIDIA NIM 微服務(wù)，可實(shí)現(xiàn)持續(xù)學(xué)習(xí)，并實(shí)時(shí)適應(yīng)任意環(huán)境。微服務(wù)可確保對(duì)來(lái)自領(lǐng)先模型構(gòu)建商，包括 Meta、微軟和 Mistral AI 的最新模型進(jìn)行可靠部署。
- NVIDIA NeMo 微服務(wù)提供高效企業(yè)級(jí)解決方案，以快速建立并維護(hù)具有魯棒性的數(shù)據(jù)飛輪，讓 AI 智能體持續(xù)學(xué)習(xí)人類(lèi)和 AI 生成的反饋。用于構(gòu)建數(shù)據(jù)飛輪的 NVIDIA AI Blueprint 為開(kāi)發(fā)者提供一個(gè)參考架構(gòu)，使開(kāi)發(fā)者可以利用 NVIDIA 微服務(wù)輕松構(gòu)建和優(yōu)化數(shù)據(jù)飛輪。
可用性
NVIDIA Llama Nemotron Nano、Super 模型和 NIM 微服務(wù)的托管應(yīng)用編程接口，可通過(guò) NVIDIA 官網(wǎng) 和 Hugging Face 獲取。NVIDIA 開(kāi)發(fā)者計(jì)劃成員可免費(fèi)訪問(wèn)，用于其開(kāi)發(fā)、測(cè)試和研究工作。
企業(yè)可在加速數(shù)據(jù)中心和云基礎(chǔ)設(shè)施上借助 NVIDIA AI Enterprise 在生產(chǎn)環(huán)境中運(yùn)行 Llama Nemotron NIM 微服務(wù)。開(kāi)發(fā)者可以提前注冊(cè)，以便在 NVIDIA NeMo 微服務(wù)發(fā)布時(shí)及時(shí)收到通知。
NVIDIA AI-Q Blueprint 將于 4 月發(fā)布。NVIDIA AgentIQ 工具包現(xiàn)可前往 GitHub 下載。
