NVIDIA開放式推論模型助力開發者建構代理型AI平台

Posted By MakerPRO編輯部 on 4 月 2, 2025 in AI關鍵技術, 技術新訊, 新聞稿, 產品新訊 | 0 comments

NVIDIA宣布推出具有推論能力的開放式Llama Nemotron模型系列，為開發人員和企業提供商業就緒的基礎，以建立可獨立作業或是組隊解決複雜任務的先進AI代理。

NVIDIA Llama Nemotron推論模型系列以Llama模型為基礎，提供隨選的AI推論功能。NVIDIA為此全新推論模型系列強化後期訓練，以改善多步驟數學、程式撰寫、推論和複雜決策。與基礎模型相比，這個改進過程將模型的準確度提高了20%，而與其他開放式推論模型相比，推論速度高出五倍，代表模型可以處理更複雜的推論任務，有著強大的決策能力，降低企業的經營成本。

代理AI平台先驅，包括埃森哲（Accenture）、Amdocs、Atlassian、Box、Cadence、CrowdStrike、德勤（Deloitte）、IQVIA、微軟(Microsoft)、SAP 和 ServiceNow，皆與NVIDIA合作開發全新的推論模型和軟體。專為提供生產就緒的AI推論而開發的Llama Nemotron模型系列，以Nano、Super和Ultra三種規格的NVIDIA NIM 微服務提供。每種規格均已針對不同的部署需求進行改善。Nano模型在PC與邊緣裝置上提供最高的準確度，Super模型則在單一GPU上提供最佳的準確度與最高的輸送量，而Ultra模型在多GPU伺服器上提供最高的代理準確度。

NVIDIA使用NVIDIA Nemotron模型所產生的精選高品質合成資料，以及 NVIDIA共同建立的其他精選資料集，在NVIDIA DGX Cloud上進行大規模的後期訓練。將會公開開發模型所使用的工具、資料集和後期訓練最佳化技術，讓企業可以充分靈活地建立專屬的推論模型。目前已有代理型AI平台產業領導業者使用Llama Nemotron推論模型，為企業提供進階推論功能。

如微軟將Llama Nemotron推論模型與NIM微服務整合至Microsoft Azure AI Foundr中。這將擴大Azure AI Foundry模型目錄，提供客戶不同選擇，以增強適用於Microsoft 365之Azure AI Agent Service等服務。SAP使用Llama Nemotron模型來推動開發SAP Business AI解決方案及SAP 的AI copilot Joule；SAP還使用NVIDIA NIM與NeMo微服務來提升SAP ABAP程式語言模型的程式碼完成準確度。

ServiceNow使用Llama Nemotron模型建立AI代理，提供更高的效能與準確度，以提升各類產業的企業生產力。埃森哲在該公司的AI Refinery平台上提供NVIDIA Llama Nemotron推論模型，其中包括發表的全新產業代理解決方案，讓客戶能夠針對特定產業的挑戰，快速開發與部署客製化AI代理，加速推動業務轉型。德勤規劃將Llama Nemotron推論模型納入該公司日前發表的Zora AI代理型AI平台，該平台能夠利用可擷取特定產業商業知識的代理來支援人類決策。

開發人員可利用全新的NVIDIA代理型AI工具和軟體部署NVIDIA Llama Nemotron推論模型，以簡化協作式AI系統中採用進階推論的過程。

這一切皆屬於NVIDIA AI Enterprise軟體平台，最新的代理型AI建置模組有：

NVIDIA AI-Q AI Blueprint讓企業能夠將知識連結至可自主感知、推論與行動的AI代理。使用NVIDIA NIM微服務建構出的這些藍圖，整合NVIDIA NeMo Retriever以進行多模態資訊檢索，並且透過開源的NVIDIA AgentIQ 工具套件，達到代理與資料的連結、最佳化與透明度。
NVIDIA AI Data Platform是一個可以自訂的參考設計，適用於使用AI-Q Blueprint建置、具有AI查詢代理的新型企業基礎設施。
全新 NVIDIA NIM 微服務能夠最佳化複雜代理型AI應用的推論，並在任何環境下都能進行持續學習與即時適應。這些微服務確保可以可靠的部署包含Meta、微軟和Mistral AI等各大模型建構商所推出的最新模型。
NVIDIA NeMo 微服務提供高效率的企業級解決方案，可以快速建立與維護強大的資料飛輪，讓AI代理能夠一直從人類與AI所產生的回饋資料中學習。用於建立資料飛輪的NVIDIA AI Blueprint將為開發人員提供參考架構，讓他們能夠使用微服務輕鬆建立與最佳化資料飛輪。

NVIDIA Llama Nemotron Nano 和Super模型及 NIM 微服務以託管應用程式介面形式，現已可在build.nvidia.com與Hugging Face取得。NVIDIA開發人員計畫會員可免費取得以進行開發、測試和研究。企業可以在加速資料中心與雲端基礎設施上，透過NVIDIA AI Enterprise於生產環境裡執行Llama Nemotron NIM微服務。開發人員可以註冊，以便在開放提供NVIDIA NeMo微服務時收到通知。NVIDIA AI-Q Blueprint預計將於4 月推出。現已可在GitHub上取得NVIDIA AgentIQ工具套件。