|

支援代理式AI開發 NVIDIA發表Nemotron 3系列開放模型

   

NVIDIA宣布推出NVIDIA Nemotron 3系列開放模型、資料與函式庫,驅動各產業透明、高效且專業的代理式人工智慧(AI)開發。Nemotron 3模型提供 Nano、Super 與Ultra三種規模大小,採用突破性的混合式潛在(hybrid latent)混合專家(MoE)架構,協助開發者大規模建置與部署可靠的多代理系統。

隨著組織從單一模型聊天機器人,轉向協作式多代理AI系統,開發者面臨日益增加的挑戰,包括通訊開銷、情境漂移(context drift),以及高昂的推論成本。除此之外,開發者需要足夠的透明度才能信任將其複雜工作流程自動化的模型。Nemotron 3能夠直接應對這些難題,提供客戶建置專用代理型AI所需的效能與開放性。NVIDIA創辦人暨執行長黃仁勳表示:「開放式創新是AI進步的基礎。透過Nemotron,我們正把先進AI轉化為開放平台,為開發者提供打造大規模代理型系統所需的透明度與效率。」

NVIDIA Nemotron也支援NVIDIA更廣泛的主權AI推動計畫,從歐洲南韓,已有多個組織採用開放、透明且高效的模型,得以依據自身資料、法規與價值觀建置 AI 系統。而包括埃森哲、益華電腦、CrowdStrike、Cursor、德勤、安永、Oracle Cloud Infrastructure、Palantir、Perplexity、ServiceNow、西門子、新思科技及 Zoom 等早期採用者,正整合 Nemotron 系列模型,以驅動製造、資安、軟體開發、媒體、通訊等產業的 AI 工作流程。

隨著多代理AI系統持續擴展,開發者越來越依賴專用模型來實現最先進的推理能力,同時利用更高效、可客製化的開放模型來降低成本。在單一工作流程中將任務於前沿級模型與Nemotron間進行路由分配,既可極大化代理智慧,同時達到最佳化詞元經濟(tokenomics)。如Perplexity執行長Aravind Srinivas所言:「Perplexity的核心理念,是將準確的AI融入如AI助理等卓越工具之中,以進一步放大人類的好奇心。透過我們的代理路由器,我們可以將工作負載導向最佳的微調開放模型,例如 Nemotron 3 Ultra,或在任務需要其獨特能力時利用領先的專有模型,從而確保我們的 AI 助理能以卓越的速度、效率與規模運作。」

開放的Nemotron 3模型也讓新創公司能夠更快打造並迭代AI代理,加速從原型到企業部署的創新進程。General Catalyst、Mayfield與Sierra Ventures等投資組合中的公司,正採用 Nemotron 3 建置支援人機協作的 AI 夥伴。Mayfield管理合夥人Navin Chaddha表示:「NVIDIA的開放模型堆疊與NVIDIA Inception計畫為新創公司提供模型、工具,以及具成本效益的基礎設施,讓他們能實驗、實現差異化並快速擴展。Nemotron 3讓創辦人能夠快速建置代理型AI應用與AI夥伴,並協助他們接觸NVIDIA龐大的既有用戶群。」

Nemotron 3以高效率與精準度重塑多代理 AI

Nemotron 3 系列混合專家模型包含三種規模大小:

  • Nemotron 3 Nano :一款擁有 300 億個參數的小型模型,於目標明確、高效的任務時啟用至多30 億個參數。
  • Nemotron 3 Super :一款高精度的推理模型,具備約 1,000 億個參數和每詞元(token)至多 100 億個活躍參數,適用於多代理應用。
  • Nemotron 3 Ultra :一款大型推理引擎,約有 5,000 億個參數和每詞元至多 500 億個活躍參數,適用於複雜的 AI 應用。

Nemotron 3 Nano即日起開放使用,是目前最具運算成本效率的模型,針對軟體除錯、內容摘要、AI 助理工作流程與資訊檢索等任務,以低推論成本進行最佳化。該模型採用獨特的混合式混合專家架構,帶來更佳效率與可擴展性。相較Nemotron 2 Nano,這項設計可將詞元輸送量提升最高達4倍,並可將推理詞元的生成量降低最高達60%,大幅降低推論成本。憑藉100萬詞元的情境窗口,Nemotron 3 Nano能夠記住更多內容,使其更加精準,並能有效連接長流程、多步驟任務中的資訊。

獨立 AI 基準測試機構 Artificial Analysis 將此模型評為同等規模模型中最開放且最高效的模型之一,並具備領先的準確度表現。而Nemotron 3 Super則擅長處理需要多個代理協作,且以低延遲完成複雜任務的應用。Nemotron 3 Ultra 則是一款高階推理引擎,適用於需要深度研究與策略規劃的 AI 工作流程。

Nemotron 3 Super 與 Ultra 採用 NVIDIA Blackwell 架構上的超高效率 4 位元 NVFP4 訓練格式,顯著降低記憶體需求並加快訓練速度。這樣的效率使得更大型的模型得以在既有基礎設施上完成訓練,同時在準確度上不遜於更高精度的格式。透過 Nemotron 3 系列模型,開發者可依工作負載選擇合適規模的開放模型,從數十個代理擴展到數百個代理,同時受益於更快、更準確的長期推理,從而處理複雜的工作流程。

用於AI代理客製化的全新開放工具與資料

NVIDIA 同步釋出訓練資料集與尖端強化學習函式庫,供開發者打造專業AI代理。其中包含3兆詞元的全新Nemotron 預訓練後訓練強化學習資料集,提供豐富的推論、程式碼與多步驟工作流程範例,可用於建置功能強大、領域專業化的代理。Nemotron Agentic Safety Dataset則提供真實世界遙測資料,協助團隊評估並強化複雜代理系統的安全性。

為加速開發,NVIDIA也發布了NeMo GymNeMo RL開源函式庫,提供Nemotron模型所需的訓練環境與後訓練基礎,並推出用於驗證模型安全與效能的NeMo Evaluator。所有工具與資料集現已於GitHub與Hugging Face上提供。

Nemotron 3 已可支援LM Studio、llama.cpp、SGLangvLLM。此外,Prime Intellect與Unsloth 也正將NeMo Gym 的即用型訓練環境直接整合至其工作流程,讓團隊能更快、更輕鬆取得強大的強化學習訓練能力。Nemotron 3 Nano現已在Hugging Face上線,並透過BasetenDeepinfraFireworksFriendliAIOpenRouter 與 Together AI 等推論服務供應商提供。

Nemotron 可於企業級 AI 與資料基礎設施平台使用,包括Couchbase、DataRobot、H2O.ai、JFrog、Lambda 與 UiPath。針對公有雲客戶,Nemotron 3 Nano將可於AWS的Amazon Bedrock(無伺服器)上取得,並預計很快也將在Google Cloud、Coreweave、Microsoft Foundry、Nebius、Nscale 與 Yotta 上獲得支援。

Nemotron 3 Nano以NVIDIA NIM微服務形式提供,可支援在任何NVIDIA 加速基礎設施上進行安全、可擴展的部署,以獲得最大化的隱私與控制能力。Nemotron 3 Super與Ultra則預計將於2026年上半年開放使用。

 

MakerPRO編輯部
TrendForce:中國自研AI晶片腳步持續加快

訂閱MakerPRO知識充電報

與40000位開發者一同掌握科技創新的技術資訊!

Author: MakerPRO編輯部

MakerPRO.cc為華人圈最專注於Maker創新創業、物聯網及共享經濟報導及共筆發表的專業媒體,不論是趨勢分析與評論,或創新實作文章,在華文創新創業媒體領域都具有重要的影響力。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *