智慧邊緣晶片和軟體IP授權商Ceva發表次世代NeuPro NPU產品系列,與第一代產品相比,功能更全面,而且每平方毫米的AI輸送量最高提升至2倍,能效也提高50%。
此全新產品組合採用共通架構和統一的軟體堆疊,旨在支援日益繁重的多模態、生成式及代理式AI工作負載,涵蓋從不斷線(always-on) 感測到先進邊緣系統的各類實體AI應用。此舉也象徵 Ceva 進軍 AI 基礎設施領域,以雲端和資料中心為目標,涵蓋智慧記憶體、連接與資料處理晶片,以及客製化AI推論處理器。
實體AI系統日益依賴多個AI模型與智慧代理共同工作;其中,感知和即時回應在靠近感測器端進行,而更複雜的推論與任務編排則分佈在各類裝置、邊緣系統及雲端之中。業界正加速向這種混合式AI轉型;然而,無論推論在何處進行,始終面臨著同一挑戰:即運算本身,以及資料在運算單元與其他元件之間傳輸時,所帶來的功耗與效能開銷。
在感測器端,這種開銷體現為微瓦級的功耗和平方毫米級的佔用空間;而在資料中心,則體現為兆瓦級的功耗和記憶體頻寬的消耗。儘管這一限制在不同場景下以不同形式體現,但其核心需求是一致的——即針對特定工作負載進行最佳化的神經處理能力,並以共通的架構與軟體環境作為支撐。
次世代 NeuPro 產品系列既提供適用於系統不同位置的多種不同尺寸運算引擎,又採用一套共通於所有這些引擎的開發方案,兼顧了上述兩大需求。整個產品系列使用統一的軟體開發套件 (SDK) ,使半導體設計人員能夠為系統的各個部分匹配合適的運算引擎,或將多個引擎整合在同一片系統單晶片 (SoC) 中,同時確保既有的軟體投入得到充分利用。
Ceva AI部門執行副總裁 Yaron Galitzky 表示:「我們與超過 15 家第一代 NeuPro的授權客戶緊密合作,明白到成功AI產品的關鍵是針對具體應用場景,恰當地平衡運算、記憶體、頻寬、功耗和成本。我們的團隊在設計這些次世代產品時充分汲取了這些經驗,旨在讓客戶能夠更從容地部署當前的高負載模型,並為未來的工作負載做好準備。」
為次世代推論需求打造
單純的峰值算力已不足以定義 AI 系統的效能。半導體開發商還必須在嚴苛的功耗、佔位面積和記憶體限制下實現最佳的推論輸送量,同時確保其架構能夠在整個產品生命週期內支援不斷推陳出新的模型。次世代 NeuPro 架構正是為應對這兩大挑戰而設計。
該架構導入了多種能力,支援從感知與分類,到採用Transformer的多模態、生成式和代理式AI工作負載,其中包括實體AI應用:
- 與第一代產品相比,每平方毫米的 AI 輸送量最高提升至 2 倍,並且能效提升 50%。
- 提供先進的 AI 數值和混合精度 (包括 FP4 和 FP8) ,在提高推論效率的同時,降低了對記憶體和資料傳輸的需求。
- 具備更高的記憶體頻寬和先進的記憶體管理機制 (包括動態形狀和分頁 KV 緩存) ,能夠應對更繁重的情景脈絡以及記憶體密集型 Transformer 工作負載。
- 運用最佳化的Tensor重塑技術提高乘法累加運算 (MAC) 的利用率,有效發揮運算資源效能以提升推論效能。
- 支援包括專家混合 (Mixture-of-Experts) 和線性注意力機制 (Linear Attention) 在內的各類最新網路架構,並具備高度的架構靈活性,能夠迎合未來出現的各類新型模型。
- 支援預量化模型,客戶無需進行額外的量化和調校步驟,即可直接部署已發佈的模型檢查點 (Checkpoints) 。
- 採用先進的壓縮、量化和剪枝技術,減少運算量和資料傳輸以提升每瓦功耗及每單位面積的有效效能。
針對不同推論工作負載的產品組合
次世代 NeuPro 產品組合包含四款 NPU:
- NeuPro Nano 旨在滿足資源高度受限裝置中始終在線感測及入門級感知任務的需求。
- NeuPro Prime 針對主流的卷積神經網路 (CNN) 和 Transformer 工作負載而設計。
- NeuPro Max 可擴展至高級邊緣AI應用,涵蓋高解析度感知、多模態模型、端側智慧助手、機器人技術、實體AI以及代理式AI。
- NeuPro Ultra 針對AI基礎設施應用,既支援雲端及資料中心內複雜大語言模型的推論,也涵蓋了能夠提升整體AI系統效率的智慧記憶體、連接及資料處理晶片。
這四款NPU均採用共通核心架構,並採用一套統一的軟體開發套件 (SDK);因此,工具、開發流程以及在軟體方面的投入,均可在整個產品系列中共通。隨著需求變化,設計人員既可以自由切換使用不同核心,也可以將多個核心整合至同一SoC中,並將各項工作負載分配給最適合處理該任務的引擎。半導體公司只要使用單一開發基礎,即可滿足多個AI市場及不同的效能需求,從而降低整合複雜度,並縮短後續產品的開發週期。
將神經處理能力擴展至AI基礎設施
隨著大語言模型推論面臨記憶體瓶頸,客戶正在重新設計資料中心系統,把運算負載分佈到不同模型,並將之整合到以往未曾涉及的環節中——例如記憶體和網路子系統內部。大規模推論需同時支援多種模型及大量使用者,在此過程中,記憶體頻寬以及記憶體、運算與網路之間的資料傳輸,已成為決定系統效能與能效的關鍵因素。根據ABI Research預測,到2035年,雲端AI推論能力的複合年增長率 (CAGR) 將會高達 42% 。
NeuPro Ultra 專為此類資料中心系統的重新設計而建構。它支援雲端及資料中心環境的複雜大語言模型推論,具備多核處理、多使用者操作、高記憶體頻寬和先進的記憶體管理能力,並相容各類部署所採用的軟體框架。此外,它還能均等地整合至同一系統的記憶體與連接子系統中,將神經處理能力應用於資料傳輸過程 (而非僅限於模型本身),從而減少不必要的資料搬移,並在更靠近資料儲存端的位置緩解效能瓶頸。晶片開發人員可利用 Ceva 的可授權NPU 基礎架構及其全線產品共通的軟體堆疊,將上述功能整合到自己的產品中。
Ceva 執行長 Amir Panush 表示:「我們的客戶以共通的 NPU 架構和軟體堆疊來處理每個不同等級的AI工作負載,能夠在其整個產品路線圖實現『一次構建,隨處部署』。NeuPro Ultra 將這一平臺引入了AI基礎設施領域;這是 Ceva 策略中的重要一步,旨在將神經處理能力推廣至更廣泛的半導體產品中。為這些市場開發晶片的客戶,可以直接借助 Ceva 的架構、軟體和經驗,而無需從零開始自行構建 NPU 平臺。」
多家領先的半導體和系統公司已著手評估並整合次世代NeuPro 技術,以用於其未來的AI產品。這些早期專案涵蓋多個細分市場,有助於推動針對高級邊緣運算、實體AI以及AI基礎設施應用的相關部署。次世代NeuPro架構現已提供予部分優先客戶,並計畫於2027年第二季全面上市。
- SLM模型工業在地化發展之剖析與展望 - 2026/10/30
- Ceva發佈次世代NeuPro NPU產品組合 - 2026/10/30
- 台灣微軟攜手ISAC推動校園AI應用普及 - 2026/10/29
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊!



