Arm：AI代理正在重新定義CPU效能的評估標準

Posted By MakerPro on 10 月 16, 2026 in AI Agent, AI PC, AI關鍵技術, Arm, 技術導讀, 技術新訊, 新聞稿 | 0 comments

AI代理仍處於早期的發展階段，但使用規模正快速成長。根據美國知名風險投資機構 a16z援引的OpenRouter資料，自2026年 2 月以來，AI 代理的Token（詞元）使用量成長約 14 倍。從基礎設施的角度來看， AI 代理就像擁有持久運算環境的虛擬使用者，能夠持續保持狀態、檢索上下文、呼叫工具和服務、執行任務，並持續評估執行結果，直至任務完成。

當數百萬甚至數十億個AI 代理全天候持續工作時，運算、記憶體、儲存和輸入/輸出（I/O）都必須在高併行環境下支援持續運行。這不僅是對CPU產生新的需求，也代表業界需要建立新的評估標準，以評測系統處理AI 代理實際完成工作負載的能力。

為虛擬使用者打造資料中心

代理式 AI 正在推動 AI 資料中心多個環節的運算需求成長。CPU在AI代理維護上下文、呼叫工具和存取資料的同時執行相關工作負載；在 AI主節點（head node）中，CPU負責作業調度、資料準備和傳輸以及系統調度，以確保昂貴的加速器持續保持高效運轉。

同時，AI代理還會催生更多雲端原生工作負載。每一次搜尋、服務呼叫、程式碼執行或資料請求，都會驅動底層基礎設施執行相應任務。代理式 AI不會替代雲端原生工作負載，而是在現有雲端原生需求之上進一步疊加和放大新的需求。

隨著AI 代理的自主性不斷增強，並獲得更多工具和資料存取權限，保障運行時安全的重要性也更為凸顯。主機 CPU 可專注於執行AI 代理工作負載，而資料處理器（DPU）及其他基礎設施處理器則可為網路、儲存、政策執行、遙測和隔離提供獨立的控制平面。從運行雲端運算和 AI 代理工作負載的 CPU，到提供安全保障和基礎設施管控能力的 DPU，Arm技術覆蓋這一系統中的兩大關鍵層面。

於本週舉行的開放運算計畫全球峰會（OCP Global Summit）上，我們看到此一設計趨勢正逐步在實際系統中落地。Arm 正在推動向 OCP 貢獻 Arm AGI CPU 參考伺服器，而 Meta 的 Yosemite YV5 則將 Arm AGI CPU 導入 OCP 機櫃級設計之中。

衡量真正有意義的工作負載

CPU 效能的評估標準正在被重新定義。對於 AI 代理運算，關鍵在於確保回應能力的同時，系統能支援併行完成多少工作；對於 AI主節點，關鍵在於 CPU 能否高效地保持加速器處於高利用率狀態；對於雲端原生基礎設施，關鍵則在於能否快速且可預測地處理每項操作。

AI代理工作負載凸顯了持續效能的重要性。如果吞吐量隨著系統資源利用率上升而下降，那麼擁有更多的理論算力並不意味著能夠完成更多任務。真正重要的是，在功耗和物理條件的限制下，基礎設施能夠持續支撐多少實際有效的工作負載。

憑藉長期服務全球超大規模資料中心的經驗，Arm 對運算需求的演變具有深刻的洞察。基於這些洞察，Arm 開發了一套針對代理式 AI 的全新 CPU 效能測評方法，並獲得富士通（Fujitsu）、Meta 和 OpenAI 的支持。該框架基於三個原則：

具有代表性的 AI 代理應用場景；
可重複執行的 CPU 效能測量；
端到端的結果驗證。

元件級測試有助於排除模型推論和網路等變數的干擾，進而得以單獨評估 CPU 效能；而端到端評估則可用於判斷這些改進能否轉化為更好的任務完成效果。隨著 AI 代理架構和軟體持續演進，這套方法論也需要持續最佳化(點此閱讀完整Arm方法論白皮書)。

Arm AGI CPU實測表現

基於上述方法論，Signal65對Arm AGI CP AMD EPYC Turin 在工具呼叫、編排、推論與規劃等工作負載中的表現進行了獨立驗證。兩個平台均採用相同的基準測試腳本，並基於實測的伺服器級效能資料，建構清晰的機櫃級效能模型。

初步測試結果顯示：

單機櫃可承擔近兩倍工作負載：在七項工作負載測試中，受惠於更高的運算密度和更優的能效表現，Arm AGI CPU 的機櫃級效能模型顯示，平均效能為 AMD EPYC 9755 的99 倍。
在 AI 代理工作負載中展現卓越效能：Arm AGI CPU 在多項關鍵 AI 代理工作負載中，Arm AGI CPU 的機櫃級效能模型結果均優於對比平台。其中，工具呼叫場景平均達到對比平台的7 倍，AI 代理工作流程和任務編排場景達到 2 倍，推論與規劃場景達到2.2 倍，展現出其滿足代理式 AI 多樣化運算需求的能力。
更快速、更敏捷的AI 代理執行：相較 AMD EPYC 9965，Arm AGI CPU 最多可將沙盒建立延遲降低 45%，幫助AI 代理更快啟動隔離執行環境，降低AI 代理執行過程中的系統開銷。

機櫃級視角相當重要，因為資料中心始終受到功耗、散熱和物理空間的固定限制。尤其是在更多AI 代理和任務併行運行的情況下，基礎設施營運商最終需要瞭解系統在這些限制內能夠持續完成多少有效工作（點此閱讀 Signal65 的獨立分析報告)。

Arm AGI CPU 正是為了這些工作負載特徵而設計，憑藉高核心密度、每核心專屬記憶體配置以及高頻寬 I/O ，支援AI 代理工作負載的持續運行。

隨著AI 代理從「回應提示詞」轉向「持續完成工作」，評估基礎設施能力的標準也應聚焦於其能否高效、穩定地完成實際工作，從單個AI 代理到整個機櫃皆是如此。更完善的測評方法可為業界提供更清晰的依據，以識別系統瓶頸、比較系統效能，並推動AI 代理基礎設施在規模化發展的過程中持續優化。

代理式AI 效能評估的產業觀點

富士通株式會社資深副總裁、富士通研究所先進運算開發部門負責人 Toshio Yoshida：「隨著代理式 AI 持續發展，CPU 效能評估需要突破傳統指標，並能夠反映真實工作負載的基準測試。在開發下一代高效能、高能效 Arm 架構 CPU 產品 FUJITSU-MONAKA 的過程中，我們深知透明、可重複且具有代表性的評測體系的重要性。富士通歡迎 Arm 推動產業協作的此項舉動，並期待協助最佳化下一代 AI 基礎設施。」

Meta 軟體工程師 Abhishek Dhanotia：「隨著代理式 AI 進入生產部署階段，業界需要更清晰地瞭解不同工作負載如何利用底層基礎設施資源。我們支持 Arm 推動建立更加一致的對比標準，並相信這將有助於為系統未來的演進提供參考。」

OpenAI 全球前線部署工程負責人 Colin Jarvis：「AI 系統正逐步超越生成回應的階段，進一步透過推論、使用工具，以及與軟體環境互動來完成複雜任務。隨著AI 代理的能力提升並被更廣泛地部署，理解支撐這些工作流程的基礎設施效能，包括任務編排與工具執行等環節的重要性日益凸顯。業界針對具有代表性的基準測試展開合作，對於掌握這些新興工作負載的特性，以及最佳化整體 AI 系統的效能，將十分重要。」