|

Arm與NVIDIA攜手為代理式AI時代建構可信賴的運算基礎

   

Arm宣佈與NVIDIA攜手合作,為代理式 AI 時代信任邊界的兩端提供運算支援,建構可信賴的運算基礎;並表示AI基礎設施正在加速向Arm架構遷移,如今Arm 技術已部署在所有主要超大規模雲端服務提供者的平台中。根據 IDC 資料,基於 Arm 架構的機櫃級伺服器現已超越 x86,成為加速運算領域的主流平台。

隨著 AI 邁入代理式 AI 時代,此一轉變顯得愈發重要。AI 代理不僅能生成答案,還能持續運作、使用工具、存取資料,並採取行動以完成任務。隨著 AI 代理規模不斷擴大,也帶來兩項基本的運算需求:分別是運作AI代理與保護AI代理所需的運算能力。

Arm為這兩類運算需求提供支援。一方面,高效能CPU可用於執行代理式AI工作負載;另一方面,基於Arm架構的基礎設施處理器,如資料處理單元(DPU),則可提供獨立的可觀測性、隔離能力、策略執行和安全防護。

NVIDIA 最新推出的開放式 AI 代理安全平台(NVIDIA Open Agent Safety Platform),正是這一架構理念的落地實踐。

Arm運算平台驅動AI代理執行

CPU 是代理式 AI 基礎設施的核心。AI 代理執行環境、代理框架、編排系統、工具執行以及各類應用都仰賴 CPU。隨著 AI 代理的能力不斷提升、持續運作能力日益增強,並開始大規模並行運作,對 CPU 的需求也將持續成長。

目前,Arm已為AI代理和雲端運算工作負載中的大部分運算提供支援。無論是Arm AGI CPU、Amazon Graviton、Google Axion、Microsoft Cobalt,還是 NVIDIA 客製化開發的 Vera CPU,這些產品雖採用不同的架構設計,但皆與 Arm 軟體生態系相容。NVIDIA OpenShell 將 AI 代理安全執行能力擴展到了這一廣泛的 Arm CPU 生態系之中。

OpenShell為AI代理建立安全的執行環境邊界,管控 AI 代理可存取的資源以及可執行的動作。這代表在日益豐富且多元的 Arm 雲端運算和 AI 基礎設施生態系中,可以採用統一的方法來實現 AI 代理的安全執行。

Arm運算平台管控並限制AI代理行為

除了運作AI 代理,AI 代理基礎設施還需要獨立的運算資源,能夠在 AI 代理自身的執行環境之外,進行觀測、隔離並執行策略管控。

基於 Arm 架構的 DPU 和基礎設施處理器提供了這一獨立層。透過將網路、監測、隔離和安全等基礎設施服務從主機 CPU 中分離出來,它們建構了獨立的控制節點,使其能夠始終獨立於所保護的AI 代理和應用運行。

這種架構模式已經擴展至廣泛的 Arm DPU 生態系。由於這些基礎設施處理器同樣基於 Arm CPU 技術建構,開發者和基礎設施提供商能夠基於統一的運算架構來建構安全能力。

NVIDIA BlueField 在 NVIDIA 開放 AI 代理安全平台中充分展現此一模式。BlueField-4 由搭載 64 個 Arm Neoverse V2 核心的 NVIDIA Grace 所驅動,可在主機之外提供獨立的基礎設施環境。OpenShell 可與部署在 BlueField 上的 NVIDIA Sentry 協同工作,將策略執行能力從 AI 代理執行環境擴展至這一獨立的信任域。由此,基礎設施和網路安全控制能夠獨立於 AI 代理本身持續運行。

做為即時監控機制,NVIDIA Sentry 再添一層防護,能夠對 AI 代理行為進行持續監測,並在發現 AI 代理出現不安全行為時對其進行隔離處理。上述能力共同展示了一種更全面的系統級安全架構:Arm CPU 負責託管和運行 AI 代理工作負載,而基於 Arm 架構的 DPU 則能夠獨立地對其進行觀測、管控、隔離並協助提供保護。

Arm CPU 託管並運行代理 AI 工作負載,而基於 Arm 架構的 DPU 則能夠獨立地對其進行觀測、管控、隔離和協助提供保護。

Arm CPU 託管並運行代理 AI 工作負載,而基於 Arm 架構的 DPU 則能夠獨立地對其進行觀測、管控、隔離和協助提供保護。

安全地擴展代理式AI

隨著 AI 代理能力不斷提升、且擁有更強的持續運行能力和自主性,代理式 AI 對運算資源的需求將持續增加。同時,安全能力也必須與運算能力同步擴展,而無需在安全與效能之間有所取捨。

NVIDIA 開放式 AI 代理安全平台展現此發展方向:Arm 生態的各類運算平台運作代理 AI 工作負載,而獨立的基於 Arm 架構的 DPU 則協助進行觀測、隔離和保護。

隨著 AI 代理從雲端基礎設施擴展至邊緣裝置和實體系統,無論 AI 代理在那些場景執行與採取行動,這些安全邊界都必須隨之延伸。隨著 Arm 日益成為 AI 基礎設施的核心,Arm 正在推動整個生態系實現效能與安全的同步規模化發展。

Arm強調,代理式AI時代正建構於Arm之上,而Arm始終致力於從一開始就為這個時代奠定堅實的安全基礎。

 

MakerPro

訂閱MakerPRO知識充電報

與40000位開發者一同掌握科技創新的技術資訊!

Author: MakerPro

MakerPRO為華人圈最專注於Edge AI開發者社群最新技術趨勢、解決方案評測及產業動態報導的專業媒體,在華文科技媒體領域具有重要的影響力。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *