|

Arm AI Portal問世 加速最佳化AI應用程式開發

   

代理式AI正從雲端進一步延伸至邊緣與實體AI。隨著開發者需要跨不同模型、執行環境與硬體目標進行開發,整體複雜度也隨之提高。Arm 的運算平台橫跨這整個連續運算範圍,背後有超過 2,200 萬名開發者組成的生態系,而這些開發者都需要經過最佳化的 AI 軟體。

打造 AI 應用程式不該從數週的搜尋、基準測試與最佳化開始。開發者需要找到合適的模型並了解其效能,而 AI 代理則需要清楚的訊號,才能尋找到相同的模型、工具與資訊。

Arm 於9月9日正式推出 Arm AI Portal,為開發者與 AI 代理提供一致的途徑,在Arm運算平台上探索、最佳化並部署AI軟體。開發者可以找到針對特定任務、已預先最佳化的模型及其效能與準確度資料,比較延遲、記憶體需求與模型大小,並取得程式碼範例與部署工作流程。

不久的將來,AI Portal 也將提供工具讓開發者匯入自己的模型,包括專有模型,以在 Arm 上進行效能分析與最佳化。在正式發表前,專為 AI 代理設計的 AI 資源目前已開放搶先體驗

運用針對Arm最佳化的AI加速開發

AI Portal 再基於Arm 的運算平台上支援語言、語音、視覺與神經圖像。推出時,預先最佳化的模型包括 Alibaba Qwen、Google Gemma與Ultralytics YOLO,並採用 ExecuTorchLiteRTONNX-RT 等執行環境,同時獲得 Alibaba、Raspberry Pi與Ultralytics 等生態系夥伴支援。

AI Portal 能直接融入開發者與 AI 代理既有的開發環境;針對 Arm 最佳化的模型可透過 Hugging Face 取得,Portal 資源也可讓程式開發代理透過 MCP 存取。

針對 Arm 最佳化的模型已帶來顯著的效能提升:

  • Qwen3-TTS 在 vivo X300 智慧型手機上,採用單執行緒執行,以及 Q8_0 talker 與 code predictor 的混合量化,並透過第二代可擴展矩陣延伸指令集(SME2)加速,實現超過 4 倍的速度提升。
  • Ultralytics YOLO26n 在搭載 SME2 的 vivo X300 智慧型手機上,以 FP16 相較於 FP32 進行單執行緒執行時,效能提升超過 40%;在搭載 NEON 的 Raspberry Pi 5 上,採用 FP16 與 INT8 混合量化相較於 FP32,同樣帶來超過 40% 的效能提升。

推動最佳化AI遍及Arm 運算平台

AI Portal 橫跨包括雲端、邊緣與實體 AI 的 Arm 運算平台,協助開發者依據目標找出最佳化模型,從機器人所需的視覺模型、智慧型手機上的生成式 AI,到雲端 CPU 上針對特定任務的大型語言模型。

AI Portal將可擴展向量延伸指令集(SVE)、SME 與神經加速等 Arm技術,與最佳化軟體相連結。以第二代行動裝置運算子系統( CSS for Mobile 2 )為例,透過 SME2 加速的模型以及具備神經網路加速器的 GPU,現在都能透過 AI Portal 取得。

數十年來,Arm 持續深耕軟體生態系。如今,AI Portal 將這項投入延伸至 AI 時代,協助超過 2,200 萬名開發者及其AI代理,找到並運用針對其目標硬體最佳化的軟體。AI Portal自即日起可使用。

 

MakerPro

訂閱MakerPRO知識充電報

與40000位開發者一同掌握科技創新的技術資訊!

Author: MakerPro

MakerPRO為華人圈最專注於Edge AI開發者社群最新技術趨勢、解決方案評測及產業動態報導的專業媒體,在華文科技媒體領域具有重要的影響力。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *