|

【Arm的AI世界】用Vela編譯器在Ethos-U NPU部署神經網路模型

   
作者:Liliya Wu,Arm AI生態系推廣工程師

今日全世界的邊緣與終端人工智慧(AI)出現爆炸性成長,為了因應這波邊緣與終端AI裝置浪潮,Arm特地設計了microNPU 這個全新等級的機器學習(ML)處理器,為面積受限的嵌入式與物聯網裝置加速ML推論。

有了Arm Ethos系列的不同等級microNPU,你可以輕鬆地以Arm Cortex與Arm Neoverse架構為基礎,在各種嵌入式裝置與系統中打造低成本、高效率的AI解決方案。Ethos-U提供可擴充的不同性能等級與記憶體介面,可整合低功耗Cortex-M系統單晶片,以及高性能的Arm Cortex-A、Cortex-R與Arm Neoverse架構系統單晶片。

圖1:Arm Ethos-U系列microNPU晶片架構。 圖1:Arm Ethos-U系列microNPU晶片架構。

Vela編譯器概述

要在Ethos-U上部署神經網路(NN)模型,第一步須使用Vela來編譯你已備妥的模型。Vela是一種開源Python工具,可以將神經網路模型最佳化為能在內含Ethos-U NPU的嵌入式系統上執行之特定版本。

完成編譯之後,此最佳化模型將包含TensorFlow Lite客製運算子(operator),以透過Ethos-U microNPU支援模型內可以加速的部分;模型中無法加速的部份則維持不變,將利用適當的核心在CPU上執行。

本文為會員限定文章

立即加入會員! 全站文章無限看~

                               

已經是會員? 按此登入

只需不到短短一分鐘...

輸入您的信箱與ID註冊即可享有一切福利!

會員福利
1

免費電子報

2

會員搶先看

3

主題訂閱

4

好文收藏

Arm作者群

Author: Arm作者群

來自各方的Arm開發者社群專家。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *