【Arm的AI世界】用Vela編譯器在Ethos-U NPU部署神經網路模型

Posted By Arm作者群 on 2 月 20, 2024 in Arm, Arm, Edge AI, Edge AI解決方案(Board/Kit/Module), Edge AI開發地圖, Edge AI開發環境（工具/平台/框架/模型）, TinyML, Vela Compiler, 教學文 | 0 comments

今日全世界的邊緣與終端人工智慧(AI)出現爆炸性成長，為了因應這波邊緣與終端AI裝置浪潮，Arm特地設計了microNPU 這個全新等級的機器學習(ML)處理器，為面積受限的嵌入式與物聯網裝置加速ML推論。

有了Arm Ethos系列的不同等級microNPU，你可以輕鬆地以Arm Cortex與Arm Neoverse架構為基礎，在各種嵌入式裝置與系統中打造低成本、高效率的AI解決方案。Ethos-U提供可擴充的不同性能等級與記憶體介面，可整合低功耗Cortex-M系統單晶片，以及高性能的Arm Cortex-A、Cortex-R與Arm Neoverse架構系統單晶片。

圖1：Arm Ethos-U系列microNPU晶片架構。

Vela編譯器概述

要在Ethos-U上部署神經網路(NN)模型，第一步須使用Vela來編譯你已備妥的模型。Vela是一種開源Python工具，可以將神經網路模型最佳化為能在內含Ethos-U NPU的嵌入式系統上執行之特定版本。

完成編譯之後，此最佳化模型將包含TensorFlow Lite客製運算子(operator)，以透過Ethos-U microNPU支援模型內可以加速的部分；模型中無法加速的部份則維持不變，將利用適當的核心在CPU上執行。