Nvidia TAO工具套件可為Arm Ethos-U NPU優化AI模型

Posted By MakerPRO編輯部 on 10 月 31, 2023 in 技術新訊, 產品新訊 | 0 comments

訴求低延遲、安全性與成本效益的邊緣人工智慧(Edge AI)應用不斷擴張，這個預期在未來將有數十億台裝置規模的市場發展潛力十足，不過對於正在探索如何能讓部署工作變得更容易的開發者來說，還有許多待克服的挑戰。

挑戰之一是為邊緣裝置開發深度學習模型，因為開發人員除了需要考量有限的儲存與運算資源，同時仍得在準確度以及包括延遲性、影格率(frame rate)等性能表現上取得平衡。為更強大平台所設計的現成模型部署於資源有限的邊緣平台時，可能會在執行時速度變得緩慢、甚至完全無法運作。

Nvidia推出的TAO工具套件是能協助開發者克服以上挑戰的方案之一；TAO是一種低程式碼開放源碼工具，建立在TensorFlow與PyTorch之上，能將訓練深度學習模型的複雜性抽象化，擁有針對電腦視覺應用的廣泛預訓練模型，能促進遷移學習(transfer learning)，並以通道剪枝(channel pruning)、量化感知訓練等方式，提供一站式的模型量化，並能因此助力更輕量化的模型開發。

TAO工具套件開發流程。(圖片來源：https://developer.nvidia.com/tao-toolkit)

在Arm近日發表的一篇部落格文章中，按步驟詳細講解了如何利用TAO工具套件取得在ImageNet 資料庫上經過預訓練、並在Visual Wake Words 資料集微調過的MobilenetV2模型，使用TAO的通道修剪功能進行模型最佳化，以縮減模型大小、提升推論處理量；接著比較這些模型在 Arm Ethos-U NPU上運作的性能，展示以最小的模型精度成本在Ethos-U實現更快的模型執行時間。

除了簡化針對終端應用進行模型最佳化的過程，讓使用者能在不犧牲太多精度的情況下取得3至4倍的性能，TAO工具套件還提供了高效率的Ethos-U部署途徑，為在Arm架構邊緣裝置實現AI功能的龐大潛力開啟了一扇大門，有興趣的開發者不妨跟著嘗試看看！

TAO工具套件還提供了兩種AutoML演算法——Hyperband與Bayesian，作為 API 服務的一部分，可用於自動調整特定模型和資料集對的超參數；Arm預告將在未來發表關於如何使用AutoML功能的部落格文章，介紹如何透過對每種演算法的比較和權衡來進一步提高模型的準確；MakerPRO將持續為讀者關注。