【Arm的AI世界】利用Arm機器學習嵌入式評估套件快速部署Edge AI應用

Posted By Elham Harirpoush on 1 月 15, 2024 in Arm, Arm, Edge AI, Edge AI教學文, Edge AI解決方案, Edge AI開發地圖, Edge AI開發學習, Edge AI開發環境, TensorFlow, TinyML, Vela Compiler, 教學文, 量化技術 | 0 comments

Cortex-M55處理器是Arm Cortex-M處理器中人工智慧功能最強大的，也是第一顆基於Arm Helium技術的CPU。儘管Cortex-M55在微小的微處理器上運作機器學習模型速度已經很快了，不過它與Arm Ethos-U55 microNPU完成整合後，在嵌入式系統中最快可讓機器學習推論速度提升480倍。

Ethos-U55是一款機器學習處理器，經過最佳化後可執行常見的數學機器學習演算法運算，例如卷積或啟動函數。針對音訊處理、語音辨識、影像分類與物件偵測，Ethos-U處理器支援例如卷積神經網路(CNN)與循環神經網路(RNN)等神經網路模型。

在Ethos-U NPU上部署推論

在Ethos-U NPU上執行推論時，將網路運算子量化成8位元(無正負號或帶正負號)或16位元(帶正負號)是必要的，原因是Ethos-U只支援8位元的權重或16位元的啟動。TensorFlow模型最佳化套件(TensorFlow Model Optimization Toolkit)可以讓開發人員在記憶體、功耗與儲存空間受限的裝置上進行部署時最佳化機器學習模型。

目前已有不同的最佳化技術可供使用，包括量化(quantization)、修剪法(pruning，或譯「剪枝」)以及分群法(clustering)，這些都是TensorFlow模型最佳化套件的一部份，並與TensorFlow Lite相容。例如，您可以對模型進行訓練後的整數量化(post-training integer quantization)，並利用TFLiteConverter把轉化完成的模型載入後，將權重與啟動從浮點數字轉化成整數數字。請留意，模型一旦完成修剪或分群，修剪/分群後通常會進行小量的訓練，以補償準確度的流失。因此，必須在模型的複雜性與大小之間權衡。

使用訓練後量化來最佳化模型：

def representative_dataset(): 
    for _ in range(100): 
      # Using some random data for testing purposes  
      data = np.random.rand(1, 244, 244, 3) 
      yield  
 
# Load the model into TensorFlow using TFLite converter 
converter = tf.lite.TFLiteConverter.from_saved_model(“model_tf”) 
# Set options for full integer post-training quantization 
converter.optimizations =  
converter.representative_dataset = representative_data_gen 
 
# Ensure that if any ops can't be quantized, the converter throws an error 
converter.target_spec.supported_ops =  
 
# Set the input and output tensors to int8 
converter.inference_input_type = tf.int8 
converter.inference_output_type = tf.int8 
  
# Convert to TFLite 
tflite_model_quant = converter.convert() 

若要在Ethos-U上部署NN模型，需要以Vela來編譯訓練好的量化模型，以便為Ethos-U產出最佳化的NN模型。Vela是一種開源Python工具，可將TFLite NN模型編譯成最佳化過的版本，在包含Arm Ethos-U NPU的嵌入式系統上運作。您可執行$pip install ethos-u-vela指令來安裝Vela，然後藉由下列指令行，使用像ethos-u55-128等特定Ethos-U NPU組態對網路進行編譯。點擊此連結可閱讀更多有關Vela的不同指令行選項。

$ vela model.tflite \ 
--accelerator-config=ethos-u55-128    \ 
--optimise Performance 
--config vela.ini 
--system-config=Ethos-U55_High_End_Embedded       
–-output-dir ./results_dir /path/to/model.tflite \ 

accelerator-config指定不同Ethos-U55之間可以使用的microNPU配置：

• ethos-u55-256
• ethos-u55-128
• ethos-u55-64
• ethos-u55-32
• ethos-u65-256
• ethos-u65-512