Cortex-M55處理器是Arm Cortex-M處理器中人工智慧功能最強大的，也是第一顆基於Arm Helium技術的CPU。儘管Cortex-M55在微小的微處理器上運作機器學習模型速度已經很快了，不過它與Arm Ethos-U55 microNPU完成整合後，在嵌入式系統中最快可讓機器學習推論速度提升480倍。
Ethos-U55是一款機器學習處理器，經過最佳化後可執行常見的數學機器學習演算法運算，例如卷積或啟動函數。針對音訊處理、語音辨識、影像分類與物件偵測，Ethos-U處理器支援例如卷積神經網路(CNN)與循環神經網路(RNN)等神經網路模型。
在Ethos-U NPU上部署推論
在Ethos-U NPU上執行推論時，將網路運算子量化成8位元(無正負號或帶正負號)或16位元(帶正負號)是必要的，原因是Ethos-U只支援8位元的權重或16位元的啟動。TensorFlow模型最佳化套件(TensorFlow Model Optimization Toolkit)可以讓開發人員在記憶體、功耗與儲存空間受限的裝置上進行部署時最佳化機器學習模型。
目前已有不同的最佳化技術可供使用，包括量化(quantization)、修剪法(pruning，或譯「剪枝」)以及分群法(clustering)，這些都是TensorFlow模型最佳化套件的一部份，並與TensorFlow Lite相容。例如，您可以對模型進行訓練後的整數量化(post-training integer quantization)，並利用TFLiteConverter把轉化完成的模型載入後，將權重與啟動從浮點數字轉化成整數數字。請留意，模型一旦完成修剪或分群，修剪/分群後通常會進行小量的訓練，以補償準確度的流失。因此，必須在模型的複雜性與大小之間權衡。
使用訓練後量化來最佳化模型：
def representative_dataset():
for _ in range(100):
# Using some random data for testing purposes
data = np.random.rand(1, 244, 244, 3)
yield
# Load the model into TensorFlow using TFLite converter
converter = tf.lite.TFLiteConverter.from_saved_model(“model_tf”)
# Set options for full integer post-training quantization
converter.optimizations =
converter.representative_dataset = representative_data_gen
# Ensure that if any ops can't be quantized, the converter throws an error
converter.target_spec.supported_ops =
# Set the input and output tensors to int8
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8
# Convert to TFLite
tflite_model_quant = converter.convert()
若要在Ethos-U上部署NN模型，需要以Vela來編譯訓練好的量化模型，以便為Ethos-U產出最佳化的NN模型。Vela是一種開源Python工具，可將TFLite NN模型編譯成最佳化過的版本，在包含Arm Ethos-U NPU的嵌入式系統上運作。您可執行$pip install ethos-u-vela指令來安裝Vela，然後藉由下列指令行，使用像ethos-u55-128等特定Ethos-U NPU組態對網路進行編譯。點擊此連結可閱讀更多有關Vela的不同指令行選項。
$ vela model.tflite \
--accelerator-config=ethos-u55-128 \
--optimise Performance
--config vela.ini
--system-config=Ethos-U55_High_End_Embedded
–-output-dir ./results_dir /path/to/model.tflite \
accelerator-config指定不同Ethos-U55之間可以使用的microNPU配置：
- ethos-u55-256
- ethos-u55-128
- ethos-u55-64
- ethos-u55-32
- ethos-u65-256
- ethos-u65-512
只需不到短短一分鐘...
輸入您的信箱與ID註冊即可享有一切福利!
會員福利
免費電子報
會員搶先看
主題訂閱
好文收藏
