認識Qualcomm AI 模型優化工具：AIMET

Posted By MakerPRO編輯部 on 3 月 3, 2025 in ONNX, PyTorch, Qualcomm, TensorFlow, 技術導讀, 知識庫 | 0 comments

文章導覽

Qualcomm® AI Model Efficiency Toolkit (AIMET) 是 Qualcomm 開發的一套 AI 模型優化工具，它透過壓縮和量化技術來縮小模型，同時保持任務的準確性。更小的模型意味著更高的運行性能和更低的延遲以及更低的計算、記憶體和功耗，有助於提高其在資源受限設備（如手機、邊緣裝置、IoT 設備）上的運行效率。

開發人員可以將 AIMET 先進的模型壓縮和量化演算法整合到他們的 PyTorch 和 TensorFlow 模型建立管道中，以實現自動訓練後優化以及模型微調。這些演算法的自動化有助於消除手動優化神經網路的需要，因為手動優化神經網路可能很耗時、容易出錯且難以重複。AIMET是Qualcomm AI Stack 的一部分，開發者可以在開發中結合多種軟體功能。

高通創新中心（QuIC）在 GitHub 上開源了 AIMET，以便與其他領先的 AI 研究人員合作，並為 AI 開發人員提供一個簡單的程式庫插件，以實現最先進的模型效率性能。AIMET用到的尖端壓縮和量化技術是基於 Qualcomm AI Research的創新研究。

AIMET 的模型優化技術

1. 量化（Quantization）

AIMET 支援後量化（Post-Training Quantization, PTQ） 和 量化感知訓練（Quantization-Aware Training, QAT），可將 32-bit 浮點數（FP32）模型轉換為 INT8 或更低精度，從而減少模型的計算需求和存儲大小。

此技術的主要優勢是能減少記憶體使用量，從 FP32 降為 INT8 可減少約 4 倍 的儲存需求。量化後的模型可加速推理速度，特別是在 Qualcomm 硬體（如 Snapdragon AI Engine）上。

此外，透過 QAT 技術則可在訓練階段模擬量化誤差，以減少準確度損失。

2. 剪枝（Pruning）

AIMET 提供多種剪枝技術，透過移除冗餘的神經元來減少模型大小和計算量，例如：Channel Pruning（通道剪枝）：移除 CNN 模型中影響較小的通道，以減少運算量；Spatial SVD（空間奇異值分解）：將權重矩陣拆解，以降低計算複雜度。剪枝後的模型可顯著減少參數量，同時保持高準確度。

3. 批量歸一化折疊（Batch Normalization Folding）

這項技術可以將 Batch Normalization（BN）層 與相鄰的卷積層合併，減少計算開銷，加快推理速度。

兼容性與應用領域

AIMET 針對 Qualcomm 的 Snapdragon AI Engine 及 Hexagon DSP/NPU 進行最佳化，確保優化後的模型能高效運行於 Qualcomm 晶片上，如Snapdragon 處理器（手機 AI 運算）、Qualcomm RB5（機器人與嵌入式 AI）、Qualcomm Cloud AI 100（雲端 AI 加速）。

AIMET 可被應用於以下領域：

行動裝置 AI，如智慧手機上的影像識別、語音處理、自然語言處理
邊緣 AI，如監控攝影機、IoT 設備
自動駕駛，ADAS 系統
醫療 AI，如AI 診斷、X 光影像分析

如何使用 AIMET

AIMET 可與 TensorFlow、PyTorch、ONNX 等框架兼容，開發者可以透過 Python API 來進行模型優化。例如，對一個 ResNet 模型進行後量化：


import aimet_torch.quantsim as quantsim

from aimet_torch.model_preparer import prepare_model

import torch



# 加載 PyTorch 模型

model = torchvision.models.resnet18(pretrained=True)



# 量化感知準備

model = prepare_model(model)



# 創建量化模擬（Quantization Simulation）

sim = quantsim.QuantizationSimModel(model, dummy_input=torch.rand(1, 3, 224, 224))



# 訓練校準（Calibration）

sim.compute_encodings(forward_pass_callback, forward_pass_callback_args)



# 儲存優化後的模型

sim.export(path="./optimized_model", filename_prefix="resnet18_quantized")

小結

整體而言，AIMET 的優勢包括減少模型大小，降低記憶體與存儲需求；加速推理，特別適用於 Qualcomm 晶片；保持高準確度，透過量化感知訓練（QAT）和剪枝技術減少性能損失；支援多種 AI 框架（TensorFlow、PyTorch、ONNX）；適用於邊緣 AI 應用，特別是在行動裝置、嵌入式系統和 AIoT 領域。

AIMET 讓開發者能夠在 Qualcomm 硬體上運行 更小、更快、更高效的 AI 模型，特別適用於行動 AI 和邊緣 AI 應用。