日前傳出高通（Qualcomm）將收購Edge Impulse的重磅消息，事實上，高通一直是Edge AI/On-device AI/Edge Intelligence這領域的領導性廠商，也有自己的AI開發平台 – Qualcomm AI Hub，與Edge Impulse定位相近，未來應會相互整合吧。
雖然高通的品牌份量不小，但對許多台灣Edge AI開發者來說，似乎並不是那麼熟悉，接續本刊另一篇文章《AI運算雲平台比較：NVIDIA vs. Intel vs. Qualcomm》，本文進一步來介紹一下Qualcomm AI Hub這個平台。
Qualcomm AI Hub 是高通推出的一個專門用於AI開發與部署的綜合性平台，透過Qualcomm AI Hub，開發者可以存取各種 AI 模型、開發工具與最佳化方案，它提供了一個預先優化的 AI 模型庫，包含超過 150 個熱門的 AI 模型，如 Whisper、ControlNet、Stable Diffusion 和 Baichuan 7B 等，供開發者使用。這些模型也能在Hugging Face 和 GitHub取得。
此外，Qualcomm AI Hub 也整合了 Qualcomm AI Engine，這是一個針對高通晶片最佳化的 AI 運算框架。AI Engine 包含了不同的計算單元，例如 Hexagon DSP（數位信號處理器）、Adreno GPU（圖形處理單元）和 Kryo CPU（中央處理器），能夠根據應用需求動態分配運算資源。透過此引擎讓 AI 應用能夠在高通 Snapdragon 處理器、物聯網（IoT）設備、邊緣運算裝置等各種硬體平台上更順暢運作。
如何使用 Qualcomm AI Hub 的 AI 模型
Qualcomm AI Hub 允許開發者上傳、優化和編譯自己的模型，即所謂的“Bring Your Own Model” (BYOM)；它支援 PyTorch、TensorFlow 和 ONNX 等主要框架。開發者可以在雲端託管裝置上測試和驗證模型，簡化模型優化和驗證流程，加快開發和部署週期。
開發者可以透過以下步驟存取並使用 Qualcomm AI Hub 提供的預訓練 AI 模型：
- 訪問 Qualcomm AI Hub 平台：登入 Qualcomm AI Hub 官方網站，瀏覽可用的 AI 模型庫。選擇適合應用需求的 AI 模型，如影像分類、物件偵測、語音識別等。
- 下載 AI 模型：選定模型後，下載相應的模型檔案，通常包括 ONNX、TensorFlow、PyTorch 等格式。下載模型的對應配置文件與最佳化參數，以確保模型能夠適應 Qualcomm 硬體。
- 模型最佳化與轉換：使用 Qualcomm AI Model Conversion Tool，將下載的模型轉換為 Qualcomm AI Engine 兼容的格式。若需要進一步降低計算資源佔用，可使用 AI Model Efficiency Toolkit（AIMET）進行模型壓縮與量化。
- 選擇運行平台並部署：根據應用場景，決定是否運行於 Hexagon DSP、Adreno GPU 或 Kryo CPU，並利用對應的 SDK 進行優化。使用 Qualcomm Neural Processing SDK（NP SDK）將最佳化後的 AI 模型部署到 Snapdragon 裝置上。
- 測試與優化：透過 Qualcomm 提供的測試工具評估 AI 模型的推理速度、準確性與功耗表現。根據測試結果調整模型配置，確保應用在實際環境中運行穩定且高效。
》延伸閱讀
開發工具與 SDK
Qualcomm AI Hub 提供了一系列開發工具和軟體開發套件（SDK），幫助開發者將 AI 模型更輕鬆地轉換並部署至 Qualcomm 平台。
1. Qualcomm Neural Processing SDK
Qualcomm Neural Processing SDK（NP SDK）是一款專門針對 Snapdragon 平台最佳化的工具，可幫助開發者將 AI 模型高效地運行於 Qualcomm 硬體上。該 SDK 支援 TensorFlow、PyTorch、ONNX 等主流 AI 框架，並提供 API 讓開發者能夠輕鬆地將 AI 模型轉換並部署到設備端。
2. AI Model Efficiency Toolkit
AI Model Efficiency Toolkit（AIMET）是一款用於壓縮和最佳化 AI 模型的工具，可以透過量化技術降低 AI 模型的計算需求，從而提升在嵌入式設備和邊緣裝置上的運行效率。該工具可幫助開發者減少模型的記憶體佔用，降低功耗，同時保持較高的準確度。
3. Hexagon DSP SDK
Hexagon DSP SDK 提供了一個開發環境，使開發者可以充分利用 Qualcomm 的 Hexagon DSP 來加速 AI 運算。該 SDK 允許開發者直接優化 AI 模型的運行方式，例如透過並行運算技術來提高處理效率。
4. Adreno GPU SDK
Adreno GPU SDK 主要用於 AI 與圖形處理的加速，它能夠幫助開發者將 AI 模型運行在 Qualcomm 的 Adreno GPU 上，提高模型的推理速度。此 SDK 特別適合需要即時影像處理的 AI 應用，例如 AR/VR、電腦視覺等領域。
5. Qualcomm AI Model Conversion Tool
Qualcomm AI Model Conversion Tool 幫助開發者將 TensorFlow、PyTorch 和 ONNX 的模型轉換為 Qualcomm AI Engine 可以執行的格式。這樣可以讓 AI 模型無縫地適配 Snapdragon 平台，確保其最佳性能。
小結
相較於依賴雲端運算，Qualcomm AI Hub 這類Edge AI開發平台有助於 AI 在邊緣裝置上的部署，這使得裝置能夠即時處理數據，降低延遲並提升隱私保護。例如，智能手機的影像識別、智慧家庭設備的語音處理等應用，都可以透過 Qualcomm AI Hub 來實現。
（責任編輯：歐敏銓）
- 為邊緣裝置AI化而生：Qualcomm AI Hub - 2025/03/12
- Intel擴大商用AI PC處理器產品陣容、力推供應鏈保證計畫 - 2025/03/11
- 聚焦AIoT、Edge AI市場 Qualcomm宣佈收購Edge Impulse - 2025/03/10
.jpg)
.jpg)