Qualcomm AI Hub 是高通推出的一個專門用於AI開發與部署的綜合性平台，透過Qualcomm AI Hub，開發者可以存取各種 AI 模型、開發工具與最佳化方案，它提供了一個預先優化的 AI 模型庫，包含超過 150 個熱門的 AI 模型，如 Whisper、ControlNet、Stable Diffusion 和 Baichuan 7B 等，供開發者使用。這些模型也能在Hugging Face 和 GitHub取得。
此外，Qualcomm AI Hub 也整合了 Qualcomm AI Engine，這是一個針對高通晶片最佳化的 AI 運算框架。AI Engine 包含了不同的計算單元，例如 Hexagon DSP（數位信號處理器）、Adreno GPU（圖形處理單元）和 Kryo CPU（中央處理器），能夠根據應用需求動態分配運算資源。透過此引擎讓 AI 應用能夠在高通 Snapdragon 處理器、物聯網（IoT）設備、邊緣運算裝置等各種硬體平台上更順暢運作。
如何使用 Qualcomm AI Hub 的 AI 模型 #
Qualcomm AI Hub 允許開發者上傳、優化和編譯自己的模型，即所謂的“Bring Your Own Model” (BYOM)；它支援 PyTorch、TensorFlow 和 ONNX 等主要框架。開發者可以在雲端託管裝置上測試和驗證模型，簡化模型優化和驗證流程，加快開發和部署週期。
開發者可以透過以下步驟存取並使用 Qualcomm AI Hub 提供的預訓練 AI 模型：
- 訪問 Qualcomm AI Hub 平台：登入 Qualcomm AI Hub 官方網站，瀏覽可用的 AI 模型庫。選擇適合應用需求的 AI 模型，如影像分類、物件偵測、語音識別等。
- 下載 AI 模型：選定模型後，下載相應的模型檔案，通常包括 ONNX、TensorFlow、PyTorch 等格式。下載模型的對應配置文件與最佳化參數，以確保模型能夠適應 Qualcomm 硬體。
- 模型最佳化與轉換：使用 Qualcomm AI Model Conversion Tool，將下載的模型轉換為 Qualcomm AI Engine 兼容的格式。若需要進一步降低計算資源佔用，可使用 AI Model Efficiency Toolkit（AIMET）進行模型壓縮與量化。
- 選擇運行平台並部署：根據應用場景，決定是否運行於 Hexagon DSP、Adreno GPU 或 Kryo CPU，並利用對應的 SDK 進行優化。使用 Qualcomm Neural Processing SDK（NP SDK）將最佳化後的 AI 模型部署到 Snapdragon 裝置上。
- 測試與優化：透過 Qualcomm 提供的測試工具評估 AI 模型的推理速度、準確性與功耗表現。根據測試結果調整模型配置，確保應用在實際環境中運行穩定且高效。
》延伸閱讀
開發工具與 SDK #
Qualcomm AI Hub 提供了一系列開發工具和軟體開發套件（SDK），幫助開發者將 AI 模型更輕鬆地轉換並部署至 Qualcomm 平台。
1. Qualcomm Neural Processing SDK #
Qualcomm Neural Processing SDK（NP SDK）是一款專門針對 Snapdragon 平台最佳化的工具，可幫助開發者將 AI 模型高效地運行於 Qualcomm 硬體上。該 SDK 支援 TensorFlow、PyTorch、ONNX 等主流 AI 框架，並提供 API 讓開發者能夠輕鬆地將 AI 模型轉換並部署到設備端。
2. AI Model Efficiency Toolkit #
AI Model Efficiency Toolkit（AIMET）是一款用於壓縮和最佳化 AI 模型的工具，可以透過量化技術降低 AI 模型的計算需求，從而提升在嵌入式設備和邊緣裝置上的運行效率。該工具可幫助開發者減少模型的記憶體佔用，降低功耗，同時保持較高的準確度。
3. Hexagon DSP SDK #
Hexagon DSP SDK 提供了一個開發環境，使開發者可以充分利用 Qualcomm 的 Hexagon DSP 來加速 AI 運算。該 SDK 允許開發者直接優化 AI 模型的運行方式，例如透過並行運算技術來提高處理效率。
4. Adreno GPU SDK #
Adreno GPU SDK 主要用於 AI 與圖形處理的加速，它能夠幫助開發者將 AI 模型運行在 Qualcomm 的 Adreno GPU 上，提高模型的推理速度。此 SDK 特別適合需要即時影像處理的 AI 應用，例如 AR/VR、電腦視覺等領域。
5. Qualcomm AI Model Conversion Tool #
Qualcomm AI Model Conversion Tool 幫助開發者將 TensorFlow、PyTorch 和 ONNX 的模型轉換為 Qualcomm AI Engine 可以執行的格式。這樣可以讓 AI 模型無縫地適配 Snapdragon 平台，確保其最佳性能。
小結 #
相較於依賴雲端運算，Qualcomm AI Hub 這類Edge AI開發平台有助於 AI 在邊緣裝置上的部署，這使得裝置能夠即時處理數據，降低延遲並提升隱私保護。例如，智能手機的影像識別、智慧家庭設備的語音處理等應用，都可以透過 Qualcomm AI Hub 來實現。
（責任編輯：歐敏銓）
