作者:林士允
高通的邊緣端布局
Qualcomm 近期在 Edge AI 邊緣端動作頻頻,逐步從以手機晶片為主的形象,轉型為橫跨雲端到邊緣的運算平台供應商。去年(2025)連袂收購了 Edge Impulse 與 Arduino 擴大開源社群影響力,並且結合自家 AI Hub 模型平台與完整豐富的 Dragonwing 家族產品線,高通的邊緣端生態系的帝國版圖儼然成形。

高通Dragonwing 工業 IQ 家族系列一覽 (source: Qualcomm)
Dragonwing 依據應用領域可分為工業應用的 IQ 家族(如本次開箱的工業電腦)與商用消費性電子的 Q 家族(如Arduino UNO Q),IQ 處理器家族中按照定位分成旗艦的 IQ9 與 IQ-X、均衡的 IQ8,以及主打低功耗的 IQ6與IQ2(如上圖所示)。IQ 家族跟消費級晶片最大的差別在於至少10年的超長生命週期、優異的溫度耐受能力、豐富完整的工業界面IO、以及高效能的AI運算能力!
開箱研華 AIR-055
取出 AIR-055 實體裝置,方正的大小約略就是一個便當盒的尺寸,重量則是因為無風扇的被動散熱設計稍微重了些。前面板主要為通用的高速連接埠,包含兩個 2.5GbE(可選配 PoE PSE 模組)、兩個USB 3.2 Type-A、兩個 USB 3.2 Type-C、兩個HDMI與兩個DP顯示等,如下圖。後面板則是常用的工控介面涵蓋三組 RS-485/RS-232 串列介面、兩組 CAN、一組DIO以及兩個USB 2.0等。

AIR-055 的前面板與後面板外觀
將 AIR-055 下方抵板螺絲卸下取出底板後,可以看到三個 M.2 卡槽,可以容易地安裝額外的 SSD 儲存空間或是選配的 WiFi 與 LTE 擴充卡等。

拆開底板後可以輕鬆地增加各類擴充模組。
攤開所有技術規格來看,AIR-055 使用的 Dragonwing IQ-9075 擁有 100TOP 的 AI 算力與 36GB 驚人的記憶體容量,放眼現今中階主力邊緣運算裝置可說是無人能出其右。眾所周知記憶體大小直接影響能夠載入運行的模型大小,以 INT8 量化 LLM 的模型來說, 36GB 記憶體約可以塞入 27B 大小的模型進行推論。100 TOPS 算力經官方實測數據運行 Llama2 13B 可提供 12 token/s 效能。其餘主要規格如下表:
| 項目 | 規格 |
|---|---|
| 處理器 | Qualcomm Dragonwing IQ-9075(8 核 Kryo Gen 6 + 雙 Hexagon NPU) |
| AI 算力 | 100 TOPS |
| 記憶體 | 36GB LPDDR5 |
| 儲存空間 | 內建 128GB UFS3.1 |
| 功耗 | 60W |
| 網路 | 2 × 2.5GbE ,可選配 PoE PSE 模組 |
| 工控 I/O | 3 × COM、2 × CAN、8 x DIO |
| USB | USB 3.2 Gen2 Type-A、 USB 3.2 Gen1 Type-A、2 × USB 3.2 Gen1 Type-C、 2 x USB 2.0 Type-A |
| 顯示輸出 | 雙 DisplayPort + 雙 HDMI |
| 擴充 | 1 × M.2 2280(NVMe)、1 × M.2 3052(LTE/5G) |
| 作業系統 | Ubuntu 24.04 |
| 電源 | 12~24V 寬壓輸入 |
| 尺寸 | 190 × 174 × 57.8 mm,無風扇被動散熱 |
| 工作溫度 | -20 ~ 55°C |
| 認證 | CE、FCC、CB、UL、BSMI、CCC、UKCA |
準備好鍵盤、滑鼠、螢幕與有線網路以及隨附的電源供應器,依序接入 AIR-055 並按壓開機鍵啟動系統,開機完成後可直接進入出廠預燒的 ubuntu 24.04 作業系統的桌面環境,右下角可以看到 “Edge AI Installer” 圖示,點擊執行後可開啟互動式安裝介面。一開始告知使用者即將安裝的軟體版本資訊,選擇 <OK> 進入安裝選項。

安裝 Edge AI SDK。
接著選擇所要安裝的套件內容,除了基礎 Base 之外,可選擇是否安裝 VisionAI 與 GenAI 範例,比這建議把能夠裝的都選起來安裝。

選擇安裝 optional package。
接著安裝程序會自動從雲端下再並安裝完成對應的套件,等待約莫十來分鐘進行安裝,執行告一段落後對話框中選擇重新啟動即可完成安裝了!

安裝程式會自動從雲端下載檔案進行安裝。
Edge AI SDK 與 Inference Kit
究竟筆者安裝的 Edge AI SDK 到底是什麼?有了強大的嵌入式工業電腦只是個起點,面對當前邊緣運算裝置市場可說是百花齊放,也因各晶片廠家的轉換工具與生態系皆有所不同,讓 SI 團隊與開發者在不同平台間的轉換造成困擾。研華推出的 Edge AI SDK,就是為了填平在不同邊緣運算裝置間轉換的巨大鴻溝而誕生!Edge AI SDK 涵蓋三個子系統:
- Inference Kit:面向研發團隊最有價值的一塊,它把不同硬體平台的推論後端包成一致的介面,涵蓋 NVIDIA CUDA & TensorRT、Intel OpenVINO、AMD ROCm、HailoRT、Qualcomm Neural Processing SDK、NXP eIQ、MediaTek NeuroPilot 等。可以再短時間內將 AI 應用橫跨在不同硬體間進行實作套用,讓開發團隊省下工時與跨硬體生態的門檻。Inference Kit 也是本篇文章主要使用的 SDK。
- GenAI Studio:基於 AnythingLLM 打造的地端的 LLM 客製化與評測工具,用途是在自己的機房裡完成模型微調、自定義 RAG 資料集建置與效果評估、彈性佈署地端模型與雲端模型,實踐自主化大語言模型。
- Orchestration Platform:用以管理大規模的邊緣裝置、模型、應用、OTA 更新、狀態監控與 MLOps 串接。在邊緣裝置數量日益遽增的當下,設備的維運若管理不當,勢必將會拖垮團隊人力量能,Orchestration Platform 則是一個安全、有效、即時的管理方案。
如下圖所示,Inference Kit 對應 AIR-055 的版本由下而上涵蓋 Ubuntu24.04 作業系統、異質 AI SOC 驅動、Qualcomm SNPE(QAIRT) SDK、SNPE-Benchmark、預訓練模型與應用程式等。AIR-055 出廠 image 內已經含有預先安裝的 Ubuntu 24.04 與 Edge AI SDK 的安裝腳本與範例模型檔,筆者在此使用前一個段落安裝好的 Edge AI SDK 實際跑一次範例看體驗如何。

Edge AI SDK Inference Kit for AIR-055 架構圖 (source: advantech)
開啟 “Eage AI SDK”,會彈出對話框要求輸入密碼,預設密碼與使用者名稱同樣為 “ubuntu”(交付客戶前記得修改),接著會有終端使用者授權條款確認(EULA),同意後即可進入應用程式。 Edge AI SDK 目前支援多國語言,可以變更喜好語言開始使用。左側主選單欄位包含首頁、視覺模型、生成式模型、系統監視與Benchamrk等四個項目,右下角也有多國語言可以選擇。

Edge AI SDK 歡迎頁面
選擇視覺模型有內建物件偵測(Object Detection)、人臉偵測(Face Detection)、姿勢預估(Pose Estimation) 三種範例模型。點選其中一個模型後接著可以選擇影像輸入來源,可從檔案或是 webcam 作為輸入影像,若有接上 Webcam 會自動搜尋對應的裝置名稱(如/dev/video0)。最後則是可以選擇要使用 IQ-9075 哪一個異質核心進行運算,可以選擇CPU、iGPU、與NPU。

視覺模型範例選擇。
筆者開啟範例中 YOLO11 物件偵測模型,並分別使用 CPU、iGPU、NPU 進行推論,得到每秒推論張數分別為 11 FPS、40 FPS 以及誇張的 200 FPS!不必寫任何 code 的情況下就能直接看到各推論運算單元的效能表現,一來可快速掌握邊緣裝置的運算能力,二來也能評估日後實際佈署模型上線時的表現期望,乃至於對齊客戶端、業務端與開發端的資訊與期待。

不同核心的推論效能差異。
左側第三欄 GenAI 範例目前 AIR-055 僅有 chatbot 可選,依序選擇到第三步點選 “General”, 等待一段時間系統會開啟瀏覽器並且自動帶入 chatbot webUI 的網址。Edge AI SDK 內建的LLM模型為 Qwen2.5-7B,使用者可以進行問答體驗效能。

Edge AI SDK chatbot webUI。
最後一欄雖然名為 “system monitor” 系統資源監視器,但除了可以看到即時系統資源的使用量之外,右下角還有一個 benchmark 功能,點選 “run” 等待幾秒鐘可以看到不同推論單元對於單一模型 mobilenet-ssd v2 的推論表現,NPU效能約略是 iGPU 的 4.7倍,以及 CPU 的100倍!

system monitor 與 benchamrk。
Edge AI SDK 除了各類模型的效能評估之外,筆者站在專案管理的視角認為還可以做一個高價值的測試項目-熱平衡測試!即便 IQ-9075 的能耗比優異,但在完全無風扇的被動散熱結構下,是否能長時間在工廠環境中運作,是一個非常值得驗證的議題。在 AIR-055 上使用 Edge AI SDK 就能進行長時間的熱平衡測試,選擇 Face Detection(或其他想測試的模型) → NPU 推論 → 將畫面切換至 System Monitor → 長時間放置 8 或 24 小時再回頭看就能知道系統是否能達到熱平衡以及設備的問訂度。若能夠將 AIR-055 實際放置在要交付工廠的對應位置,測出的結果將更具參考價值!

使用 Edge AI SDK 長時間測試熱平衡。
YOLO 11 物件偵測模型推論實測
既然已經確認了 AIR-055 的效能,那麼要如何跑自己的推論程式呢?按照研華的 Edge AI workflow STEP by STEP 執行就行了!
STEP 1. 安裝套件與 python 虛擬環境
安裝系統相依套件
sudo apt update
sudo apt install git vim python3-pip python3.12-venv -y
# 暫時移除核心升級限制
sudo rm -f /etc/apt/preferences.d/adv_disable_kernel_upgrade
sudo apt update
sudo apt install build-essential cmake -y
# 還原核心升級限制
cat < /dev/null
Package: linux-*
Pin: release o=Ubuntu
Pin-Priority: -1
Package: linux-*
Pin: release a=now
Pin-Priority: 1001
EOF
# 安裝 opencv 與 gflags
cd ~
git clone https://github.com/ADVANTECH-Corp/EdgeAI_Workflow.git
cd ~/EdgeAI_Workflow/ai_sdk/qualcomm/qairt/2.41.0.251128/linux/script
chmod +x ./run.sh
./run.sh
# 建立 workspace 與虛擬環境
cd ~/EdgeAI_Workflow/ai_sdk/qualcomm/qairt/2.41.0.251128/linux
mkdir -p workspace
cd workspace
python3 -m venv ai-hub
source ai-hub/bin/activate
# 安裝基本 Python 套件
pip install qai-hub
pip install "qai-hub-models[yolov11-det]"
STEP 2. 前往 Qualcomm AI HUB 網站註冊並取得 API Token。登入後點選右上角帳號名稱,選擇 “Setting” 即可看到 API Token。

從 AI HUB 取得 API Token。
將 Token 設定輸入 Qualcomm AI Hub python 模組中。
qai-hub configure --api_token
STEP 3. 取得轉換好的 Yolo11 模型檔。Qualcomm AI Hub 特別之處,不但提上百種已經驗證過的預訓練模型,而且在於模型的轉換與最佳化都是透過工具在線上完成,可以保證轉換出來的品質不會受執行主機效能影響。
啟用python虛擬環境:
cd ~/EdgeAI_Workflow/ai_sdk/qualcomm/qairt/2.41.0.251128/linux/workspace
source ai-hub/bin/activate
匯出 Yolo 11 物件偵測模型:
qai-hub-models export yolov11_det \
--precision w8a16 \
--target-runtime qnn_dlc \
--chipset qualcomm-qcs9075 \
--output-dir ~/EdgeAI_Workflow/ai_sdk/qualcomm/qairt/2.41.0.251128/linux/workspace \
--height 320 \
--width 320
此指令執行後大約需等待數分鐘完成,完成後可看到 DLC 模型檔案在指定路徑
~/EdgeAI_Workflow/ai_sdk/qualcomm/qairt/2.41.0.251128/linux/workspace/yolov11_det-qnn_dlc-w8a16/yolov11_det.dlc

Qualcomm AI Hub 匯出模型完成。
STEP 4. 檢查模型檔案版本。 由於 Qualcomm 近期更新 Toolchain 的速度相當頻繁,雖然是有幫助開發者持續更迭工具,但可能會產生軟體不相容的負面效應。因此我們取得模型後,再檢查一下轉換出來的模型版本是否可以和當前 AIR-055 所安裝 Qualcomm QAIRT SDK 所匹配。
輸入以下指令可以查看前一步驟取得的模型,其使用的工具版本:
cat ~/EdgeAI_Workflow/ai_sdk/qualcomm/qairt/2.41.0.251128/linux/workspace/yolov11_det-qnn_dlc-w8a16/metadata.json
得到輸出訊息為”qairt”: “2.45.0.260326154327”,代表使用工具為 2.45 版本(筆者執行時間為2026年9月),而 AIR-055 內建的版本為稍微舊一點的 2.41 ,基於舊版本執行新模型有高機率會出現錯誤(例如認不得的運算子或敘述),因此筆者至少需要將當前 runtime SDK 也升級到 2.45。
STEP 5. 下載並安裝新版本 QAIRT。前往 Qualcomm Software Center,選擇 2.45(或更新的版本)進行下載。

下載 QAIRT SDK。
下載完成後將 QAIRT 解壓縮到指定路徑:
unzip ~/Downloads/v2.45.0.260326.zip -d /opt/qcom/aistack/
完成後可以 tree 檢查是否有對應的 bin, include, lib 等資料夾。如下所呈現,目前 AIR-055 有兩個 QAIRT 版本可使用。
ubuntu@ubuntu:~$ tree -L 2 -d /opt/qcom/aistack/qairt
/opt/qcom/aistack/qairt
├── 2.41.0.251128
│ ├── benchmarks
│ ├── bin
│ ├── docs
│ ├── examples
│ ├── include
│ ├── lib
│ └── share
└── 2.45.0.260326
├── benchmarks
├── bin
├── docs
├── examples
├── include
├── lib
└── share<
為了讓接下來操作指定使用QAIRT版本,需重新設定環境變數:
export QAIRT_HOME="/opt/qcom/aistack/qairt/2.45.0.260326"
export QAIRT_TARGET_ARCH="aarch64-oe-linux-gcc11.2"
export QAIRT_HEXAGON_ARCH="hexagon-v73"
export PATH="${QAIRT_HOME}/bin/${QAIRT_TARGET_ARCH}:${PATH}"
export LD_LIBRARY_PATH="${QAIRT_HOME}/lib/${QAIRT_TARGET_ARCH}${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}"
export ADSP_LIBRARY_PATH="${QAIRT_HOME}/lib/${QAIRT_HEXAGON_ARCH}/unsigned${ADSP_LIBRARY_PATH:+:${ADSP_LIBRARY_PATH}}"
STEP 6. 編譯範例程式。 執行以下指令編譯範例程式:
cd ~/EdgeAI_Workflow/ai_sdk/qualcomm/qairt/2.41.0.251128/linux/code/ai-hub/object-detect
chmod +x build.sh
./build.sh
完成後訊息如下:

程式編譯完成訊息。
STEP 7. 運行YOLO v11 推論。先建立資料夾,並將所需要檔案統一複製過去:
mkdir ~/yolov11-object
cp ~/EdgeAI_Workflow/ai_sdk/qualcomm/qairt/2.41.0.251128/linux/workspace/yolov11_det-qnn_dlc-w8a16/yolov11_det.dlc ~/yolov11-object
cp ~/EdgeAI_Workflow/ai_sdk/qualcomm/qairt/2.41.0.251128/linux/code/ai-hub/object-detect/build/yolov11-object ~/yolov11-object
cp /opt/Advantech/EdgeAI/System/Qualcomm_IQ9/VisionAI/app/exe/coco.txt ~/yolov11-object
cp -r /opt/Advantech/EdgeAI/System/Qualcomm_IQ9/VisionAI/lib ~/yolov11-object/lib
cp /opt/Advantech/EdgeAI/Main/Data/video/ObjectDetection.mp4 ~/yolov11-object
進入資料夾執行 docker:
cd ~/yolov11-object
xhost +
docker run --rm -it -e DISPLAY=$DISPLAY \
--name ubuntu_2404_iq9 \
-w /yolov11-object \
-v /opt/qcom/aistack/qairt/2.45.0.260326:/opt/qcom/aistack/qairt/2.45.0.260326 \
-v /tmp/.X11-unix:/tmp/.X11-unix \
-v $(pwd):/yolov11-object \
--privileged \
-v /sys/:/sys/ \
-v /run/:/run/ \
--device=/dev/video0 \
--device=/dev/video1 \
ubuntu_2404:iq9 /bin/bash
進入 docker 後設定環境變數:
export QAIRT_HOME="/opt/qcom/aistack/qairt/2.45.0.260326"
export PATH="${QAIRT_HOME}/bin/aarch64-oe-linux-gcc11.2:${PATH}"
export ADSP_LIBRARY_PATH="${QAIRT_HOME}/lib/hexagon-v73/unsigned"
export LD_LIBRARY_PATH="${QAIRT_HOME}/lib/aarch64-oe-linux-gcc11.2:/yolov11-object/lib:${LD_LIBRARY_PATH}"
執行範例程式,使用稍早轉換出來的模型,並以影片作為輸入,以 NPU 作為推論單元:(可以將–device參數更換為CPU,
GPU,DSP等)
./yolov11-object \
--model="yolov11_det.dlc" \
--input=/yolov11-object/ObjectDetection.mp4 \
--layer-names="node_cat_22,node_max_1__0,node__to_copy" \
--conf=0.1 \
--iou=0.45 \
--device=DSP
推論執行結果:

執行 YOLO 11 推論。
LLM 效能實測
為了大幅降低開發者在高通硬體(如Dragonwing 與 Snapdragon 等晶片)上部署大型語言模型(LLM)與視覺語言模型(VLM)的門檻,於不久前推出了 GenieX 作為生成式 AI 推論 Runtime SDK。GenieX 架構如下圖,上方搭建了五個對外通道,開發者可以透過 CLI, Python, Java, Docker, Open AI API 進行串接。下方分為兩個區塊串接底層推論硬體單元,左側是為了最大相容性的 llama.cpp,右側則是要求極致運行效率的 QAIRT。這意味著開發者可以從 Qualcomm AI Hub 取得最佳化的 LLM/VLM 模型藉由 QAIRT 右方路徑運行,也可以從 Hugging Face 下載 GGUF 模型走 llama.cpp 左側路徑執行,選擇更彈性、開發更容易。以下筆者將以 Docker 方式在 AIR-055 上進行LLM 實測。

GenieX SDK 架構。 (source: Qualcomm)
STEP 1. 準備 Docker 環境與 GenieX Image。AIR-055 出廠時已經裝好 Docker,可以省去在嵌入式系統中安裝 docker 這種麻煩事。輸入以下指令拉取 GenieX 映像檔:
docker pull docker.io/qualcomm/geniex:latest
建立 LLM 資料路徑:
mkdir -p ~/geniex/data
建立簡易 docker 啟動腳本,方便後面執行 LLM:
geniex-docker() {
local tty=""; [ -t 0 ] && tty="-it"
docker run --rm $tty --privileged \
-v "$HOME/geniex/data:/data" -e GENIEX_DATADIR=/data \
-v /usr/lib:/opt/qcom-lib:ro \
docker.io/qualcomm/geniex:latest geniex "$@"
}
輸入下方指令確認環境建置OK,如下方截圖顯示,可以知道 GenieX, QAIRT, Llama.cpp 版本是否符合要求,而警告訊息可以直接忽略。
geniex-docker version<

驗證 GenieX docker 環境是否建置OK。
STEP2. 下載 LLM/VLM 模型。
查詢並列出當前支援模型:
geniex-docker model list
這邊列出的是 Qualcomm 已經量化並且針對 IQ-9075 完成最佳化,可以直接下載運行的模型列表。

LLM 列表 for IQ-9075。
筆者選擇 Qwen3-4B 進行下載:
geniex-docker pull qualcomm/Qwen3-4B
完成下載後檢視當前有那些模型可以提供載入:
geniex-docker list
會看到類似以下內容,代表剛剛下載的 Qwen3-4B 已在磁碟中,可以進行載入。
Models cached in /data/models
┌─────────────────────┬─────────┬────────────┐
│ NAME │ SIZE │ PRECISIONS │
├─────────────────────┼─────────┼────────────┤
│ qualcomm/Qwen3-4B │ 3.7 GiB │ W4A16 │
└─────────────────────┴─────────┴────────────┘
STEP 3. 執行推論。
指定 Qwen3-4B 進行推論,冒號後方為精度,建議一律代入精度,避免有數個不同精度時會有預期外結果。
geniex-docker infer qualcomm/Qwen3-4B:w4a16
若只想跑單一提示、不進入互動模式,使用-p:
geniex-docker infer qualcomm/Qwen3-4B:w4a16 -p "用繁體中文簡短說明什麼是邊緣運算。" --think=false --max-tokens 160
> 用繁體中文簡短說明什麼是邊緣運算。
邊緣運算(Edge Computing)是指在網路邊緣(如家庭、企業或個人的網路裝置)進行數據處理與分析的技術。這種技術允許設備在本地處理數據,而非將數據傳送到遠端雲端,以減少數據傳輸的延時與提高處理效率。
— 19.0 tok/s • 103 tok • 0.1 s first token —
最後一行會回報解碼速度、token 數量與第一個 token 的延遲。
等待一段時間後載入完成即可以輸入 prompt,並且觀察 LLM 回覆。以筆者實測結果,AIR-055 執行 Qwen3-4B 推論效能約有 15.9 tok/s (如下圖)。

AIR-055 運行 Qwen3-4B 推論。
另外 GenieX 也有提供 geniex-bench 效能評估工具,用以標準化評估設備運行 LLM 的效能,筆者把幾個語言模型跑了一輪整理列表如下,其中可以看出相同的 Qwen3-4B 模型走 QAIRT SDK 路徑與 llama.cpp 路徑相比,效能硬是提升了超過 50%!即便 llama.cpp 可以通吃大量 GGUF 模型,但在資源彌足珍貴的嵌入式系統上,盡量還是採用 QAIRT 路徑才能發會 NPU 的最大效能!
| 模型 | Runtime | 精度 | 大小 | TTFT | Prefill | Decode |
|---|---|---|---|---|---|---|
| Qwen3-0.6B | QAIRT | w4a16 | 725 MB | 128.0 ms | 4000.7 tps | 63.1 tok/s |
| Qwen3-4B | QAIRT | w4a16 | 3.0 GB | 391.8 ms | 1306.8 tps | 17.6 tok/s |
| Qwen3-8B | QAIRT | w4a16 | 5.2 GB | 593.6 ms | 862.6 tps | 10.3 tok/s |
| Gemma-4-E4B-it | QAIRT | w4a16 | 9.2 GB | 236.5 ms | 541.1 tps | 12.1 tok/s |
| Qwen3-4B-GGUF | llama.cpp | Q4_0 | 2.2 GB | 1120.0 ms | 458.0 tps | 11.5 tok/s |
| TAIDE-8B-GGUF | llama.cpp | Q4_0 | 4.4 GB | 5686.8 ms | 90.0 tps | 6.1 tok/s |
多通道影像效能測試
在工業邊緣端,影像辨識推論是最常見的核心應用場景之一,而目前主流的工業攝影機介面通常為 gigE Vision 網路通訊介面,供電以PoE為主並且傳送未壓縮、低延遲、長封包的串流影像。研華 AIR-055 本體即具備兩個 2.5 Gb Ethernet,在此即可體現高規格的價值,一般工業攝影若傳輸未經壓縮的500萬像素 30FPS 影像,可能就會把一個 GbE 介面頻寬給完全佔滿甚至還不夠!而雙埠 2.5GbE 則有更多餘裕去選擇更高解析度、更高速或是多支攝影機,使用上更具有彈性。除此之外筆者手上的測試機同時還選配了 PoE PSE 模組,足以提供標準 802.3at最高 30W 的電力來源,也省去額外PoE switch 的開銷了!

選配 MIOe-PSE PoE 模組可直接供電 gigE Vision 工業攝影機。
受限於能夠使用的工業相機設備數量,無法同時連接多台實體相機,因此實測是以手邊的 Basler acA2500-14gc 工業相機進行.,將其作為 gigE Vision 串流影像來源,並且平行推送給 n 個 YOLO 模型進行推論,並且將推論的效能數據記錄下來。該攝影機主要規格為 500萬像素(2590px × 1942px),最高畫面更新率為 14.6,色彩模式設定為 mono8,降低 Bayer GB8 彩色轉換運算的效能影響。

實際測試數據如上圖所示,可概略看出要達到所有通道推論速度都有30FPS以上,大約可以同時進行5路影像的推論。所有通道總和的推論幀率約固定在 160 FPS 左右,這數值意義比前面跑 DEMO 的 200FPS 來得更為實際。整體而言效能還是相當優異,且推論過程也並未發生過熱或是單張推論時間特別久的情況,可說是非常的穩定。但仍舊需要留意的是,本次測試是使用單一 gigE 串流,倘若實際接上 N 個 gigE 工業攝影機,在CPU處理影像轉換上勢必會有額外負擔並且需要進一步最佳化前處理,這部分是本次實驗數據中未能呈現的隱性因子。推論過程影像截圖如下,但實際在測試數據時並無渲染GUI輸出,以避免干擾測試數據。

跑9個通道影像模型推論實測。
小結 - Edge AI SDK 作為強悍硬體的後盾
在實際評測 AIR-055 各項效能表現後,不論是影像模型或地端 LLM 皆展現出不俗的推論能力;工業 I/O 介面配置相當齊全到位,散熱機構與擴充性設計也做工紮實、絲毫不馬虎,整體評測滿意程度絕對是近期筆者接觸到的工業邊緣裝置中數一數二的!
過往邊緣裝置的開發者通常對於運算平台轉換是非常抗拒且痛苦,原因在於硬體變更後不論是開發工具與 runtime library 幾乎都是要打掉重建,而 Edge AI SDK 所提供真正的隨插即用體驗,透過預先配置的硬體與最佳化的軟體堆疊,不僅大幅降低了 AI 應用的開發週期與成本,更能有效免去開發者前期的摸索期與相容性踩坑成本!
(責任編輯:謝嘉洵)
- 全球首款 Qualcomm IQ-9075 量產工業電腦:研華 AIR-055 開箱與 Edge AI 實作全紀錄 - 2026/10/01
- 以MCU開啟Edge AI新境界:Renesas RA8P1實測 - 2025/10/22
- Windows on Snapdragon部署GenAI策略指南 - 2025/09/23
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊!



