Realtek AMB82 MINI 是Realtek Ameba Pro2 系列的 AI Camera 開發板,這是一款專為 AIoT(人工智慧物聯網)應用設計的開發板,其中一大亮點就是其內建的 NN(Neural Network,神經網路)引擎,也稱為 NPU(Neural Processing Unit,神經網路處理器)。這個功能讓 AMB82 MINI 能在邊緣設備上也能直接執行 AI 推論,無需依賴雲端運算,實現更快速且節能的智慧應用。
開發板主要特色 #
1. 內建 NPU,AI 加速運算 #
AMB82 MINI 內置的 NPU 透過專用硬體加速、並行運算與本地即時處理,有效加快 AI 模型推理速度,運算效能達 0.4 TOPS(Tera Operations Per Second),支援多種主流 AI 模型如 Yolov4-Tiny、TensorFlow Lite 精簡版等,能即時進行物件偵測、語音辨識、臉部辨識等 AI 任務。
2. 低功耗、高效能 #
採用 RTL8735B 單晶片設計,採用最高 500MHz的32-bit Arm v8M運算核心,支援毫秒級快速啟動及微安級超低功耗,非常適合電池供電的 AIoT 邊緣設備,如智慧攝影機、感測器等。
3. 多元應用場景 #
內建 NPU 讓 AMB82 MINI 能在本地端即時處理影像(最高 1080p@30fps 視訊編碼)、音訊與感測數據,應用於智慧家庭、工業自動化、安防監控、智慧門禁等多種場景123。
4. 豐富的開發資源 #
支援多種開發平台(如 Arduino IDE、RTOS、IAR、GCC),方便開發者快速部署 AIoT 解決方案。
支援常用AI框架和工具 #
Realtek AMB82 MINI 的內置 NPU 支援多種常用 AI 框架和工具,方便開發者快速部署 AI 模型於 AIoT 裝置上:
- TensorFlow Lite 精簡版
AMB82 MINI 支援 TensorFlow Lite 模型,適合在資源有限的邊緣設備上運行輕量級神經網路,實現影像分類、物件偵測等功能。 - YOLOv4-Tiny 預訓練模型
官方提供 YOLOv4-Tiny 的預訓練模型範例,可用於即時物件偵測,支援 COCO dataset 的 80 種物件類別,並有 Arduino 範例程式碼可直接使用。 - Arduino IDE 開發環境
AMB82 MINI 支援 Arduino IDE,並提供包含預訓練模型的人臉檢測、人臉識別、物件偵測等範例,方便開發者快速上手。 - 官方標準 SDK
除 Arduino 外,瑞昱也提供標準 SDK,適合進階開發者進行更靈活的 AIoT 應用開發。
至於 PyTorch,AMB82 MINI 並沒有直接支援完整的 PyTorch 框架。PyTorch 通常用於模型開發和訓練階段,然後將模型轉換成 TensorFlow Lite 或其他輕量格式,部署到 NPU 上執行推理。
將 PyTorch 模型轉成 TensorFlow Lite 格式的核心是先轉成 ONNX,再轉成 TensorFlow SavedModel,最後轉成 TensorFlow Lite。這樣的流程既保留了模型的結構與權重,也能利用 TensorFlow Lite 的輕量特性,適合在 Realtek AMB82 MINI 這類具備 NPU 的 AIoT 裝置上高效推理。
自訂模型如何部署 #
使用者可透過官方模型轉換服務將自訂訓練的模型轉成 AMB82 MINI 支援的 .nb 格式,再利用 Arduino IDE 和官方範例程式,輕鬆部署並運行自訂 AI 模型於 AMB82 MINI 開發板上。部署自訂 AI 模型的流程大致如下:
1. 訓練並準備模型: #
先在 PC 或雲端環境(如使用 YOLOv4-Tiny、YOLOv7-Tiny 等架構)訓練自訂模型,完成後將模型權重與設定檔打包成壓縮檔。
2. 模型轉換成 .nb 格式 #
將訓練好的模型壓縮檔上傳至 Realtek 官方提供的線上模型轉換平台(例如 Ameba AI Convert Model 網站),等待約 3-5 分鐘即可取得轉換完成的 .nb 格式模型檔案。這是 AMB82 MINI NPU 可識別的專用格式。
3. 替換或新增模型檔案 #
將下載的 .nb 檔案複製到 Arduino 開發環境中指定的模型資料夾,並依照用途重新命名,例如物件偵測模型命名為 yolov4_tiny.nb,人臉偵測為 scrfd.nb 等。也可以放置於 SD 卡中,並在程式中設定從 SD 卡載入模型。
4. 修改程式碼選擇自訂模型 #
在 Arduino IDE 中打開官方提供的 Neural Network 範例(如 ObjectDetectionCallback),將程式中的模型選擇從預設改為自訂模型(例如將 modelSelect 參數改為 “CUSTOMIZED”),並確保程式能正確讀取新的 .nb 檔案。
5. 編譯並燒錄程式 #
使用 Arduino IDE 將程式編譯並燒錄到 AMB82 MINI 開發板,完成後即可執行自訂模型的 AI 推論任務。
跑的動Small LLM? #
根據目前公開資料與規格,AMB82 MINI主要定位於低功耗邊緣 AIoT 裝置,內建的 NPU 運算力約為 0.4 TOPS,最高 500MHz,內建 RAM 約 512KB,Flash 16MB,資源有限,無法承載大型 LLM 所需的龐大計算與記憶體需求,適合執行輕量級的神經網路模型(如 YOLOv4-Tiny、臉部辨識、音頻分類等),但並不適合直接跑動大型語言模型(Large Language Models, LLM)或 Small LLM。
》延伸閱讀:
Getting Started with AMB82 MINI
PyTorch to TensorFlow Lite 模型轉換實作