|
View Categories

Realtek AMB82 MINI 內置 NPU如何實現AI功能?

閱讀時間: 1 分鐘

AMB82 MINI 開發板

Realtek AMB82 MINI 是Realtek Ameba Pro2 系列的 AI Camera 開發板,這是一款專為 AIoT(人工智慧物聯網)應用設計的開發板,其中一大亮點就是其內建的 NN(Neural Network,神經網路)引擎,也稱為 NPU(Neural Processing Unit,神經網路處理器)。這個功能讓 AMB82 MINI 能在邊緣設備上也能直接執行 AI 推論,無需依賴雲端運算,實現更快速且節能的智慧應用。

開發板主要特色 #

1. 內建 NPU,AI 加速運算 #

AMB82 MINI 內置的 NPU 透過專用硬體加速、並行運算與本地即時處理,有效加快 AI 模型推理速度,運算效能達 0.4 TOPS(Tera Operations Per Second),支援多種主流 AI 模型如 Yolov4-Tiny、TensorFlow Lite 精簡版等,能即時進行物件偵測、語音辨識、臉部辨識等 AI 任務。

2. 低功耗、高效能 #

採用 RTL8735B 單晶片設計,採用最高 500MHz的32-bit Arm v8M運算核心,支援毫秒級快速啟動及微安級超低功耗,非常適合電池供電的 AIoT 邊緣設備,如智慧攝影機、感測器等。

3. 多元應用場景 #

內建 NPU 讓 AMB82 MINI 能在本地端即時處理影像(最高 1080p@30fps 視訊編碼)、音訊與感測數據,應用於智慧家庭、工業自動化、安防監控、智慧門禁等多種場景123。

4. 豐富的開發資源 #

支援多種開發平台(如 Arduino IDE、RTOS、IAR、GCC),方便開發者快速部署 AIoT 解決方案。

支援常用AI框架和工具 #

Realtek AMB82 MINI 的內置 NPU 支援多種常用 AI 框架和工具,方便開發者快速部署 AI 模型於 AIoT 裝置上:

  • TensorFlow Lite 精簡版
    AMB82 MINI 支援 TensorFlow Lite 模型,適合在資源有限的邊緣設備上運行輕量級神經網路,實現影像分類、物件偵測等功能。
  • YOLOv4-Tiny 預訓練模型
    官方提供 YOLOv4-Tiny 的預訓練模型範例,可用於即時物件偵測,支援 COCO dataset 的 80 種物件類別,並有 Arduino 範例程式碼可直接使用。
  • Arduino IDE 開發環境
    AMB82 MINI 支援 Arduino IDE,並提供包含預訓練模型的人臉檢測、人臉識別、物件偵測等範例,方便開發者快速上手。
  • 官方標準 SDK
    除 Arduino 外,瑞昱也提供標準 SDK,適合進階開發者進行更靈活的 AIoT 應用開發。

至於 PyTorch,AMB82 MINI 並沒有直接支援完整的 PyTorch 框架。PyTorch 通常用於模型開發和訓練階段,然後將模型轉換成 TensorFlow Lite 或其他輕量格式,部署到 NPU 上執行推理。

將 PyTorch 模型轉成 TensorFlow Lite 格式的核心是先轉成 ONNX,再轉成 TensorFlow SavedModel,最後轉成 TensorFlow Lite。這樣的流程既保留了模型的結構與權重,也能利用 TensorFlow Lite 的輕量特性,適合在 Realtek AMB82 MINI 這類具備 NPU 的 AIoT 裝置上高效推理。

自訂模型如何部署 #

使用者可透過官方模型轉換服務將自訂訓練的模型轉成 AMB82 MINI 支援的 .nb 格式,再利用 Arduino IDE 和官方範例程式,輕鬆部署並運行自訂 AI 模型於 AMB82 MINI 開發板上。部署自訂 AI 模型的流程大致如下:

1. 訓練並準備模型: #

先在 PC 或雲端環境(如使用 YOLOv4-Tiny、YOLOv7-Tiny 等架構)訓練自訂模型,完成後將模型權重與設定檔打包成壓縮檔。

2. 模型轉換成 .nb 格式 #

將訓練好的模型壓縮檔上傳至 Realtek 官方提供的線上模型轉換平台(例如 Ameba AI Convert Model 網站),等待約 3-5 分鐘即可取得轉換完成的 .nb 格式模型檔案。這是 AMB82 MINI NPU 可識別的專用格式。

3. 替換或新增模型檔案 #

將下載的 .nb 檔案複製到 Arduino 開發環境中指定的模型資料夾,並依照用途重新命名,例如物件偵測模型命名為 yolov4_tiny.nb,人臉偵測為 scrfd.nb 等。也可以放置於 SD 卡中,並在程式中設定從 SD 卡載入模型。

4. 修改程式碼選擇自訂模型 #

在 Arduino IDE 中打開官方提供的 Neural Network 範例(如 ObjectDetectionCallback),將程式中的模型選擇從預設改為自訂模型(例如將 modelSelect 參數改為 “CUSTOMIZED”),並確保程式能正確讀取新的 .nb 檔案。

5. 編譯並燒錄程式 #

使用 Arduino IDE 將程式編譯並燒錄到 AMB82 MINI 開發板,完成後即可執行自訂模型的 AI 推論任務。

跑的動Small LLM? #

根據目前公開資料與規格,AMB82 MINI主要定位於低功耗邊緣 AIoT 裝置,內建的 NPU 運算力約為 0.4 TOPS,最高 500MHz,內建 RAM 約 512KB,Flash 16MB,資源有限,無法承載大型 LLM 所需的龐大計算與記憶體需求,適合執行輕量級的神經網路模型(如 YOLOv4-Tiny、臉部辨識、音頻分類等),但並不適合直接跑動大型語言模型(Large Language Models, LLM)或 Small LLM。

》延伸閱讀:

AMB82 mini – 即時串流 Edge AI 開發板

Getting Started with AMB82 MINI

PyTorch to TensorFlow Lite 模型轉換實作

 

 

Powered by BetterDocs

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *