創客熟悉的OpenMV也推出內嵌NPU、支援行動AI運算的相機模組了,其核心分別來自ST及ALIF,並上架Kickstarter達標了。這兩款模組的技術特色為何,且看本文介紹。
OpenMV 在 Kickstarter 上推出兩款全新 AI 相機模組:OpenMV N6 和 OpenMV AE3,這是 OpenMV 首次將 AI 加速器整合到其相機模組中,能在低功耗下執行如 YOLO 等即時物件辨識任務,目前已經達標。
先認識一下OpenMV吧,它是一款開源的嵌入式電腦視覺平台,強調設計用來讓使用者能夠輕鬆地在低成本硬體上進行圖像處理與機器視覺開發。它的核心是一塊小型的微控制器開發板,搭載鏡頭與各種感測器,並可使用類似 Python 的程式語言(MicroPython)來撰寫程式碼,非常適合教育用途、創客專案與原型開發。
提供 600 GOPS 的 AI 運算能力 – OpenMV N6
進入AI時代,OpenMV也推出了第一款內嵌NPU(神經運算單元)的OpenMV Cam,可以 30+ FPS 的速度執行行人追蹤、手勢辨識等影像偵測功能。N6的運算核心採用STM32N6,它配備了1 GHz的NPU,可提供 600 GOPS 的 AI 運算能力。N6同時也配備支援高達 5 MP 相機的影像訊號處理器 (ISP)、晶片硬體 H.264 編碼(可錄製 MP4 視訊)、高速 μSD 卡插槽、WiFi/BLE、千兆乙太網路、USB、用於加速影像縮放的 GPU,以及電子設備可將其與任何所需裝置連接的 GPIO 引腳連接。
只有25美元大小 – OpenMV AE3
OpenMV AE3 是OpenMV製造過的最小、功率最低的 OpenMV Cam。它由 Alif Ensemble E3 微控制器提供支持,該微控制器具有雙核處理器和可同時使用的雙 Ethous-U55 NPU。它還配備了板載 GPU,可以加速影像縮放。 OpenMV AE3 功能強大;它可以以~30 FPS 的速度運行 YOLO 等物體偵測模型,在 5V 時僅消耗 60mA(0.25W)。在深度睡眠模式下,它在 5V(2.5mW)下消耗的電流小於 500uA,可在聲音、動作和日期/時間喚醒時實現多年的電池壽命。
OpenMV AE3 非常適合將機器視覺 AI 嵌入各種物件中。它有一個 1MP 高幀率彩色全域快門相機、IMU、麥克風和 8×8 距離感測器,您可以將感測資料直接傳送到其 NPU。然後,您可以透過 USB、WiFi/BLE 或 QWIIC 將其與外界連接。它的背面有一個板對板連接器,帶有大量用於 SPI、I2C、UART、PWM 控制等的 GPIO。它甚至還有專屬的盒子可用。
OpenMV AE3 在滿功率下功耗小於 0.25W,空閒時功耗小於 0.12W,深度睡眠時功耗小於 2.5mW,因此使用三節 AA 電池,它在滿功率下可持續使用一天以上,空閒時可持續使用近三天,深度睡眠時可持續使用四個多月。它的低功耗表現是透過優化 Alif Ensemble E3 的電源控制軟體實現的,在深度睡眠狀態下功耗低於 0.25mW,電池壽命延長了 10 倍,此舉有助於低功耗行動AI應用的實現。
OpenMV AE3的另一特色是能夠同時在其兩個處理器核心上運行 AI 模型,可以讓高效能核心進入睡眠狀態,同時仍使用低功耗核心在麥克風、加速度計和/或陀螺儀資料上運行 NPU 加速的 AI 模型。然後,在偵測到事件時,喚醒主高效能核心來拍攝影像、傳輸資料等。
兩個核心均使用 13.5MB 片上 SRAM 的專用區域,從而允許每個核心同時運行複雜的應用程式。可以共享對 GPIO 引腳等外圍設備和麥克風、加速度計/陀螺儀等感測器的訪問,從而允許您在各個核心之間分配應用程式任務。
使用 Python 程式設計
OpenMV N6 和 AE3 支援在全球數百萬個微控制器上運行的 MicroPython,開發者可以使用廣大社群貢獻的程式庫,透過OpenMV IDE 來對此相機進行程式設計:只需寫簡短的程式碼即可設定好 API 端點的 POST、發布 MQTT 訊息等。OpenMV IDE 是開源且跨平台的,可以在 Windows、Mac、Linux 甚至 Raspberry Pi 上運作。
加快 AI 模型訓練
OpenMV IDE 隨附一個 Model Zoo,可協助您開始使用人體偵測、人體姿勢、影像分割等的 AI 模型。OpenMV也與與 Roboflow 合作,為 OpenMV N6 和 AE3 提供影像分類、物件偵測、姿勢估計和實例分割的 YOLO視覺 AI 模型訓練。同時也與Edge Impulse合作,為OpenMV Cam 的加速度計、陀螺儀和板載麥克風感測器提供簡單的 AI 模型訓練。也可以使用 Edge Impulse 建立超高速影像分類和影像物件偵測模型,例如 FOMO,它可以在 OpenMV N6 和 AE3 上以超過 175+ FPS 的速度偵測多個物件。
(責任編輯:歐敏銓)
- 讓低功耗行動AI落地!OpenMV推 AI 相機模組 - 2025/04/15
- ROHM新推AI微控制器 強調能「現學現推論」 - 2025/04/11
- 智慧機器人應用加速落地 台廠32位元MCU進軍馬達控制/感測核心 - 2025/04/10
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊!