作者:Jack OmniXRI
今(2024)年法國巴黎奧運除了台灣選手精彩的表現受到全球矚目外,其中被全世界傳得最多的迷因照片,大概就是南韓空氣槍女選手金藝智(Kim Yeji)和混合團體10公尺空氣手槍銀牌土耳其大叔迪凱區(Yusuf Dikec)的對比照了。
前者英姿颯爽,各種專業射擊眼鏡與眼罩上身,而土耳其大叔一派輕鬆,身著短袖T恤,單手手插口袋,無需專業輔助眼鏡,手一舉,雙眼一瞄,就命中靶心,猶如職業殺手般冷靜,一招斃命。於是就有很多人把花俏實用和質樸專業的產品拿來對比,玩出不少有趣哏圖。
藉著這次迷因哏圖,也來和大家分享一下只用單晶片(Micro Control Unit, MCU)等級晶片也能運行微型機器學習(Tiny Machine Learning, TinyML)類型的人工智慧(Artificial Intelligence, AI)應用,如聲音辨識、電腦視覺、時序預測等,就像土耳其大叔,不用花俏的裝備,僅憑多年苦練,就能表現優異。
在上一期專欄「當微處理器(MCU)遇上神經網路處理器(NPU)能擦出什麼新火花?」[1]已有和大家介紹過一款 MCU + NPU 的開發板「Seeed Grove Vision AI Module v2」,其中使用了奇景光電(Himax) WiseEyes2 HX6538 作為主核心晶片,內含二組 Arm Cortex-M55 (1x @150MHz, 1x @400MHz)及一組 Micro-NPU Ethos-U55 (256 MACs @400MHz)。除板上自帶數位麥克風外,亦可外接攝影機模組,方便運行電腦視覺相關應用。
他山之石可以攻錯,以下就參考前不久由 Seeed Studio 舉辦的 Seeed Grove Vision AI Module v2 挑戰賽得獎作品[2],簡單介紹幾個專題給大家認識一下,方便大家能舉一反三,用類似的思路在其它類似的開發板上也能作出屬於自己的創意。
1. 骷髏頭:使用計算機視覺和自定義 YOLOv5 AI 模型創作音樂
作者:Joshua Curry at Lucid Beaming
作品簡介:
本作品利用3D印表機製了一些牙齒及迷你骷髏頭模型,利用攝影機模組取得影像,並自建資料集,使用 Google Colab 及 Yolov5 物件偵測模型進行訓練,再上傳模型到 Seeed SenseCraft AI網站進行模型轉檔及部署回開發板上,最後再將推論(辨識)結果透過 ESP32C3 及 MQTT 設定將結果送到原先在樹莓派上的混音程式,即可在辨識出不同數量、種類的牙齒及迷你骷髏頭時馬上產生對應的音效。
2. 基於 Grove Vision AI 模組 V2 的機器人助理
作者:Jaime Andres Rincon Arango
作品簡介:
利用攝影機模組取得影像,再以開發板進行姿態估測(骨架關鍵點偵測),進而驅動一個具有12組舵機(LX16-A)的小型人型機器人來模仿使用者動作。另外搭配有一個小尺寸OLED(124×64 pixel)作為顯示器,可顯示文字及表情動畫圖案,更有利和使用者的互動。
3.帶有 XIAO ESP32C3 和 Grove Vision AI 模組 V2 的 PIR 門鈴
作者:Team Professional
作品簡介:
24小時連續開啟的即時AI攝影機是非常耗電的。這裡使用ESP32C3作為主控板,大部份情況下採低功耗休眠模式,當接收紅外線熱感測器(PIR)觸發信號時,喚醒ESP32C3及Grove Vision AI Module v2進行人員影像辨識,若不是合法人員,則透過無線模組將警報送到使用者的手機上。這樣的搭配作法會非常有效且節能。
4.用於監控蜂鳥的雙 AI 攝像頭
作者:Ralph Yamamoto
作品簡介:
一般 Grove Vision AI Module v2 是搭配 Xaio ESP32C3 作為通訊及 Arduino 開發介面使用。由於 Xaio 全系列開發板的接腳定義皆相同,所以這個專案改成 ESP32S3,同時亦使用其搭配的攝影機模組,加原先 Grove Vision AI Module v2 的攝影機模組,就可得到兩組攝影機。這裡ESP32S3那組負責當成網路攝影機(IP Camera)記錄影像使用,而另一組則負責影像辨識使用。(註:ESP32S3亦可支援影像辨識用[3])
這兩塊開發板都有支援 Seeed Sense Craft AI 雲端開發平台,可直接取像、建資料集及簡單訓練模型。但為了支援更複雜資料集(四種蜂鳥)及更高推論精度,因此這裡改使用 Edge Impulse 雲端 TinyML 開發平台[4]進行模型訓練及 TFLite 及 Vela(Micro NPU Ethos-U55使用) 轉檔後再上傳到 Sense Craft AI 雲端開發平台,最後再部署到開發板,即可得更佳的推論結果。
5.人臉控制全向輪機器人
作者:Timothy Lovett
作品簡介:
常見的全向輪小車大多是用遙控器驅動車身前進、後退及平移。在這個專案中,在車身前加上攝影機模組,進行人臉辨識及追蹤,並把偵測到的人臉大小及位置變成控制車身移動的命令,使人臉始終保持在畫面中間。而人臉(物件)偵測即是靠 Grove Vision AI Module v2 完成並輸出座標及物件框大小給車身控制程式。當人臉突然移出視野範圍時,則左右旋轉超音波測距模組,探測人員可能位置,當發現人臉時就可從新回到自動追蹤模式。
小結
由上述作品介紹,應該不難看出,以往需要較高算力的單板微電腦或筆電才能作到的AI電腦視覺應用,如今只要靠 MCU+NPU 就能有接近的用法,且僅需極低的功耗使用電池供電就能進行推論,這對於很多常時開啟(Always On)的小型AI應用就能得到更完美的解決方案。
另外透過像 Seeed Sense Craft AI 或 Edge Impulse Studio 這類雲端 TinyML 開發平台,已可達到幾乎不寫程式碼(No/Low Code)就能完成AI應用開發,值得大家多多學習並發揮創意。由於受限於文章篇幅,還有更多的案例無法一一介紹,有興趣的朋友可參考[2][A],而更完整的性能評比亦可參考[B]。
參考文獻
[1] 許哲豪,【vMaker Edge AI專欄 #19】 當微處理器(MCU)遇上神經網路處理器(NPU)能擦出什麼新火花?
https://omnixri.blogspot.com/2024/07/vmaker-edge-ai-19-mcunpu.html
[2] Seeed Studio Lily, Announcing Winners & Cool Projects of Seeed Studio Vision Challenge!
https://www.seeedstudio.com/blog/2024/07/15/vision-challenge-winners-and-projects/
[3] Edge Impulse Stuio, Seeed Studio XIAO ESP32S3 Sense
https://docs.edgeimpulse.com/docs/edge-ai-hardware/mcu/seeed-xiao-esp32s3-sense
[4] MJRoBot (Marcelo Rovai), Computer Vision at the Edge with Grove Vision AI Module V2 (with Edge Impulse)
https://www.hackster.io/mjrobot/computer-vision-at-the-edge-with-grove-vision-ai-module-v2-0003c7
延伸閱讀
[A] Hackster, Grove Vision AI Module v2 Projects
https://www.hackster.io/search?i=projects&q=grove%20vision%20ai%20v2
[B] Mengdu, 024 MCU AI Vision Boards: Performance Comparison
https://www.hackster.io/limengdu0117/2024-mcu-ai-vision-boards-performance-comparison-998505
(本篇文章經同意轉載自vMaker,原文連結;責任編輯:謝嘉洵。)
- 【 Edge AI專欄】使用Intel OpenVINO搭配YOLOv11輕鬆駕馭姿態偵測 - 2024/10/25
- 【 Edge AI專欄】 從2024自動化展看智慧機器人發展趨勢 - 2024/09/27
- 【Edge AI專欄】 單晶片也能輕鬆玩AI影像辨識?難道土耳其大叔來了? - 2024/08/29