【CAVEDU講堂】 Google Mediapipe 手勢控制LED呼吸燈

Posted By CAVEDU 教育團隊 on 3 月 30, 2022 in Arduino, Google, 教學文 | 0 comments

MediaPipe是一款由Google於2019年開發並開源處理機器學習應用框架專案，提供了跨平台的相關應用，我們之前已經介紹了 Mediapipe 豐富的範例，並於 Raspberry pi 和 Jetson Nano 單板電腦上執行Mediapipe的例子，有興趣的讀者歡迎看看與分享喔！

本篇應用的是 Mediapipe 的 Hand API，由下圖可看到手部各點的定義。

程式會在手掌上標記21個點，本篇是將大拇指和食指的標記抓出來，也就是第4點和第8點，並計算兩點的距離，進而控制「Arduino首次接觸就上手」套件的LED燈，使LED燈產生呼吸燈的效果。

本次專案程式主要是來自 Murtaza 這位 Youtuber，只要在他的網站上CVZONE中註冊就可以免費得到程式碼。建議大家可以觀看 Murtaza的手部追蹤和手勢控制的影片。本範例的實際執行影片如下

https://youtu.be/CLKPZuTcfAo

本文分成以下步驟：

1. 電腦虛擬環境安裝。
2. 手勢控制程式套件安裝。
3. 「首次接觸就上手」的硬體接線。
4. 「首次接觸就上手」的程式燒錄。
5. 電腦端執行手勢控制程式。

第1步 電腦虛擬環境安裝

在執行手勢控制的程式前，需先在電腦中安裝Anaconda軟體並在其軟體中再安裝虛擬環境，安裝步驟請參考本文：【AI人工智慧-神經運算】環境建置：安裝Anaconda、Tensorflow、Keras與openCV（Windows篇）

在此所建立的虛擬環境名為 AI_7697，您可以隨意命名。

第2步 手勢控制程式套件安裝

2-1安裝Mediapipe套件0.8.7.1版：

pip install Mediapipe==0.8.7.1

install mediapipe

p.s.筆者試過，若Mediapipe安裝最新版，會無法執行!

2-2 安裝pyserial套件

此套件是為了讓電腦透過 USB 序列埠與「Arduino首次接觸就上手」套件溝通。

pip install pyserial

install pyserial

第3步 「Arduino首次接觸就上手」的硬體接線

請將「首次接觸就上手」的LED燈，用Grove的連接線另外接到Arduino開發板的D3，因為D3腳位才支援PWM 控制 (預設的D4 無法 PWM)。當然也可以另外找一顆LED來接。