【CAVEDU講堂】Python程式打造Google MediaPipe 深蹲偵測互動遊戲

Posted By CAVEDU 教育團隊 on 3 月 2, 2023 in Edge AI應用案例, Edge AI教學文, Google, python, 教學文, 程式教育 | 0 comments

2022年南港瓶蓋工廠所舉行的Maker Faire 中，在CAVEDU的攤位上，最受到矚目與歡迎的，就是Google MediaPipe 的深蹲偵測互動遊戲了，達到一定的深蹲次數不僅買徽章可以折價，還可以免費獲得摩艾石像3D列印一個，吸引了很多大小朋友，一起來看看當時熱鬧的畫面吧!

https://youtu.be/sMeqfwYyZoE

原理及功能說明

本次的深蹲互動專題，以這篇 Google Mediapipe 深蹲偵測，結合 Arduino 首次接觸就上手所改編的，一樣著重於偵測身體大腿及小腿的角度小於一定的數值，將深蹲次數顯示出來外，並取消了和Arduino的連線。而MediaPipe已經將人體簡化成由點和線所構成的人體線條骨架的樣貌，如下圖所示。

由上圖所示，就是偵測左腿點23(left_hip)到點25(left _knee)的直線距離，和點25(left _knee)到點27(left _ankle)的直線距離，兩條直線所產生的夾角小於120；右腿則是點24(right_hip)到點26(right _knee)的直線距離，和點28(right _knee)到點27(right _ankle)的直線距離，兩條直線所產生的夾角小於120。

也就是說，當左右腳膝蓋彎曲角度小於120度時，字體顏色就會變綠色。只要螢幕上顯示的字體「Left Angle」、「Right Angle」、「Pose」皆為綠色時，次數會加1。

再來是遊戲互動體驗，筆者使用了一顆超大的Enter鍵，當程式開始執行時，畫面會出現指示「Press Enter To Start」，Enter鍵按下去後就可以開始深蹲遊戲，此時就會開始計算深蹲次數。再按一次Enter鍵，次數會歸零，同時又會回到「Press Enter To Start」的畫面。而筆者在每次計算深蹲次數後，都會加上音效，以確保動作完成，如以下所示。