【CAVEDU講堂】在Jetson Nano上執行Google Mediapipe 立即可用的辨識方案超好用!

作者/圖片來源:CAVEDU 教育團隊

Google Mediapipe 針對即時串流媒體提供了開放原始碼且跨平台的機器學習解決方案,不需要深度攝影機就能偵測臉部、臉部格點、姿勢、2D物件體積以及手指等等,非常厲害。支援的平台包含 Android, iOS, C++ python、JavaScript 與自家的Coral運算裝置等平台,另外經過CAVEDU實際測試,在Jetson nano與Raspberry Pi上都有很不錯的執行速度。

Google Mediapipe 提供了非常多立即可用的應用,根據首頁說明,目前即可用的方案約有16種,請注意,目前並非所有平台都支援所有方案,請根據所要的應用來看看是否有更快上手的方法。但基礎應用如臉部偵測、臉部網格、手勢、姿勢等則各平台都有。

迫不急待想要先玩一下的朋友,mediapipe 提供了 colab 的版本,直接點開來就可以玩啦,如以下就是 hand 範例 的 colab 執行畫面,自行上傳一張有手的照片就可以辨識手部的細微動作與各關節位置。對於各個方案所使用的神經網路模型請點我

在 Jetson Nano 上安裝 Mediapipe

本文根據PINTO0309網友的教學,成功在 Jetson Nano 上完成 mediepipe 的環境,並可順利執行各個 python 範例。它另外也提供了 Raspberry Pi 的做法,希望對您有幫助,happy making ~

  1. 取得一套可開機的 Jetson Nano ,歡迎參考CAVEDU部落格的Jetson相關文章喔!也歡迎買一本書來慢慢跟著做~
  2. 開機,並開啟 ternimal,依序輸入以下指令來安裝所需套件。

1
2
3
4
5
6
7
8
9
10
11
sudo pip3 install opencv_contrib_python
sudo apt-get install curl
git clone https://github.com/PINTO0309/mediapipe-bin
cd mediapipe-bin
./v0.8.5/numpy119x/mediapipe-0.8.5_cuda102-cp36-cp36m-linux_aarch64_numpy119x_jetsonnano_L4T32.5.1_download.sh   (這個 sh 檔會下載一些檔案)
sudo pip3 install numpy-1.19.4-cp36-none-manylinux2014_aarch64.whl
sudo pip3 install mediapipe-0.8.5_cuda102-cp36-none-linux_aarch64.whl
sudo pip3 install opencv-python dataclasses
cd ~
git clone https://github.com/Kazuhito00/mediapipe-python-sample
cd mediapipe-python-sample

經過一番奮戰,終於完成囉!

執行範例

在此直接使用 https://github.com/Kazuhito00/mediapipe-python-sample 的範例,在部分情況下 FPS 可到 40 以上!您也可以試試看 mediapipe 原廠的 python 範例

手勢偵測


1
$ python3 sample_hand.py

(本文經CAVEDU同意轉載,原文連結;責任編輯:謝涵如)

CAVEDU 教育團隊

Author: CAVEDU 教育團隊

CAVEDU 教育團隊是由一群對教育充滿熱情的大孩子所組成的機器人科學教育團隊。致力推動國內機器人教育。

Share This Post On

發表

跳至工具列