【CAVEDU講堂】NVIDIA Jetson 機器學習專案，結合Intel RealSense D435 景深攝影機進行物件偵測與距離偵測

Posted By CAVEDU 教育團隊 on 6 月 1, 2021 in Jetson Nano, NVIDIA, 影像處理, 教學文 | 0 comments

Jetson Inference範例是NVIDIA 提供給Jetson系列的邊緣裝置進行視覺影像識別的範例，主要的特色在於這些範例都特別強調以NVIDIA Jetson系列邊緣裝置內的GPU進行運算，在實測上也的確發揮了很好的影像識別效果，尤其在物件偵測(Object Detection)所使用的Detectnet範例更有效率的辨識效能，CAVEUD在本網站有詳細的安裝與測試教學文章(請參考連結)。

RealSense D435則是Intel推出的RealSense系列產品之一，這系列的產品主要是以輸出影像深度資訊(測距)的應用為主，RealSense D435透過光學測距的方式進行深度資訊的探測，在應用上有著不錯的探測效果，在CAVEDU 亦有相關的安裝與測試教學(請參考連結)。

影像物件偵測一直都是影像深度學習的重要應用之一，透過神經網路對於物件(Object)的種類進行辨識進而確認物件在影像中的直角座標位置，在辨識上僅能確認物件的影像方位，這樣的影像物件偵測由於缺少了物件與攝影機的相對距離，因此在更進一步的應用上便會受到一些侷限，例如：透過影像資訊控制機械手臂，自動夾取指定的物品、自駕車或無人飛行器精確的迴避障礙物或跟蹤控制。

因此本文將著重在物件與攝影機的相對距離應用在影像物件偵測的實作教學上，希望能夠透過這樣的實作教學讓每個使用者可以進一步的針對影像物件偵測進行測量距離，這次採用的微電腦平台是NVIDIA Jetson Nano 4GB嵌入式系統，與Intel的影像深度攝影機Realsense D435兩者進行整合，本次教學亦針對NVIDIA的GStreamer技術進行簡介，主要是因為NVIDIA的Jetson Inference相關應用，都是透過GStreamer進行影像資料的交換傳輸，透過GStreamer可以有效提升影像處理的效能。

Jetson Inference應用程式操作環境的安裝與設定

Jetson Inference程式操作環境的設定主要是會完成三個環境更新安裝與設定，分別是：

1. Python程式的相依套件程式安裝(如：Pytroch等)
2. Python程式的編譯與路徑參數設定
3. 影像識別相關預訓練神經模型的安裝

有關Jetson Inference程式的安裝與設定，請參閱CAVEDU在本網站的網路教學文章進行安裝即可(請參考連結)。

CAVEDU的Jetson Inference教學文章(請參考連結)

本文所採用的主要的是detectnet這個範例應用為主，因此若使用者對於安裝空間有所斟酌的話，請優先完成這部分的安裝，請注意，本文建議盡可能將detectnet所需要用到的預訓練神經網路模型全部安裝，這樣可以避免未來在應用時產生補充安裝模型的問題。此外這裡的安裝會需要從網路下載大量程式與檔案，因此請務必確認網路傳輸環境在長時間運作下，能夠正常傳輸。

Jetson Inference的範例程式運作，主要是透過CUDA連結GPU的方式進行Tensor-RT的運算，也由於是透過GPU進行運算，在操作影像識別的神經網路運算時有著較佳的運作效能。透過GStreamer進行影像串流的處理，可以有效提升影像傳輸的效能，在Jetson Inference的神經網路運算時，也都是以GStreamer的方式進行影像資料的傳遞。

透過上述這兩方面的技術的整合，對於影像物件偵測是有非常重要的貢獻，根據實測在進行detectnet程式運作的時候，整體約莫會有25FPS的操作效能，這歸功於CUDA有效連結了GPU進行運算產生的效益。

intel Realsense D435深度影像應用程式操作環境的安裝與設定

Realsense相關應用程式操作環境的安裝與設定主要是針對以下三個事項進行設定，分別是：

1. Python相依套件的安裝
2. Realsense應用程式的編譯與路徑設定
3. Realsense-viewer或Python程式的安裝

有關Realsense程式的安裝與設定，請參閱CAVEDU在本網站的網路教學文章進行安裝即可(請參考連結)。