【CAVEDU講堂】Jetson Orin Nano 邊緣運算電腦執行 Jetson Inference 深度學習影像函式庫

Posted By CAVEDU 教育團隊 on 4 月 19, 2023 in Edge AI, Edge AI教學文, Edge AI開發地圖, Jetson Nano, NVIDIA, 教學文 | 0 comments

本文將說明如何在 Jetson Orin Nano 上安裝 Jetson Inference 這套即時影像深度網路函式庫，使用了 TensorRT 來在 GPU 上執行各種最佳化後的神經網路模型，訓練模型則是使用 PyTorch 框架。

到了 Jetson Orin Nano 在 GTC 2023 發表之後，Jetson Inference 也正式支援了 JetPack 5。本文使用 Jetson Orin Nano 8GB 來安裝並執行相關範例。

Jetson Orin Nano 開箱文請看這裡：最新 NVIDIA Jetson Orin Nano 開發者套件，入門級 AI 的新基線

Jetson Inference 即時影像深度網路函式庫

Jetson Inference  是搭配 NVIDIA 自家 Jetson 平台的即時影像深度網路函式庫，使用了 TensorRT 來在 GPU 上執行各種最佳化後的神經網路模型，訓練模型則是使用 PyTorch 框架。CAVEDU 自從 2019 年 Jetson Nano 發布以來，在執行各種課程上真心覺得 Jetson Inference 相當方便好用，TensorRT 針對資源有限的邊緣運算裝置也進行了各種效能最佳化(榨乾)，希望能有更好的推論速度。

從最初的影像分類、物件偵測與影像分割三大範例開始，陸陸續續擴充到了七個應用，說明如下，詳細資料如使用哪款資料及訓練，提供那些預訓練模型，請由以下連結點入即可：

本文將說明 Jetson Inference 執行於 Jetson Orin Nano 的安裝方式以及以下七個應用的實際執行畫面。如果您想回顧 Jetson Nano 如何安裝 Jetson Inference 請參考：深入使用NVIDIA Jetson Inference機器學習專案 – 電腦視覺圖片分類任務

1.  imageNet：影像分類，訓練資料集使用 ImageNet，模型預設為googlenet，並有其他 ResNet 多款模型可使用
2. detectNet：物件偵測，模型預設為 SSD-Mobilenet-v2 (使用 COCO 資料集)，並有其他 PeopleNet、DashCamNet 多款模型可使用
3. segNet：影像語意分割，提供了 Cityscapes, DeepScene 與 Pascal VOC 等多個資料集的預訓練模型。
4. poseNet：姿勢估計，可用於偵測骨架關節點，模型預設為 Pose-ResNet18-Body
5. actionNet：辨識畫面中的動作類別，屬於分類應用。
6. 移除背景：使用 U²-Net 來移除背景，也可置換其他背景圖片。
7. 深度預估：從一般 RGB 影像來推估相對深度的技術。

Jetson Orin Nano benchamark

根據 NVIDIA 原廠所提供的效能比較，以下兩圖可看到各 Jetson 平台針對諸多預訓練網路的推論速度，其中 Jetson Orin Nano 又分成 4GB 與 8GB 兩個版本。