如今各個領域都在使用AI來創造全新的應用價值，其中採用深度學習的先進視覺AI技術，更是展現出極具說服力的影響力，包括讓人們的移動方式更有效率、活動空間更為安全，並發展出製造、配送和回收商品或廢棄物的新方法。

在AI落地的背後，NVIDIA不僅在雲端、資料中心扮演了模型訓練的舉足輕重角色，在邊緣場域的部署上，同樣也提供高度相容的Jetson軟硬體解決方案，讓開發者只需開發一次，即可在任何地方部署，進而能加速應用上市落地的時間。

如果您正準備投入AI的視覺應用開發工作，但對Jetson Orin™ 模組及開發套件仍不熟悉，千萬不要錯過了這堂由尤哲哲老師開的課，在一小時的時間中帶領您掌握它們的功能特色及開發工具環境，並實際Demo視覺AI應用的開發案例。

最後由益登科技講師Forrest展望Jetson Orin™ 的「前瞻應用」，包括「數位孿生」（Digital Twin）的AI設計與應用需求，以及認識適合開發對話式人工智慧的TAO 工具套件。

單元1: 邊緣運算的需求與限制

尤濬哲老師首先就『邊緣運算』概念作介紹：「邊緣運算是將拍攝影像或感測資料直接在應用場域現場做運算處理，而非送到雲端運算。」以自動駕駛的車輛為例，當它在路上偵測到前方有行人時，若需將偵測到的資訊上傳到雲端計算，再發出指令剎車，恐怕緩不濟急；『邊緣運算』的概念是將這些偵測到的資訊，直接在自身模組上運算並做出即時反應。

由於現場部署的環境限制大，『邊緣裝置』必須達到最佳化運算力、低功耗、體積小與高效能等目標，傳統的筆電、電腦都無法達成這樣的目標，Jetson Orin模組這樣的迷你主機模組則是更理想的選擇。

單元2: Jetson Orin模組的效能實測

尤濬哲表示，Jetson Nano系列家族自2014年問世以來，至今近10年，最新的Orin AGX效能與早期的Jetson Nano相比較，效能超前4~5倍(參照附圖)，且全功能運轉時的耗能僅25W，體積更遠小於桌上型電腦。他實機展示一些使用情境，例如以PeopleNet肢體檢測來做比較，待機狀態功耗約10W上下，單人瑜珈偵測(FPS123)約20W，團體舞蹈偵測(FPS116.4)約21W左右，這樣的功耗表現令人滿意。

Jetson Orin Nano的效能，大約介於RTX3060、RTX3070兩者顯示卡GPU之間，但耗能僅1/3~1/2，還沒算上主機零組件的耗能。另外尤濬哲以高速公路車輛偵測影片為例，在DARKNET物件檢測部分，以目前常用的YOLOv4與較新的YOLOv7兩種演算法比較，辨識車輛的準確度都夠高，功耗約30~33W左右。YOLOv8的辨識度差不多，功耗則降低到近20W，且溫度都沒超過50℃。

單元3: NVIDIA OMNIVERSE平台 與 TAO 工具組

Forrest則分享NVIDIA的OMNIVERSE與TAO工具包的應用，他以電影『鋼鐵人』中，史塔克操控虛擬影像為例指出，將現實世界化為虛擬影像的應用將會愈來愈普及，這和數位孿生（Digital Twin）受到重視很有關係，NVIDIA推出的Omniverse平台則有助於數位孿生目標的實現。他說：「以汽車的開發過程為例，其外型的設計發想、內裝的設計模擬，到自動駕駛情境的導入，都可用Omniverse在數位世界先做出一套來。

Forrest更分享了目前在AI模型的訓練上，還需要『餵養』大量的資料跟樣本，針對訓練AI以產出所需的模型，NVIDIA也提出了一個解決方案：TAO Toolkits。TAO 工具套件是一款 Python 工具套件，讓開發者可以使用自己的資料，自訂專用、經過預先訓練的神經模型。TAO 工具套件的目的是在自訂企業資料上，輕鬆重新訓練最先進、經過最佳化且預先訓練的模型。