Super版NVIDIA Jetson Orin Nano到底多「超級」？技術專家揭密

Posted By MakerPRO編輯部 on 4 月 2, 2025 in AI PC, Edge AI開發地圖, LLM, Multimodal, 活動報導, 產品新訊, 開發套件 | 0 comments

2024年聖誕節前，NVIDIA創辦人黃仁勳(Jensen Huang)親自端出最新嵌入式AI電腦Jetson Orin Nano Super，可說在業界投下了一顆震撼彈──這除了因為其硬體規格基本上與2023年發表的前一代產品Jetson Orin Nano無二致，效能卻號稱提升了1.7倍，算力從40 TOPS提升為 67 TOPS，記憶體頻寬從每秒68 GB提升至102 GB，能更順暢執行生成式AI模型；更重要的是，Super版開發套件售價從前一代的499美元下降到249美元，讓這款已經是入門級邊緣運算產品的「親民度」再加倍。

然而瞬間成為熱門話題的Jetson Orin Nano Super到底有沒有像NVIDIA官方所宣稱的那麼「超級」？在市場普遍缺貨的情況下，好奇的開發者們實在不容易立即驗證。為此，MakerPRO攜手工業電腦大廠研華(Advantech)，還有人稱「夜市小霸王」的資深開發者尤濬哲博士，透過一場線上研討會，與將近400位聽眾分享了利用一台搭載Jetson Orin Nano、經由軟體升級為Super模式的邊緣運算系統進行之性能實測結果，以及部署視覺語言模型(VLM)實現精準影像辨識並以文字呈現結果的應用範例。

「Super」等級的AI邊緣運算系統

研華在2023年NVIDIA第一代Jetson Orin系列AI電腦問世時，就推出了具備搭載Orin NX或Nano選項、支援JetPack 5.1軟體套件與整合ROS2作業系統的工業級無風扇裸機電腦(barebones PC) EPC-R7300，機身體積僅152×173×50毫米(mm)，並具備多元化的後置I/O連接埠設計(包含RS-485、RS-232、USB、HDMI 2.0、GbE LAN及M.2插槽)，可滿足機器人、智慧監控等各種邊緣AI應用需求。

而隨著Jetson Orin Nano Super的發表，研華也宣佈推出配備8GB Orin Nano、透過軟體升級Super模式並支援NVIDIA JetPack 6.2的EPC-R7300機型；該產品預先安裝了Ubuntu作業系統、128GB NVMe SSD，是實現運用LLM、VLM和視覺轉換器(ViT)等生成式AI模型應用部署的理想選擇。研華產品專家陳冠今針對EPC-R7300的規格進行了詳細的介紹，表示該系統與Orin Nano Super開發套件最大的差異，在於預先配備了作業系統與SSD，因此對使用者來說是立即可用的。

除了有5種I/O配置選項以滿足不同應用需求，EPC-R7300具備堅固的機箱設計，支援-20至 60ºC的寬廣工作溫度範圍，與寬輸入電壓(9~36 VDC)設計，同時支援高抗振性(3.0 Grms)，可部署於嚴苛的工業應用環境。因為Orin Nano Super可高效支援參數少於100億(10B)的模型，此邊緣運算系統能輕鬆執行自然語言理解和生成等任務，實現對話式 AI、物聯網語音介面、即時翻譯、零售分析以及工業數據和視覺處理等應用。陳冠今並分享了一個生成式AI互動自助服務機應用案例，展示該系統能在智慧零售商店場景中發揮的功能優勢。

搭載Orin Nano Super邊緣運算系統效能實測

在研華產品專家針對EPC-R7300產品特性與應用優勢進行詳細介紹之後，尤濬哲以利用該系統進行的實測，與現場聽眾一起深入探討了 Super模式的Orin Nano的實際效能表現，是否真能讓生成式AI應用部署更如魚得水。他以Llama 3.2模型為基礎，測試Super模式(MAXN)、25W、15W三個版本的執行效能，從總時長、載入時間、提示評估速度、推理速度四個指標進行評估。

測試結果顯示，Super模式確實帶來了顯著的效能提升，在總時長部份相較於15W模式縮短65.41%，推理速度則提升152.98%，基本符合NVIDIA聲稱的1.7 倍效能提升。尤濬哲指出，雖然不同版本在載入時間部份變化不大，提示評估速度在 Super模式甚至出現下降，但應該與樣本數或其他因素的影響相關，整體而言，Super版Orin Nano適合需要高效AI推論的邊緣運算應用。

他接著分享了以VLM模型(NanoVLM的VILA 1.5)在Orin Nano Super版本的EPC-R7300上，執行讓AI透過理解圖片內容來判斷道路交通擁擠程度、員工工作狀況與工地安全，並生成文字描述結果的應用案例。在第一個案例中使用Webcam拍攝電腦螢幕的道路影像，系統會根據看到的車流量情況來回覆「empty」或「busy」的狀態形容詞。

在第二個案例中，是使用Webcam拍攝人體的各種行為動作，模型會在判斷後做出「這位員工正拿著手機」、「這位員工正在打字」…等等狀態的回覆；此外以VLM辨識工地作業畫面，系統能直接透過影像場景理解施工區域的環境狀況與工人安全行為，識別出工地雜亂缺乏維護，或是工人未穿戴防護裝備、使用不當工具作為臨時梯子等等的情況。

藉由實際的應用案例示範，聽眾們對於新一代的NVIDIA Jetson Orin Nano Super平台可提供的更強大生成式AI推論功能都有更深刻的了解，可期待在接下來將會看到更多創新應用在邊緣端實現。而研華除了期望透過EPC-R7300對最新技術的支援，滿足不同產業領域客戶與開發者在高性能AI應用部署方面的各種需求，針對部署過程中的各種技術難題與挑戰，也可透過具備豐富資源的線上社群提供全方位的支援，歡迎Edge AI開發者多加利用。