作者：陸向陽
圖1 NVIDIA Jetson Orin Nano Super開發者套件（圖片來源：NVIDIA）
許多3C產品（包含創客硬體）會趕在每年9月至11月發表以利緊接而來的聖誕銷售，而NVIDIA也加入聖誕搶錢行列，由其創辦人黃仁勳（Jensen Huang）親自介紹新款Jetson Orin Nano Super的嵌入式開發板產品，宣稱在生成式人工智慧（Generative Artificial Intelligence, GenAI）方面的效率為過往的1.7倍，達70TOPS。
嚴格來說Jetson Orin Nano Super與去（2023）年3月推出的Jetson Orin Nano在硬體上毫無差別，重點是透過軟體更新把過去的功耗上限解鎖（稱為Super Mode超級模式），從15瓦提升到25瓦，板子上的GPU運作時脈從625MHz提高到1,020MHz，CPU也從1.5GHz提高到1.7GHz，並透過各種標竿測試後表示有1.7倍的效能提升。除了效能提升外也降價，過往要價499美元，現在Super版降至249美元。
由於是透過軟體更新達成的，所以過去已經買了Jetson Orin Nano或Jetson Orin NX（較Orin Nano高規）的用戶，如今也可以透過軟體來解開功率上限，一樣獲得效能提升，其中Jetson Orin NX本來功耗就比較高，透過這次的軟體解鎖可以到40瓦，比Orin Nano的25瓦更高。
升速後的標竿測試結果
為了證明時脈提升、功耗提升真的可以讓AI效能提升，官方也揭露若干測試數據，包含在大語言模型、視覺語言模型（VLM）、視覺轉化（Vision Transformer, ViT）模型等三方面都測試了七種模型，21組測試下來，最低也有1.2倍提升，最佳則可到2.0倍，概略而言即黃仁勳所言的1.7倍。
圖2 NVIDIA揭露Jetson Orin Nano在Super Mode下的AI加速程度（圖片來源：NVIDIA）
既然Orin Nano、Orin NX都可開啟超級模式，且兩套硬體開發套件也都依據記憶體多寡而有分別款，Nano有4GB版、8GB版，NX有8GB版、16GB版，四款在超級模式下提升多少？
若以精度為整數8位元（INT8）來檢視，Orin Nano 4GB在稀疏下是34TOPS，密度下是17TOPS，兩者大體都呈現一倍的差異。如此，Nano 8GB有33～67TOPS，NX 8GB有38～77TOPS，如此即呼應黃仁勳概略所述的70TOPS。
圖3 四款Jetson Orin系列在超級模式下的提升比較表（圖片來源：NVIDIA）
最後，NVIDIA的作法其實在創客領域早有前例，樹莓派單板電腦一推出就提升超頻（Overclock）功能，一般而言晶片超頻損壞是不在保固內的，但樹莓派官方表示超頻導致故障仍在保固內。
晶片運作與軟體息息相關，過去IBM Cell晶片內有9個SPE（Synergistic Processing Elements）核心，但製程關係有1個核心實際運作不佳，故被關閉。與此類似的，有時軟體改善是允許電路以更高能耐運作的，如此將讓用戶獲益。
（責任編輯：謝嘉洵）
延伸閱讀
NVIDIA Jetson Orin Nano Super Promo Video（黃仁勳推廣Jetson Orin Nano Super的影片，約2分鐘，一如既往的新品介紹方式：從他家中的烤箱中端出）
- 加入聖誕搶錢行列！NVIDIA推超級模式的Jetson Orin Nano - 2025/01/03
- 創客積木M5Stack加入LLM戰局 - 2024/11/29
- MLPerf大語言模型、生成式AI測項觀察 - 2024/11/27
.jpg)
.jpg)