NVIDIA Orin Super方案LLM實測與開發實務

關於此課程
2024年底黃仁勳突然丟出一個震撼彈:NVIDIA的AI主機“Jetson Orin Nano Super Developer Kit”,效能提升1.7倍,具有Cuda、cuDNN神經網路且透過全新的架構可以處理機器人以及大型語言模型,更重要的是 – 售價砍半,台幣一萬有找!事實上,你手上若有舊版的Jetson Orin Nano,現在即可透過軟體升級來達成效能提升;不只是Orin Nano,Orin NX也有Super模式,效能一樣提升近50%。 在目前AI一窩瘋的熱潮中,有台性能提升且價格優惠的高CP值解決方案出現,的確太誘人了,但真的如「說的」那麼好?這樣的性能能滿足Local LLM或小型語言模型(SLM)的應用?或者,它適合什麼樣的Edge AI應用?開發上需注意哪些實務問題呢?
課程內容
NVIDIA Orin Super方案LLM實測與開發實務
學員評分和評論
還沒有評論