【CAVEDU講堂】NVIDIA Jetson AI Lab 大解密！範例與系統需求介紹

Posted By CAVEDU 教育團隊 on 10 月 8, 2024 in LLM, NVIDIA, Stable Diffusion, 案例研究, 程式教育, 開箱文 | 0 comments

文章導覽

作者：CAVEDU 教育團隊

之前我們介紹了NVIDIA Jetson AI Lab其中的一個範例text-generation-webui ，如何安裝及使用。本次先把目前的範例整理一下大概介紹一下功能及使用需求。

相關的安裝教學可以參考 [NVIDIA Jetson AI Lab範例：text-generation-webui]，JetPack 6.0 正式版安裝請參考 [NVIDIA Jetson AGX Orin 安裝 JetPack 6.0 正式版]。

本文要為您詳細介紹 NVIDIA Jetson AI Lab 各範例的功能與系統需求，有些需要JetPack 5有些需要JetPack 6，有些範例只能在AGX Orin上執行有些Orin Nano就可以執行，詳細的的需求會隨著範例的進度而更新，這裡列出目前2024年7月的進度(有些範例會隨著時間改版或刪除)。

之前介紹 NVIDIA Jetson AI Lab 時，有些使用者在使用範例時會發生錯誤或無法使用的情形，因此我們整理了一篇文章，列出了可以使用的裝置以及可使用的 JetPack 版本。大家可以參考一下自己需要使用的範例來決定要使用的裝置。

不過，這些介紹會隨時間而更新，最終版本還是需要參考原廠網站的介紹。

這篇文章將有助於你了解哪些裝置和 JetPack 版本適合你所需的範例，希望能幫助你在使用 NVIDIA Jetson AI Lab 的過程中更順利。

首先介紹一下NVIDIA Jetson AI Lab可以使用的硬體，根據 Jetson AI lab 頁面，目前可執行相關範例的 Jetson Orin 裝置如下 (相關Orin系列設備，如要購買可參考機器人王國商城或來電洽詢 0223062900 )：

Jetson AGX Orin 64GB Developer Kit 64GB
Jetson AGX Orin Developer Kit 32GB
Jetson Orin Nano Developer Kit 8GB

Jetson Orin NX 經我們測試後也可以執行，詳細結果可以參考以下表格。

以下根據模型的模態、資料處理或生成類型，大致分為以下幾個類別。

Text 文字類別 (LLM)

Image Generation(影像生成)

支援以 Stable Duffision 為主的影像生成模型。

Vision Transformers (ViT)

Vision Transformers 相較於 CNN，將影像分割成一系列小的固定大小的 patch，並將這些 patch 視為序列輸入 Transformer 模型。這些模型最初是在自然語言處理 (NLP) 領域發展出來的，並在處理序列數據方面展現出強大的能力。ViTs 的優點在於它們能夠自動學習影像的長程依賴關係，而不是像 CNN 那樣依賴於卷積核的局部感知。這使得 ViTs 能夠更靈活地處理複雜的影像資訊，

RAG & Vector Database（檢索增強生成和向量資料庫）

NanoDB 是一種專為嵌入式系統設計的小型資料庫系統，它在資源有限的環境下提供高效的資料存儲和檢索功能，特別適合運行在像 Jetson Nano 這類邊緣裝置上，因為它具有輕量化的設計，能夠有效地管理記憶體和運算資源。
LlamaIndex 是一個專為處理大規模文字資料而設計的索引系統，特別適合用於自然語言處理 (NLP) 任務。它能夠快速高效地對大規模文字進行索引和查詢，提供了高度最佳化的資料檢索能力。這對於需要處理大規模文字資料集的應用場景，如搜索引擎或語義理解系統，尤其有用。
Jetson Copilot 是一個專為 NVIDIA Jetson 平台設計的多功能輔助工具，希望簡化開發者在嵌入式系統上的開發過程。這個工具結合了多種功能，包括模型推理、資料處理、自動化流程控制等，使得在 Jetson 系列設備上開發 AI 應用變得更加高效。

Audio(聲音)

Whisper: Whisper 是一種專門設計用於語音辨識的技術，能夠高效將語音轉換為文字。該技術的特點是高準確率的語音辨識能力，即使在嘈雜環境中也能有效運行。
AudioCraft: AudioCraft 是一個專為音頻生成和處理設計的工具套件。它可以生成各種類型的音效、音樂或語音片段，並提供了豐富的處理功能來調整和最佳化音頻輸出。
VoiceCraft: VoiceCraft 是一個專門為語音合成設計的工具，能夠將文本轉換為自然流暢的語音輸出。這個技術非常適合用於開發語音助手、語音導航系統或其他需要語音交互的應用。