|

NVIDIA與Hugging Face為LeRobot導入全新開源模型與框架

   

開源人工智慧(AI)展現了當模型、資料與工具能被共享時,開發者能以更快的速度推動創新。機器人領域同樣具備這樣的機會,但實體AI開發的進展,仍可能受到成本高昂且分散的資源所限制,這些資源涵蓋大型資料集、機器人基礎模型,以及模擬、運算與驗證工具等。

為此,NVIDIA宣佈正與Hugging Face共同合作,將適用於人形機器人的NVIDIA Isaac GR00T 1.7開放式推論視覺語言動作(VLA)模型,以及NVIDIA Isaac Teleop框架導入Hugging Face的開源機器人函式庫 LeRobot,NVIDIA Cosmos 3實體AI 模型也規劃於近期導入。這些整合將為開發者提供更易取用且標準化的端對端機器人開發路徑,同時推動開放機器人社群的創新與協作。

Hugging Face共同創辦人暨首席科學長Thomas Wolf 表示:「開源是讓一個領域得以將先進研究轉化為人們可以鑽研、調整並進一步發展的基礎。隨著NVIDIA Isaac GR00T 1.7與Isaac TeleOp導入LeRobot,機器人開發者能利用共享模型、資料與工作流程,在開放環境訓練與評估機器人。再隨著NVIDIA Cosmos 3的計畫導入,社群也將能把前沿的世界模型納入相同的協作循環。」

為機器人基礎模型打造開放路徑

Hugging Face LeRobot開源機器人函式庫用於訓練、執行與分享機器人資料集、模型、策略和工作流程。NVIDIA與Hugging Face的持續合作,將NVIDIA的300萬名機器人開發者與Hugging Face的1,600萬名AI 建構者連結在一起,透過開放式工作流程擴大尖端實體AI工具的可及性。

將NVIDIA的實體AI能力整合至LeRobot,為開發者提供了一套共通方式,透過開放式工作流程來收集與標準化資料、訓練與微調機器人基礎模型、評估效能,並部署模型。整合內容包括:

  • NVIDIA Isaac Teleop是用於機器人資料收集的開源框架,可協助開發者透過標準化且互通的格式,從外部裝置擷取高品質的人類示範資料,並直接在 LeRobot 中擴充資料集、與社群分享資料。
  • NVIDIA Isaac GR00T 1.7作為首款開放且具可商業化的機器人基礎模型,能透過LeRobot工作流程更輕鬆地進行模型後訓練與部署,協助開發者將GR00T與新的機器人型態與任務對接,並具備經基準測試驗證的效能。
  • NVIDIA Cosmos 3 是即將導入 LeRobot 的物理 AI 前沿級世界基礎模型。在真實世界資料有限或收集成本過高時,將協助開發者生成與擴增機器人資料、模擬情境,並支援策略開發。

這些整合建構在NVIDIA已與 LeRobot 串聯的廣泛資源基礎之上,以支援完整的機器人開發循環,包含:

  • 規模最大的開源實體AI資料集,下載次數已超過1,500萬次,內含超過35萬筆真實與模擬軌跡,以及 5,700 萬次抓取動作資料,協助開發者快速啟動機器人工作流程。
  • 基於NVIDIA Isaac SimIsaac Lab的模擬框架,協助開發者在轉移至實體機器人前,先建立環境、生成機器人資料、測試策略並驗證行為。
  • LeRobot Environment Hub 中的NVIDIA Isaac Lab-Arena,讓開發者能快速打造複雜模擬環境的原型,將其註冊至 LeRobot EnvHub,並在 LeRobot 生態系中無縫使用,以訓練與評估 GR00T、Pi 與 SmolVLA 等通用型機器人策略。
  • NVIDIA Jetson Thor與LeRobot Reachy 2的整合,支援在開源人形機器人部署視覺語言動作模型。

要進一步了解如何在LeRobot 使用Isaac Teleop、Isaac GR00T 1.7 與 Isaac Lab-Arena,以進行端對端人形機器人開發,並探索詳細的LeRobot整合工作流程,可參考此連結

MakerPro

訂閱MakerPRO知識充電報

與40000位開發者一同掌握科技創新的技術資訊!

Author: MakerPro

MakerPRO為華人圈最專注於Edge AI開發者社群最新技術趨勢、解決方案評測及產業動態報導的專業媒體,在華文科技媒體領域具有重要的影響力。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *