|

助力人形機器人開發 NVIDIA發表開放式基礎模型

   

NVIDIA宣布推出一系列助力開發人形機器人的技術組合,其中包括全球首個開放式、可完全自訂的基礎模型NVIDIA Isaac GR00T N1,提供通用人形機器人推論能力和技能。其他技術包括模擬框架與藍圖,例如用於產生合成資料的NVIDIA Isaac GR00T Blueprint,以及與Google DeepMind及Disney Research共同開發中、專門用於開發機器人的開源物理引擎Newton

GR00T N1現已推出,是NVIDIA預先訓練並提供給全球機器人開發人員的完全可客製化模型系列中的第一款,可加速推動全球受勞動力短缺之苦的產業進行轉型。估計全球勞動力短缺人數超過5000萬人。

NVIDIA創辦人暨執行長黃仁勳表示:「通用機器人的時代已經來臨。有了NVIDIA Isaac GR00T N1及全新的資料產生與機器人學習架構,各地的機器人開發人員將開闢人工智慧(AI)時代的下一個重要領域。」

GR00T N1基礎模型採用雙系統架構,靈感來自於人類的認知原理。「系統 1」是快速思考的動作模型,反映人類的反射或直覺。「系統 2」是一個緩慢思考的模型,用於深思熟慮,做出有條理的決策。在視覺語言模型的支援下,系統2 會對身處的環境和收到的指令進行推理以規劃行動。然後系統1會將這些計畫轉換為機器人身上精確連續的動作。系統1由人類示範的資料及NVIDIA Omniverse平台所產生的大量合成資料訓練而成。

GR00T N1可以輕鬆用於處理一般任務,像是用一或兩隻手臂抓取、移動東西,以及將東西從一隻手臂換到另一隻手臂,或是執行需要長上下文與一般技能組合的多步驟任務。這些功能可以用在搬運材料、包裝和檢查等情況。開發人員和研究人員可針對特定的人形機器人或任務,使用真實或合成資料對GR00T N1 進行後期訓練

黃仁勳在他的GTC大會主題演講中,展示了1X的人形機器人利用建構在GR00T N1上的後期訓練手段,自主執行整理家務的工作。1X與NVIDIA合作訓練AI,讓這款機器人擁有自主能力。全球其他率先使用GR00T N1的人形機器人開發商有Agility Robotics、Boston Dynamics、Mentee Robotics和NEURA Robotics。

NVIDIA宣布與Google DeepMind及Disney Research合作開發的開源物理引擎Newton,可以讓機器人學習如何更高精準度處理複雜任務。Newton採用NVIDIA Warp框架開發,將針對機器人學習進行最佳化,並且相容於 Google DeepMind的MuJoCo和NVIDIA Isaac Lab等模擬框架。這三家公司還計畫讓Newton能夠使用迪士尼的物理引擎。

Google DeepMind與NVIDIA正在合作開發MuJoCo-Warp,預計可以將機器人機器學習工作負載加速70倍以上,並且將透過Google DeepMind的MJX開源函式庫及Newton提供給開發人員使用。Disney Research將成為首批使用Newton推動開發該單位機器人角色平台的公司之一,這個平台將用於驅動下一代娛樂用途機器人,例如於黃仁勳的GTC主題演講中與他一同登台、以《星際大戰》為靈感所開發出栩栩如生的BDX機器人。NVIDIA與Disney Research及Intrinsic共同宣布展開更多合作,為機器人資料工作流程構建OpenUSD管道和最佳做法

這次發表用於產生合成操控動作的 NVIDIA Isaac GR00T Blueprint,就有助於解決這個難題。這個藍圖以Omniverse和NVIDIA Cosmos Transfer世界基礎模型為基礎,讓開發人員只要投入少數的真人示範資料,就能為操控任務產生海量合成動作資料。使用這個藍圖的第一批組件,在短短11個小時裡便產生出78萬個合成軌跡,這相當於6500個小時或連續9個月的真人示範資料。NVIDIA接著將合成資料加上真實資料,相較於只使用真實資料,GR00T N1 的效能提高了40%。將發布GR00T N1資料集,作為更大的開源實體AI資料集的一部分,以進一步為開發者社群提供寶貴的訓練資料。這份資料集也在 GTC大會上公布,目前可在Hugging Face上取得。

NVIDIA GR00T N1訓練資料和任務評估情境現在可從Hugging FaceGitHub下載。用於產生合成操作動作的NVIDIA Isaac GR00T Blueprint,現在同樣能夠在build.nvidia.com上以互動展示的形式提供,或是從GitHub下載。同樣在GTC大會發表的NVIDIA DGX Spark個人AI超級電腦,為開發人員提供一站式系統,可擴充GR00T N1的功能以用於新的機器人、任務和環境,無需自行撰寫大量程式。Newton物理引擎預計將於今年稍後推出。

MakerPRO編輯部
MakerPRO編輯部

Author: MakerPRO編輯部

MakerPRO.cc為華人圈最專注於Maker創新創業、物聯網及共享經濟報導及共筆發表的專業媒體,不論是趨勢分析與評論,或創新實作文章,在華文創新創業媒體領域都具有重要的影響力。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *