|

為何Google、NVIDIA和Intel都支持LeRobot開源專案?

   

作者:歐敏銓

長久以來,機器人技術的發展被高昂的硬體成本、複雜的系統整合以及分散的演算法生態所制約。每一家研究機構或企業,都需要從頭開始建立數據管道、訓練流程以及控制介面,這使得機器學習(ML)在機器人領域的應用,儘管前景廣闊,卻難以實現快速、大規模的迭代。如同早期的電腦領域缺乏統一的作業系統或網路協議,機器人學習面臨著同樣的碎片化困境。

正是在這樣的背景下,由 Hugging Face 主導的 LeRobot 開源專案應運而生,並迅速成為全球頂尖科技公司與研究社群共同關注的焦點。LeRobot 的核心技術定位是提供一個統一的、以資料和模型為中心的框架,用以加速視覺語言動作(VLA, Vision-Language-Action)模型在真實世界中的部署。

》延伸閱讀:AI自主再進化:從VLM的理解到VLA的行動

LeRobot試圖扮演的角色,就好比是機器人學習領域的 PyTorch 或 TensorFlow,為開發者提供一套標準化的工具集,讓他們能夠將精力集中在模型創新和應用場景上,而非底層的基礎設施搭建。

Lerobot 是由 Hugging Face 開發的端對端機器人開源程式庫。該庫垂直整合於整個機器人技術棧,支援對現實世界機器人設備的底層控制、高級數據和推理優化,以及最先進的機器人學習方法,並提供了純 PyTorch 的簡易實現。(source

LeRobot 的重要性在於其對可重現性(Reproducibility)、可擴展性(Scalability)可存取性(Accessibility)的承諾。它透過標準化的資料集格式(如 lerobot_dataset)、預訓練模型倉庫(Model Hub)以及統一的評測基準,極大地降低了開發和實驗的門檻。這不僅加速了單個專案的開發週期,更促進了整個社群之間的知識和模型共享,為實現通用型機器人奠定了堅實的技術基礎。

技術定位:機器人學習的「Linux」哲學

LeRobot 的架構設計,深深植根於開源社群協作和模組化創新的「Linux」哲學。它將機器人學習任務分解為幾個核心但可替換的模組,確保任何單位的技術貢獻都能迅速融入並惠及整個生態。

數據標準化與管線(Data Standardization and Pipeline)

機器人學習的成功,七分靠數據。不同感測器、不同機械手臂和不同環境下採集的數據,其格式、時間同步和標註方式往往五花八門。LeRobot 框架的核心貢獻之一,便是引入了強制的數據標準,允許使用者將來自不同硬體的軌跡資料統一轉換為 LeRobot 數據集格式。

LeRobot技術架構(source

這種標準化不僅簡化了數據的載入和預處理,還為跨機構的基準測試提供了基礎。例如,一個在 Dora-LeRobot 專案下用特定機械手臂採集的抓取數據集,可以無縫地用於訓練另一個基於 Intel 或 NVIDIA 平台的機器人,極大地提高了數據資產的價值和流通性。

模型即服務與 Hub 生態(Model-as-a-Service and Hub Ecosystem)

作為 Hugging Face 生態系統的延伸,LeRobot 自然地將模型中心(Model Hub)的概念引入機器人領域。這意味著一個研究員訓練出的行為克隆(Behavior Cloning)模型,可以像下載一個語言模型(LLM)一樣簡單地被其他開發者獲取、檢視和微調。

這種「模型即服務」的理念,打破了傳統機器人專案中模型私有化和難以共享的壁壘。開發者可以利用社群貢獻的基礎 VLA 模型,如基於 Google PaliGemma 的變體或其他多模態模型,直接進行下游任務的微調,而非從零開始,這為資源受限的團隊提供了強大的起點。

統一的評測基準與環境(Unified Benchmarks and Environments)

為了衡量不同模型在真實世界任務中的效能,LeRobot 致力於建立一套透明、公正的評測基準。這包括提供或支持統一的模擬環境(如利用 NVIDIA Isaac Sim 的強大渲染能力)和一致的評測指標。

這一步驟至關重要,因為它將機器人學習從主觀的演示階段,帶入了嚴謹的科學比較階段,確保了模型進步的可量化性,從而引導整個社群朝著更高效、更通用的解決方案前進。

驅動力協同:科技巨頭與開源社群的深度融合

LeRobot 的快速崛起,離不開產業領導者在各自專長領域的深度技術支援和資源投入。它不僅提供了一套優雅的軟體架構來處理 VLA 模型的核心挑戰,更透過與 Google、NVIDIA、Intel 和 Hugging Face 自身的深度協作,構築了一個從雲端訓練到邊緣部署的完整生態閉環。

Google Colab 和 GSoC 的支持,極大地普及了 LeRobot 的入門體驗和人才基礎;Google Cloud/TPU 的合作,則為未來處理 PB 級機器人數據和訓練數十億參數 VLA 模型提供了無限的擴展能力。同時,NVIDIA 的模擬器和 GPU 確保了訓練與部署的效率,而 Intel 的優化技術則保障了模型的廣泛落地。以下進一步說明:

Hugging Face:社群與模型核心

Hugging Face 不僅是 LeRobot 的主要發起者和維護者,更是其核心哲學——開放性與社群協作的體現。Hugging Face 將其在自然語言處理(NLP)和電腦視覺領域建立的模型共享、數據集版本控制和統一 API 的成功經驗,完全複製到了機器人領域。

這種做法確保了 LeRobot 從一開始就具備了強大的社群驅動和透明度,使其能夠快速積累數據資產和多樣化的模型架構。Hugging Face Hub 作為 LeRobot 資產的中央儲存庫,是整個生態系統得以運轉的心臟。

此外,LeRobot專案正努力讓機器人資料收集變得更加觸手可及——無論是在家、在學校,還是在任何地方。其作法包括簡化錄製流程、簡化上傳到 Hugging Face Hub 的流程,以促進社群分享;以及致力於降低硬體成本。此資料集希望能集結全球性的努力,而不僅僅是單個實驗室或機構的貢獻。

Google:加速生態普及與 AI 模型落地

Google 作為全球領先的 AI 基礎設施和研究機構,為 LeRobot 的普及與規模化提供了關鍵的平台與技術支持。

1. Google Colab 的深度整合

首先,在可存取性層面,Google Colab 的深度整合是推動 LeRobot 社群發展的決定性因素。LeRobot 專案的官方指南積極建議並採用 Google Colab 作為雲端模擬和訓練環境(LeRobot Notebooks範例)。這使得任何擁有瀏覽器的開發者,即使沒有配備昂貴的 NVIDIA GPU 或專門的訓練伺服器,也能夠輕鬆地運行複雜的機器人學習專案、數據處理腳本,甚至進行小規模的模型訓練。

Colab 的零配置特性極大地降低了入門門檻,使學術研究人員、學生和業餘愛好者都能親身參與到先進的機器人學習實驗中。

2. 人才培養與專案改進

其次,在人才培養與專案改進方面,Google Summer of Code (GSoC) 成為了 LeRobot 專案改進的催化劑。GSoC 專案為開源機器人社群提供了穩定的資源和導師,用以實現特定的功能和文檔改進。例如,GSoC 曾支持專案改進 Dora-LeRobot 的教學文件,並擴展對特定硬體(如 SO-ARM100 機械手臂)的支援。

這類專案不僅優化了 LeRobot 的核心工具,也培養了一批熟悉該框架的年輕開發者,為生態系統注入了持續的活力。

3.先進AI模型的支持

更重要的是,在先進 AI 模型與雲端運算方面,Google 展現出對 VLA 模型在 LeRobot 框架中應用的前瞻性支持。

在公開的活動和技術演示中,Hugging Face 和 Google 的研究人員共同探討了將 Google 開發的先進 AI 模型,例如基於 PaliGemma 架構的視覺語言動作模型,應用於 LeRobot 框架的可能性。這類模型的集成,將賦予 LeRobot 驅動的機器人更強大的泛化能力和對複雜指令的理解力。

同時,Hugging Face 宣佈與 Google Cloud 的戰略合作,為 Hugging Face 的模型和資料集提供原生支持,特別是針對 Google Cloud 的 TPU (Tensor Processing Unit) 進行優化,極大地加速了大型 AI 模型在機器人領域的訓練速度,將 LeRobot 生態的規模化推向了一個新的高度。

NVIDIA:賦予虛擬與實體算力

NVIDIA 在 LeRobot 生態中扮演的角色是提供無與倫比的算力基礎虛擬模擬環境

在實體硬體層面,LeRobot 框架從設計之初就考慮了與 NVIDIA GPU 的高效協作。無論是高性能訓練階段使用的 DGX 系統,還是在邊緣部署階段使用的 Jetson 系列模組,NVIDIA 的 CUDA 核心和軟體棧確保了 LeRobot 模型能以最低的延遲和最高的吞吐量運行。

由於真實世界的數據採集既昂貴又耗時,基於物理準確的模擬器成為了訓練通用機器人模型的關鍵。在虛擬環境層面,NVIDIA Isaac Sim 和 Omniverse 平台為 LeRobot 提供了關鍵的數據生成和模型驗證場所。

LeRobot 的開發者可以利用 Isaac Sim 的強大渲染和物理引擎來生成大量的合成數據,用於訓練魯棒性更強的模型,並在部署到真實硬體之前,在虛擬環境中對 LeRobot 模型進行嚴格的基準測試。這種虛擬-實體的迴路(Sim2Real)是 LeRobot 實現通用機器人目標不可或缺的一部分。

Intel:優化邊緣部署與異構計算

相較於 NVIDIA 專注於高階 GPU 算力和模擬,Intel 的技術支持則側重於異構計算的優化邊緣裝置的效能最大化

Intel 提供的優化技術,如 OpenVINO 工具包,使得 LeRobot 訓練出的模型能夠被高效地部署到多種 Intel 架構的處理器上,包括 CPU、整合顯示卡 (iGPU) 甚至是專門的 VPU (Vision Processing Unit)。對於許多工業和商業應用場景,機器人需要在能耗和成本受限的邊緣裝置上運行,而 OpenVINO 能夠對模型進行量化和編譯,極大地提高了推理速度,同時減少了功耗。

這種對異構計算的關注,確保了 LeRobot 生態系統不僅能在大規模實驗室中運行,也能真正落地到廣泛的、對成本敏感的邊緣應用中。Intel 的貢獻保證了 LeRobot 的模型具有高度的可移植性(Portability),能在更多樣化的硬體上實現高性能的實時控制。

小結

LeRobot 專案的出現,標誌著機器人學習領域正在從一個分散的、專業化的研究領域,轉變為一個開放的、標準化的、由社群驅動的工程領域。對於 AI 機器人開發者而言,LeRobot 不再僅僅是一個程式庫,它是一種新的開發範式:一個可以依賴社群共同積累數據、共享最先進模型,並在統一基準上進行迭代的協作平台。

隨著通用型機器人的浪潮席捲而來,LeRobot 正穩穩地扮演著這場技術革命中,最為關鍵的基礎設施角色,引領著機器人技術走向真正的普及與規模化。

》延伸閱讀:

huggingface/lerobot

LeRobot 社群資料集:機器人領域的“ImageNet”——何時以及如何實現?

Robot Learning: A Tutorial

LEROBOT: AN OPEN-SOURCE LIBRARY FOR END-TO-END ROBOT LEARNING

LeRobot: The Future of Open-Source Robot Learning Has Arrived

LeRobot模擬學習與硬體選購全攻略(MakerPRO)

SO101手臂教學

LeKiwi mobile robot教學

Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (Aloha Robot Arm)

》開源機器人開發套件:

Standard Open SO-100 & SO-101 Arms

Low-Cost Robot Arm: Koch v1.1

HopeJR-Arm Guide from TheRobotStudio (2025)

LeKiwi Guide from SIGRobotics-UIUC (2025)

ALOHA Guide from Zhao

owenou
連結×感知×推論:CEVA致力打造Edge AI新生態

訂閱MakerPRO知識充電報

與40000位開發者一同掌握科技創新的技術資訊!

Author: owenou

曾投身IT、電子科技媒體報導十多年,因認同Maker運動的創新實作精神,創立MakerPRO,致力結合媒體、產業與PRO Maker、開發者的社群力量,共同推展科技創造力。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *