訓練方法大突破：MimicDroid讓人形機器人看影片學習動作！

隨著人形機器人（Humanoid Robots）的硬體設計日趨成熟，如何賦予它們靈活、具泛化能力的「大腦」已成為當前最具挑戰性的戰場。過去，要讓機器人學會一項新技能，工程師必須透過極其昂貴、費時的「遠端操作」（Teleoperation）來手動採集成百上千條機器人運動軌跡。

然而，在機器人高峰會 ICRA 2026 上被選為 Oral 發表（Top-5%）的 MimicDroid 顛覆了這個常規：它讓機器人直接「看人類的日常玩耍影片」，就能在測試時無縫學會如何操控新物體、適應新環境。

這項研究不僅展示了「上下文學習」（In-Context Learning, ICL）在機器人學中的巨大潛力，也與近年來蓬勃發展的跨具身遷移（Cross-Embodiment Transfer）技術遙相呼應。

source

解決痛點：昂貴的資料，與難以跨越的「人機鴻溝」

在機器人領域，上下文學習（ICL） 被視為走向通用人工智慧（AGI）的關鍵。它的邏輯與 ChatGPT 類似：無需在測試時重新訓練或微調模型，只需給機器人一段「人類示範影片」（即視覺 Prompt），機器人就能立刻舉一反三，執行新任務。

但要訓練出這種「舉一反三」的能力，以往的方法仍依賴海量的機器人遠端操作資料，這嚴重限制了技術的規模化。

如果直接用「人類影片」來訓練呢？這會面臨兩個致命的「具身鴻溝」：

1. 視覺差異（Visual Gap）： 人類的手有皮膚、衣服，背景也五花八門。機器人很容易「偷懶」只去辨識人類的手，導致部署到鋼鐵身軀的機器人上時直接失效。
2. 結構差異（Embodiment Gap）： 人手與機器人關節的自由度、物理極限完全不同，如何將人類的「動作意圖」精確翻譯給機器人？

破局之道：將人類影片轉為「機器人提示詞」

由美國德州大學奧斯汀分校（UT Austin）提出的 MimicDroid，首創了完全不需要機器人遠端操作資料的端對端 ICL 訓練框架，而是直接把「人類日常活動影片（Human Play Videos）」當作唯一的訓練資料源。這些影片是連續、無標註的，純粹是人類在日常環境中自由互動的畫面，極易大量獲取。

source

MimicDroid 是如何利用一堆人類隨手拍的、無標籤的日常活動影片，訓練出高泛化能力的人形機器人控制策略？其核心方法包含以下幾個關鍵步驟：

1. 提取相似動作對（Context-Target Pairs）：人類日常活動中自然存在大量相似的操縱模式（例如，今天「把麵包放進烤箱」，明天「把貝果放進烤箱」）。MimicDroid 利用自監督算法，從海量影片中自動檢索並匹配出在觀察和動作上相似的軌跡段，組合生「上下文-目標」訓練對。
2. 克服人機視覺差異（視覺遮罩）：為了防止機器人「偷懶」去認人類的手、皮膚或衣服紋理（這會導致部署到機器人身上時失效），MimicDroid 在訓練中引入了隨機視覺區塊遮罩（Random Patch Masking），強迫模型把注意力放在物體本身以及操縱軌跡上。
3. 解決人機結構差異（動作重映射）：人類和人形機器人的物理結構不同。MimicDroid 利用影片中的 RGB 資訊，精確估算人類手腕的姿態（Wrist Poses），並基於運動學相似性將其重映射（Retargeting）到人形機器人的工作空間，極好地保留了人類原本的「任務意圖」。
4. 元上下文學習訓練（Meta-ICL）：在訓練時，模型被要求預測「目標軌跡」中機器人的下一步動作，而預測的唯一依據就是輸入給它的「上下文軌跡」。這使得模型在訓練結束時，學會了如何「根據演示舉一反三」。

亮眼的實驗表現

為了測試 MimicDroid，團隊構建了一個仿真評測基準，將任務的泛化難度分為三級：

• L1（已知物體，已知環境）： 僅改變物體初始位置。

• L2（未知物體，已知環境）： 換成了訓練中沒見過的全新物體。

• L3（未知物體，未知環境）： 最難的一關！ 背景、家具佈局和物體全是全新的。

在與傳統方法（如測試期微調 Test-time Finetuning）的對比中，MimicDroid 展現了絕對的優勢：

• 無災難性遺忘： 傳統微調在面對 L3 級劇烈分布偏移時極易崩潰，而 MimicDroid 能夠保持極高的魯棒性。

• 實體世界表現驚豔： 部署在真實的 Unitree G1 等人形機器人上時，MimicDroid 面臨雜亂環境、關節限制及未知物體時，成功率達到了傳統 SOTA 方法的近兩倍。

百花齊放的「影片學習」新範式

MimicDroid 並非孤軍奮戰。在具身智慧的洪流中，諸多類似的研究正從不同維度，合力推高機器人的學習上限：

1. 動作的層級化：MimicPlay

作為 MimicDroid 的前身，MimicPlay 採用了分層架構（Hierarchical Learning）。它由高階規劃器看人類影片學習「意圖軌跡」，再由低階控制器負責具體關節操縱。雖然它仍需少量遙操作數據，但其分層思想為後續研究奠定了基礎。

2. 線上即時修正：RoboTTT (NVIDIA, 2026)

如果機器人在模仿時被人類干擾推開了怎麼辦？NVIDIA 提出的 RoboTTT 專注於「測試期訓練（Test-Time Training）」。它擁有高達 8K 的超長上下文窗口，能一邊對照人類影片、一邊在線即時修正自己的動作，具備極強的抗干擾能力。

3. 巨量預訓練與自我糾錯：Psi-Zero (Ψ₀)  (USC, 2026)

南加州大學的 Psi-Zero (Ψ₀) 走的是「大數據」路線。它在超過 800 小時的人類影片上進行大規模物理與幾何規律的預訓練。最驚人的是它強大的「自糾錯」能力——如果機器人抓取物體時失手，它能對比影片，自動辨識錯誤並重新嘗試。

4. 用想像力補足示範：Gen2Act

如果連現場示範影片都沒有呢？CMU 的 Gen2Act 導入了預訓練影片生成模型（如 Sora 等）。當收到新指令時，它先在「腦海」中生成一段人類完成該任務的模擬影片，再讓機器人去模仿這段「想像出來的影片」。

結語

雖然表現搶眼，但 MimicDroid 在複雜的長程任務（Long-horizon Tasks）中仍面臨一些挑戰，例如當人類影片中出現部分遮擋，導致手腕姿態預測錯誤時，可能會引發機器人抓取偏移或碰撞。

不過，從 MimicDroid 到 RoboTTT，這群研究共同指向了一個清晰的未來：人形機器人規模化的關鍵，在於如何利用網際網路上近乎無限的人類影片。當機器人能夠像人類一樣，僅憑「看影片」就能在幾秒鐘內理解並適應新工具、新環境，人形機器人走入千家萬戶、進駐工廠與家庭的夢想，將不再遙遠。

（責任編輯：歐敏銓）