Xsens動作捕捉雙臂人形機器人遙操作基準測試

上海人工智能實驗室近日創建了一個以模擬器為中心的雙臂靈巧遙操作基準測試，該測試并排比較了四個遙操作管道。在他們的評估中，使用Xsens Link和Manus的Xsens Metagloves的運動捕捉管道在短時間內實現了高精度的任務。

挑戰

遠程操作工具很難進行公平比較。不同的硬件、操作員和任務設置使得對比難以統一的數據表現出哪個界面能為雙臂靈巧作業提供速度和精度組合。

解決方案

上海人工智能實驗室團隊在NVIDIA Isaac Sim中構建了TeleOpBench，涵蓋三種商業機器人（Unitree Robotics H1-2，Fourier GR1-T2，Unitree G1）的30個操作任務。

關鍵成果

本研究對動作捕捉（Xsens Link和Manus Gloves）、VR、外骨骼及單目視覺四類遠程操作管道進行了系統性對比。在報告的評估中，動作捕捉技術實現了高任務精度且完成時間短，展現出顯著優勢。

為構建可重復的基準測試體系，研究設計了跨任務、操作員和機器人平臺的統一框架。該框架通過標準化環境配置與評估指標，旨在為遙操作決策提供更可靠的量化依據，減少因硬件差異、環境設置或任務變化導致的結果偏差。

在具身機器人雙臂操作學習領域，遠程操作被視為獲取高質量演示數據的快速途徑。然而，其挑戰不僅在于數據收集本身，更在于如何選擇值得信賴的遙操作界面并公平比較替代方案。TeleOpBench通過引入雙臂靈巧遙操作模擬器中心基準，填補了這一空白，使不同遙操作管道間的嚴格、可重復比較成為可能。

TeleOpBench的測量維度與意義

現實世界中比較遠程操作系統常面臨多重干擾因素。硬件差異、環境設置和任務變化易主導實驗結果。為此，TeleOpBench基于NVIDIA Isaac Sim構建了固定環境與機器人實體，采用統一成功標準，以任務成功率和完成時間作為核心評估指標，實現跨平臺的公平對比。

為驗證模擬結果的實際有效性，研究在物理雙臂平臺復現了實驗，觀察到模擬與現實世界結果的高度一致性，證實了基準的實踐指導價值。

基準設置概覽

機器人平臺：選用三款不同比例與手型的商用仿人機器人——Unitree H1-2、Fourier GR1-T2和Unitree G1，覆蓋多樣化硬件特性。

任務設計：包含30個雙手操作環境，涵蓋拾取放置、工具使用和協作操作三大類，按復雜度梯度設計，確保低/高保真界面均能進行有意義的性能對比。

接口方案：統一協議下實現四大代表性管道——動作捕捉（Xsens Link+Manus Gloves）、VR設備、手臂/手外骨骼及單目視覺跟蹤，形成標準化對比條件。

評估方法：從完整任務庫中精選10個代表性任務開展用戶研究，邀請4名操作員參與，同步記錄任務成功率與完成時間雙指標。

四大管道特性解析

TeleOpBench的核心價值在于具象化技術權衡空間。視覺跟蹤方案可降低硬件依賴，但對遮擋與幀率敏感；VR通過腕部/手部跟蹤提升精度，性能常介于視覺與高精度系統之間；外骨骼憑借運動學對齊與直接映射優勢，但移動限制受設計約束；慣性動作捕捉（如Xsens Link）則聚焦人體段運動精準捕捉，并實現穩健的機器人映射。

Xsens Link與Manus Gloves的突出表現

TeleOpBench的動作捕捉管道基于Xsens Link與Manus Gloves構建。Xsens Link通過17個IMU（慣性測量單元）附著人體關鍵部位實現肢體運動追蹤；Manus手套則提供每只手20個自由度測量，精準捕捉指關節細微運動。

實驗結果表明，基于Xsens的方案在運動平滑性與精度上表現卓越，不僅能準確完成任務，還常以短時間達成目標。完成時間曲線分析顯示，慣性運動捕捉管道速度快，且模擬/真實世界性能呈現強正相關，驗證了其跨域一致性。

對工程與機器人團隊的實踐意義

對于需要擴展演示數據收集的團隊，TeleOpBench提供了具體的技術選型分析工具。從吞吐量視角，更快的完成時間意味著單位時間內更多有效演示；從可靠性視角，更高的成功率可減少數據集構建中的無效運行與后期清理成本，整體提升研發效率與數據質量。