人形機(jī)器人全身靈巧操作是通向通用具身智能的核心目標(biāo)之一。在這一愿景下，機(jī)器人不僅需要雙臂與高自由度多指靈巧手的精細(xì)協(xié)調(diào)，還需要與全身位姿（如行走、彎腰）進(jìn)行動(dòng)態(tài)配合。

盡管近年來(lái)機(jī)器人的硬件設(shè)計(jì)與控制算法取得了顯著進(jìn)展，但高質(zhì)量示范數(shù)據(jù)的獲取，依然是制約該領(lǐng)域發(fā)展的一大核心瓶頸

在傳統(tǒng)的人形機(jī)器人遙操作系統(tǒng)中，研究人員往往面臨著「便攜性與精度」的權(quán)衡困境： 基于光學(xué)動(dòng)捕或外骨骼的系統(tǒng)雖然能提供高精度的姿態(tài)捕捉，但嚴(yán)重依賴(lài)固定的空間設(shè)施與龐大的設(shè)備，這使得數(shù)據(jù)采集被死死局限于單一的實(shí)驗(yàn)室環(huán)境中； 相反，基于 VR 等設(shè)備的便攜式方案雖然打破了空間限制，但在面對(duì)遮擋嚴(yán)重的復(fù)雜操作時(shí)，追蹤精度會(huì)大幅下降，且往往無(wú)法對(duì)高自由度靈巧手提供足夠細(xì)粒度的控制。

為應(yīng)對(duì)上述挑戰(zhàn)，來(lái)自南加州大學(xué)（USC）PSI 實(shí)驗(yàn)室與 WorldEngine AI 的研究團(tuán)隊(duì)提出了一套名為HumDex的全新遙操作與數(shù)據(jù)采集系統(tǒng)。該系統(tǒng)結(jié)合了高精度便攜追蹤、基于學(xué)習(xí)的手部控制算法以及人類(lèi)數(shù)據(jù)預(yù)訓(xùn)練機(jī)制，專(zhuān)為打破人形機(jī)器人高質(zhì)量數(shù)據(jù)采集瓶頸、提升全尺寸操作泛化能力而設(shè)計(jì)。

• 論文標(biāo)題： HumDex: Humanoid Dexterous Manipulation Made Easy
• 論文主頁(yè)：https://psi-lab.ai/humdex
• Github 鏈接： https://github.com/physical-superintelligence-lab/humdex

視頻鏈接：https://mp.weixin.qq.com/s/BmOlW8IktiNyOEwidE9Mjg

HumDex 方法介紹

HumDex 框架框架涵蓋了從高精度硬件追蹤、基于學(xué)習(xí)的靈巧手重定向，到最終跨越具身鴻溝的兩階段訓(xùn)練范式。

全場(chǎng)景便攜追蹤方案

在實(shí)際的復(fù)雜操作任務(wù)中，由于物體和雙手的相互遮擋，基于視覺(jué)或傳統(tǒng)頭顯設(shè)備的追蹤方案常常會(huì)丟失目標(biāo)，導(dǎo)致操作被迫中斷。這種視覺(jué)盲區(qū)嚴(yán)重限制了機(jī)器人能夠?qū)W習(xí)的任務(wù)范圍。

為了實(shí)現(xiàn)真正的全場(chǎng)景數(shù)據(jù)采集，HumDex 摒棄了對(duì)外部攝像頭的依賴(lài)，采用了一套完全無(wú)線(xiàn)的慣性動(dòng)作捕捉硬件。操作者只需穿戴輕量級(jí)的身體追蹤節(jié)點(diǎn)以及慣性數(shù)據(jù)手套，即可在任何環(huán)境下自如地移動(dòng)和操作。由于數(shù)據(jù)手套直接通過(guò)傳感器獲取物理姿態(tài)，即使在嚴(yán)重的視線(xiàn)遮擋下，系統(tǒng)依然能夠高精度地捕捉多指的精細(xì)動(dòng)作與全身位姿。

更值得一提的是，為了讓高質(zhì)量數(shù)據(jù)采集不再是少數(shù)頂尖實(shí)驗(yàn)室的專(zhuān)屬，團(tuán)隊(duì)還驗(yàn)證了 HumDex 系統(tǒng)對(duì)低成本開(kāi)源硬件的完美兼容。他們直接引入了基于 SlimeVR 開(kāi)源生態(tài)的追蹤方案。在這套現(xiàn)成的開(kāi)源方案中，除手套外的全身節(jié)點(diǎn)總成本不到 200 美元，卻能在數(shù)據(jù)采集成功率上達(dá)到與昂貴商業(yè)系統(tǒng)相媲美的高水準(zhǔn)，極大地降低了人形機(jī)器人研究的硬件門(mén)檻。

基于學(xué)習(xí)的手部重定向算法

對(duì)于人形機(jī)器人而言，精準(zhǔn)控制擁有 20 個(gè)自由度的靈巧手是遙操作過(guò)程中的另一大技術(shù)鴻溝。

傳統(tǒng)系統(tǒng)通常依賴(lài)基于優(yōu)化的逆運(yùn)動(dòng)學(xué)解算方法。這類(lèi)方法不僅計(jì)算成本高昂，且需要針對(duì)不同操作者的手部尺寸進(jìn)行繁瑣的手動(dòng)參數(shù)調(diào)節(jié)。更為致命的是，在處理復(fù)雜的精細(xì)動(dòng)作時(shí)，傳統(tǒng)方法經(jīng)常會(huì)出現(xiàn)手指異常耦合、動(dòng)作僵硬不連貫，甚至無(wú)法完成精確的捏合動(dòng)作，極大地影響了接觸密集型任務(wù)的成功率。

為解決這一痛點(diǎn)，HumDex 提出了一種基于學(xué)習(xí)的手部重定向算法。研究團(tuán)隊(duì)摒棄了復(fù)雜的逐幀優(yōu)化過(guò)程，轉(zhuǎn)而訓(xùn)練了一個(gè)輕量級(jí)的多層感知機(jī)網(wǎng)絡(luò)。該網(wǎng)絡(luò)能夠?qū)?shù)據(jù)手套捕捉到的指尖三維位置坐標(biāo)，直接端到端地映射為機(jī)器人靈巧手的 20 個(gè)關(guān)節(jié)角度。更為重要的是，這個(gè)網(wǎng)絡(luò)僅需不到 20 分鐘的成對(duì)運(yùn)動(dòng)數(shù)據(jù)即可完成訓(xùn)練。在真實(shí)部署中，這種基于學(xué)習(xí)的重定向方法實(shí)現(xiàn)了恒定時(shí)間的高效推理，免去了手動(dòng)調(diào)參的煩惱。

跨越具身鴻溝的兩階段訓(xùn)練框架

除了用于遙操作機(jī)器人，HumDex 系統(tǒng)的極高靈活性還解鎖了另一種高效的數(shù)據(jù)獲取方式：直接采集人類(lèi)執(zhí)行任務(wù)的動(dòng)作數(shù)據(jù)。人類(lèi)數(shù)據(jù)的采集無(wú)需機(jī)器人參與，速度更快、規(guī)模更大。

然而，直接將人類(lèi)動(dòng)作映射到機(jī)器人身上往往會(huì)導(dǎo)致災(zāi)難性的失敗。這是因?yàn)槿梭w與機(jī)器人在動(dòng)力學(xué)、關(guān)節(jié)結(jié)構(gòu)和視覺(jué)視角上存在巨大的具身鴻溝。實(shí)驗(yàn)表明，如果將人類(lèi)數(shù)據(jù)與機(jī)器人數(shù)據(jù)簡(jiǎn)單混合訓(xùn)練，機(jī)器人的任務(wù)成功率會(huì)直接跌至接近零。

為了充分獲取人類(lèi)數(shù)據(jù)中的價(jià)值，研究團(tuán)隊(duì)提出了一種創(chuàng)新的兩階段訓(xùn)練流程。首先，他們利用大規(guī)模、多樣化的人類(lèi)演示數(shù)據(jù)對(duì) ACT 策略進(jìn)行預(yù)訓(xùn)練，讓模型學(xué)習(xí)到通用的視覺(jué)特征和運(yùn)動(dòng)先驗(yàn)；隨后，再使用少量的機(jī)器人遙操作數(shù)據(jù)進(jìn)行微調(diào)，將這些通用先驗(yàn)對(duì)齊到機(jī)器人上。

真實(shí)世界實(shí)驗(yàn)評(píng)估

1. 高難度長(zhǎng)程任務(wù)與遙操作效率

為了驗(yàn)證 HumDex 的綜合性能，團(tuán)隊(duì)在掃碼打包、掛衣服、開(kāi)門(mén)以及抓取籃子等多個(gè)極具挑戰(zhàn)性的長(zhǎng)序列任務(wù)上進(jìn)行了評(píng)估。這些任務(wù)涵蓋了精細(xì)捏合、雙臂協(xié)調(diào)、柔性與鉸接物體操作以及全身移動(dòng)配合。

團(tuán)隊(duì)將 HumDex 與主流的基于 VR 的遙操作系統(tǒng)進(jìn)行了對(duì)比。在整體數(shù)據(jù)采集效率上，HumDex 將數(shù)據(jù)收集時(shí)間縮短了 26%，并將遙操作成功率從 74.6% 大幅提升至 91.7%。更重要的是，使用 HumDex 采集的數(shù)據(jù)訓(xùn)練出的模仿學(xué)習(xí)策略，最終自主執(zhí)行成功率達(dá)到了 80%，遠(yuǎn)超基線(xiàn)方案的 57.5%。

視頻鏈接：https://mp.weixin.qq.com/s/BmOlW8IktiNyOEwidE9Mjg

2. 靈巧手重定向?qū)Ρ?/strong>

為了驗(yàn)證基于學(xué)習(xí)的手部重定向算法的有效性，團(tuán)隊(duì)將其與傳統(tǒng)的基于優(yōu)化的方法進(jìn)行了定性和定量對(duì)比。

在定性評(píng)估中，結(jié)果直觀(guān)地顯示，在面對(duì)如精確捏合等代表性的復(fù)雜手部姿態(tài)時(shí)，傳統(tǒng)優(yōu)化方法往往會(huì)發(fā)生手指異常耦合甚至徹底失效；而 HumDex 的學(xué)習(xí)方法則能忠實(shí)、穩(wěn)定地完成追蹤，實(shí)現(xiàn)更平滑的接觸過(guò)渡與可靠的單指獨(dú)立控制。

在定量評(píng)估中，團(tuán)隊(duì)選取了三個(gè)極其依賴(lài)精細(xì)接觸的子任務(wù)進(jìn)行測(cè)試。實(shí)驗(yàn)數(shù)據(jù)表明，無(wú)論底層追蹤硬件是基于慣性傳感器還是基于 VR，HumDex 提出的基于學(xué)習(xí)的手部重定向算法都顯著提升了遙操作的成功率。

3. 零樣本泛化能力：人類(lèi)數(shù)據(jù)帶來(lái)的質(zhì)變

在抓取面包的策略評(píng)估中，團(tuán)隊(duì)重點(diǎn)測(cè)試了兩階段訓(xùn)練框架在分布外場(chǎng)景下的零樣本泛化能力。測(cè)試覆蓋了機(jī)器人微調(diào)數(shù)據(jù)中從未見(jiàn)過(guò)，而人類(lèi)數(shù)據(jù)包含的三種情況：未見(jiàn)過(guò)的位置（目標(biāo)物體在桌面上的隨機(jī)坐標(biāo)）、未見(jiàn)過(guò)的物體（將面包替換為蘋(píng)果、香蕉或樹(shù)葉等形狀）以及未見(jiàn)過(guò)的背景（鋪上不同顏色的桌布）。

實(shí)驗(yàn)結(jié)果表明，僅用機(jī)器人單環(huán)境數(shù)據(jù)訓(xùn)練的策略在面對(duì)上述變化時(shí)性能急劇下降；而采用了兩階段訓(xùn)練（引入人類(lèi)數(shù)據(jù)預(yù)訓(xùn)練）的策略，在所有分布外場(chǎng)景下的成功率均實(shí)現(xiàn)了近兩倍的巨大提升。這充分證明了人類(lèi)數(shù)據(jù)提供的通用視覺(jué)與運(yùn)動(dòng)先驗(yàn)?zāi)軌虮挥行У剡w移到機(jī)器人身上，極大地拓寬了策略的泛化邊界。