本文的作者均來自北卡羅來納大學(xué)教堂山分校。本文的第一作者為博士生衛(wèi)振宇，主要研究方向為跨智能體的靈巧操作；第二作者為博士生姚云超；通訊作者為助理教授丁明宇。

在機器人操作領(lǐng)域，一個長期懸而未決的核心問題始終困擾著研究者：

面對形態(tài)各異的靈巧手，我們是否注定要為每一種手型單獨設(shè)計表示方式與控制策略？

現(xiàn)實世界中的靈巧手在結(jié)構(gòu)和形態(tài)上存在著極大的差異 —— 有的手指數(shù)量不同，有的關(guān)節(jié)拓?fù)涓鳟?，自由度分布并不統(tǒng)一，驅(qū)動方式和感知配置更是各不相同。幾乎每一款新靈巧手的出現(xiàn)，都意味著要重新定義動作空間、重新采集交互數(shù)據(jù)，并針對該手型單獨訓(xùn)練和反復(fù)調(diào)試控制模型。這種高度依賴 “具體手型” 的研究路徑，不僅顯著抬高了開發(fā)成本，也在很大程度上限制了靈巧操作算法在真實場景中的復(fù)用能力和規(guī)?；涞亍?/p>

靈巧操作之所以長期被認(rèn)為是機器人領(lǐng)域中最具挑戰(zhàn)性的方向之一，原因并不只在于其本身具備高自由度，更深層的問題在于：“手” 始終缺乏一種統(tǒng)一、且具備良好泛化能力的描述方式。

不同靈巧手在關(guān)節(jié)數(shù)量、結(jié)構(gòu)拓?fù)湟约斑\動約束上的巨大差異，使得策略學(xué)習(xí)往往與具體手型緊密綁定，模型難以遷移，系統(tǒng)也難以擴展。如何在不犧牲操作精度和靈活性的前提下，抽象出一種能夠覆蓋多種靈巧手的通用表示，并在此基礎(chǔ)上構(gòu)建統(tǒng)一的動作空間，始終是該領(lǐng)域尚未徹底解決的關(guān)鍵問題。

近期，北卡羅來納大學(xué)教堂山分校的研究團隊提出了 One Hand to Rule Them All。與以往側(cè)重于特定任務(wù)或單一靈巧手的研究不同，這項工作從更底層的表示層出發(fā)，嘗試為不同靈巧手構(gòu)建一個統(tǒng)一、規(guī)范且具備泛化能力的描述空間。在這一框架中，“手” 本身被作為模型的條件輸入，不同手型可以共享同一套動作表達與策略結(jié)構(gòu)。這一思路為靈巧操作系統(tǒng)的可擴展性和通用性提供了新的可能，也為未來實現(xiàn)跨手型、跨設(shè)計的機器人學(xué)習(xí)奠定了重要基礎(chǔ)。

• 論文標(biāo)題：One Hand to Rule Them All: Canonical Representations for Unified Dexterous Manipulation
• 項目主頁：https://zhenyuwei2003.github.io/OHRA/
• 論文鏈接：https://arxiv.org/abs/2602.16712
• 代碼鏈接：https://github.com/zhenyuwei2003/OHRA

一、引言

靈巧操作是機器人實現(xiàn)高水平抓取、在手操作以及工具使用等復(fù)雜任務(wù)的核心能力。然而，不同靈巧手在自由度數(shù)量、關(guān)節(jié)布局與運動學(xué)結(jié)構(gòu)上存在顯著差異，使得現(xiàn)有方法往往深度依賴特定的硬件設(shè)計，難以在不同手型之間泛化。這種結(jié)構(gòu)依賴性嚴(yán)重制約了數(shù)據(jù)、模型與控制策略的復(fù)用，也成為靈巧操作規(guī)?；l(fā)展的關(guān)鍵瓶頸。

當(dāng)前，大多數(shù)靈巧操作方法通常默認(rèn)手部結(jié)構(gòu)是固定不變的。即便在學(xué)習(xí)框架中引入了靈巧手的三維幾何信息（例如點云表示），策略仍然強烈依賴具體的關(guān)節(jié)維度和運動學(xué)拓?fù)?，使得模型在跨手遷移時性能明顯下降。另一方面，雖然 URDF 可以完整刻畫手部的幾何與運動學(xué)屬性，但其層級化、非統(tǒng)一的組織方式并不適合直接作為學(xué)習(xí)模型的輸入，也難以支持在不同手型之間定義一致的動作空間。

為緩解跨手泛化難題，近期已有研究開始探索跨靈巧手的學(xué)習(xí)范式，例如以人手作為中介表示，或通過顯式建模接觸關(guān)系來實現(xiàn)抓取策略的遷移。然而，這類方法要么依賴人形假設(shè)，擴展性受到限制；要么僅適用于特定任務(wù)場景（如抓?。?，難以推廣到更通用的靈巧操作問題?？傮w來看，當(dāng)前仍缺乏一種統(tǒng)一、可擴展且動作定義一致的靈巧手表示框架。

針對上述挑戰(zhàn)，我們提出了一種規(guī)范化（Canonical）的靈巧手表示方法，將具有不同自由度數(shù)量、不同手指配置以及不同運動學(xué)結(jié)構(gòu)的靈巧手，統(tǒng)一映射到一個共享的參數(shù)空間和標(biāo)準(zhǔn)化的 URDF 形式中。該表示在保留原始手部運動學(xué)特性與功能能力的同時，引入了統(tǒng)一的動作維度，使得學(xué)習(xí)到的策略能夠在不同手型之間自然地共享與遷移。

在這一規(guī)范化表示的基礎(chǔ)上，我們進一步學(xué)習(xí)了一個結(jié)構(gòu)化的手部形態(tài)潛空間，并據(jù)此訓(xùn)練了以手部形態(tài)為條件的跨靈巧手抓取策略。實驗結(jié)果表明，該方法不僅能夠在多種不同靈巧手之間實現(xiàn)有效的策略共享，還可以在未見過的手型上實現(xiàn)零樣本泛化；無論是在仿真環(huán)境還是真實機器人實驗中，均表現(xiàn)出穩(wěn)定且魯棒的抓取性能。

圖 1 不同靈巧手的規(guī)范化 URDF 與原始 URDF 對比，展示其在初始姿態(tài)與抓取姿態(tài)下在形態(tài)與運動學(xué)上的一致性

二、規(guī)范化表征設(shè)計

如果想讓不同靈巧手真正 “用同一套方法學(xué)會操作”，首先要解決的不是策略本身，而是手該如何被描述。

現(xiàn)實中，靈巧手通常通過 URDF 來定義其幾何和運動學(xué)結(jié)構(gòu)，但這種描述方式更多服務(wù)于仿真與控制，而非學(xué)習(xí)本身。不同手型在坐標(biāo)系約定、關(guān)節(jié)組織方式上的差異，往往會引入額外的運動學(xué)歧義，使得模型即便面對相似的動作意圖，也會得到完全不同的輸入與控制接口。如圖 2 所示，這類不一致在跨手學(xué)習(xí)時尤為明顯。

圖 2 URDF 的坐標(biāo)系不一致問題。左：不同來源的 URDF 采用不同的全局坐標(biāo)方向；右：局部關(guān)節(jié)坐標(biāo)軸定義不統(tǒng)一，導(dǎo)致運動學(xué)歧義。

為此，我們設(shè)計了一種參數(shù)化的規(guī)范化 URDF 表征方式。通過固定運動學(xué)拓?fù)洳⒔y(tǒng)一坐標(biāo)定義，不同靈巧手的結(jié)構(gòu)差異被映射到同一規(guī)范框架之下，從而消除由建模習(xí)慣帶來的表示不一致問題。這一規(guī)范結(jié)構(gòu)以人手為啟發(fā)，支持最多五指、22 個自由度，能夠覆蓋現(xiàn)有主流靈巧手的設(shè)計形式。在保證表達能力的同時，我們系統(tǒng)性地去除了與具體硬件實現(xiàn)強相關(guān)的冗余差異，使不同手型在該表示下具備良好的可比性。

圖 3 規(guī)范化 URDF 結(jié)構(gòu)示意（以右手為例）。左：網(wǎng)格與坐標(biāo)系可視化；右：運動學(xué)骨架圖。

在幾何層面，手掌與手指均采用膠囊體進行抽象，以降低不必要的幾何復(fù)雜度，同時保留關(guān)鍵的運動學(xué)關(guān)系，為后續(xù)的學(xué)習(xí)過程提供更加穩(wěn)定的輸入基礎(chǔ)。

在規(guī)范化 URDF 之上，我們進一步引入了一組緊湊且可解釋的參數(shù)，用于描述靈巧手的整體形態(tài)與運動學(xué)特征。這些參數(shù)涵蓋手掌尺寸、手指長度、指根分布位置以及關(guān)節(jié)活動范圍等關(guān)鍵信息，使手部結(jié)構(gòu)可以被表示為固定維度的向量，從而自然地作為條件輸入引入學(xué)習(xí)模型。

為了將現(xiàn)有靈巧手模型高效映射到這一規(guī)范表示中，我們實現(xiàn)了一套自動化的 URDF 解析與生成流程。該流程能夠從原始 URDF 中提取規(guī)范參數(shù)，并據(jù)此生成對應(yīng)的規(guī)范化模型，實現(xiàn)原始表示與規(guī)范表示之間的雙向轉(zhuǎn)換，為跨手型的策略復(fù)用提供了可靠的工程支撐。

最后，基于規(guī)范化 URDF 所定義的固定拓?fù)浣Y(jié)構(gòu)，我們構(gòu)建了統(tǒng)一的動作空間。所有靈巧手均在同一 22 維關(guān)節(jié)空間中進行控制，對于不存在的關(guān)節(jié)則采用失活方式處理。通過這一設(shè)計，不同自由度配置的靈巧手可以共享同一套動作語義，使單一策略能夠在多種手型之間直接遷移。

三、實驗

為系統(tǒng)評估所提出規(guī)范化表示在表達能力、物理一致性以及跨手泛化能力方面的有效性，我們從多個互補角度對其進行了驗證。整體實驗設(shè)計圍繞以下四個核心問題展開：

1）該表示是否能夠形成連續(xù)且具有物理意義的形態(tài)空間；

2）是否能夠忠實保留原始手部的運動學(xué)與控制特性；

3）是否支持不同靈巧手之間的策略共享；

4）是否能夠在未見過的手型上實現(xiàn)零樣本泛化。

規(guī)范化參數(shù)的隱空間學(xué)習(xí)

為評估規(guī)范化參數(shù)化表示在刻畫不同靈巧手形態(tài)方面的能力，我們首先學(xué)習(xí)了一個手部形態(tài)的隱空間表示。具體而言，我們以規(guī)范化參數(shù)向量為輸入，訓(xùn)練一個變分自編碼器（VAE），將高維的手部形態(tài)參數(shù)映射至低維潛變量空間，并通過解碼器重構(gòu)對應(yīng)的規(guī)范化 URDF 參數(shù)。

在實驗過程中，我們在潛空間中對不同靈巧手的表示進行線性插值，并將解碼后的結(jié)果可視化為對應(yīng)的手部模型。實驗結(jié)果表明，隨著潛變量的連續(xù)變化，手指數(shù)、手指長度以及關(guān)節(jié)配置均呈現(xiàn)出平滑且一致的過渡趨勢。這一現(xiàn)象說明，所提出的規(guī)范化參數(shù)表示能夠?qū)W習(xí)到一個連續(xù)、結(jié)構(gòu)化且具有明確物理語義的形態(tài)流形，從而為后續(xù)以手部形態(tài)為條件的策略學(xué)習(xí)奠定了良好基礎(chǔ)。

圖 4 兩種靈巧手在隱空間中的插值結(jié)果，展示自由度、手指布局與整體幾何結(jié)構(gòu)的平滑變化。

規(guī)范化 URDF 的物理一致性

為驗證規(guī)范化 URDF 在動態(tài)操作任務(wù)中的物理一致性與保真性，我們在兩類具有代表性的操作任務(wù)中，對規(guī)范化模型與原始 URDF 進行了系統(tǒng)對比評估，分別包括在手內(nèi)物體旋轉(zhuǎn)與抓取策略重放。

在手內(nèi)物體旋轉(zhuǎn)任務(wù)中，我們分別基于原始 URDF 與規(guī)范化 URDF 訓(xùn)練控制策略，并比較其在物體姿態(tài)變化幅度與控制穩(wěn)定性方面的表現(xiàn)。實驗結(jié)果如表 1 所示，兩種模型在重定向成功率以及最終姿態(tài)誤差等關(guān)鍵指標(biāo)上表現(xiàn)高度接近，表明規(guī)范化過程并未顯著削弱原始模型的操作能力。

表 1 規(guī)范化 URDF 和 原始 URDF 訓(xùn)練手內(nèi)旋轉(zhuǎn)策略結(jié)果對比

在抓取策略重放實驗中，我們進一步評估規(guī)范化 URDF 與原始 URDF 之間的雙向映射一致性。具體而言，我們在兩種表示之間進行抓取策略的雙向遷移：一方面，將基于規(guī)范化 URDF 生成的抓取預(yù)測映射至原始 URDF 上執(zhí)行；另一方面，將基于原始 URDF（使用 D(R, O) Grasp 模型）生成的抓取預(yù)測映射至規(guī)范化 URDF 上執(zhí)行，并分別評估其抓取穩(wěn)定性與接觸行為的一致性。

表 2 抓取策略在規(guī)范化 URDF 與原始 URDF 之間遷移時的成功率對比

綜合上述實驗結(jié)果可以看出，在兩種映射方向下，抓取成功率與接觸行為均保持高度一致。這表明規(guī)范化 URDF 在統(tǒng)一結(jié)構(gòu)與動作空間的同時，能夠在運動學(xué)與動力學(xué)層面忠實保留原始靈巧手模型的關(guān)鍵物理特性，為后續(xù)跨靈巧手的學(xué)習(xí)與遷移提供了可靠的表示基礎(chǔ)。

跨靈巧手抓取策略學(xué)習(xí)

在統(tǒng)一的規(guī)范化表示與動作空間下，我們進一步評估抓取策略在不同靈巧手之間共享與遷移的能力。得益于規(guī)范化 URDF 所帶來的統(tǒng)一關(guān)節(jié)拓?fù)?、關(guān)節(jié)索引順序以及動作維度，不同結(jié)構(gòu)的靈巧手可以在同一動作空間中進行控制，從而使單一抓取模型能夠在多種手型上進行聯(lián)合訓(xùn)練。

具體而言，抓取策略以物體的幾何觀測與手部形態(tài)條件作為輸入，并在規(guī)范化動作空間中直接預(yù)測抓取配置。其中，手部形態(tài)條件由規(guī)范化參數(shù)的隱空間表示提供，使模型在生成抓取時能夠顯式感知當(dāng)前靈巧手的結(jié)構(gòu)約束，而無需針對不同手型設(shè)計專用的網(wǎng)絡(luò)結(jié)構(gòu)或動作映射模塊。

圖 5 基于規(guī)范化表示的跨靈巧手抓取策略流程

在實驗中，我們選取了 Allegro、Barrett 與 Shadow Hand 三種在手指數(shù)、自由度數(shù)量及結(jié)構(gòu)設(shè)計上差異顯著的靈巧手進行統(tǒng)一訓(xùn)練，并分別在各手型上評估抓取成功率。需要強調(diào)的是，該實驗的目的并非提出新的抓取算法，而是驗證規(guī)范化 URDF 作為統(tǒng)一下游動作空間的表達能力。實驗結(jié)果表明，即使采用結(jié)構(gòu)相對簡單的抓取模型，借助規(guī)范化表示，仍能夠在不引入手型特定網(wǎng)絡(luò)結(jié)構(gòu)或復(fù)雜工程設(shè)計的前提下，在多種靈巧手上生成高質(zhì)量抓取。

表 3 抓取表現(xiàn)對比

進一步地，我們比較了所有靈巧手統(tǒng)一訓(xùn)練與針對每種靈巧手獨立訓(xùn)練兩種策略學(xué)習(xí)方式在抓取任務(wù)中的表現(xiàn)。對比結(jié)果如表 4 所示，統(tǒng)一訓(xùn)練模型在所有手型上的抓取成功率均優(yōu)于對應(yīng)的獨立訓(xùn)練模型。這一結(jié)果表明，規(guī)范化 URDF 所定義的共享動作空間能夠有效促進不同手型之間的經(jīng)驗共享，使結(jié)構(gòu)差異顯著的靈巧手能夠相互受益于彼此的數(shù)據(jù)，從而顯著提升跨具身學(xué)習(xí)的泛化能力。

表 4 統(tǒng)一訓(xùn)練（Unified）和獨立訓(xùn)練（Specific）的抓取成功率對比

LEAP Hand 的零樣本抓取泛化

為評估手部形態(tài)條件化在零樣本場景下的泛化能力，我們選用了模塊化的 LEAP Hand 構(gòu)造大規(guī)模靈巧手變體，并在未見過的手部結(jié)構(gòu)上系統(tǒng)性地測試抓取性能。通過改變各手指的連桿數(shù)量，我們生成了一組在手指數(shù)、自由度配置以及運動學(xué)結(jié)構(gòu)上差異顯著的 LEAP Hand 變體。其中，原始設(shè)計記為 leap_3333，數(shù)字分別表示拇指、食指、中指和小指的連桿數(shù)量。

在規(guī)范化表示框架下，不同 LEAP Hand 變體僅需修改對應(yīng)的形態(tài)參數(shù)即可完成建模，使得大規(guī)模手型實例化與統(tǒng)一抓取評估成為可能。抓取策略僅在部分 LEAP Hand 變體上進行訓(xùn)練，并在訓(xùn)練過程中從未出現(xiàn)的新手型上直接測試，以評估其零樣本泛化能力。

表 5 不同 LEAP Hand 變體的抓取成功率對比（下劃線表示零樣本泛化結(jié)果）

實驗結(jié)果如表 5 所示，引入手部形態(tài)條件的抓取模型在未見手型上的零樣本抓取成功率與已見手型相當(dāng)，表明基于規(guī)范化表示作為條件輸入，策略能夠在無需額外微調(diào)的情況下直接適配新的手部結(jié)構(gòu)。進一步地，在形態(tài)差異更為顯著的簡化手型上，零樣本模型在多數(shù)變體上的抓取成功率甚至優(yōu)于對應(yīng)的手型特定模型，展現(xiàn)出良好的跨形態(tài)泛化能力。

表 6 零樣本泛化模型與單獨訓(xùn)練模型的抓取成功率對比

為了驗證形態(tài)條件在抓取中的關(guān)鍵作用，我們在推理階段人為施加錯誤的手部形態(tài)條件，并評估其對抓取性能的影響。實驗結(jié)果如表 7 所示，錯誤的形態(tài)條件會顯著降低抓取成功率，且這一影響在零樣本設(shè)置下尤為明顯。進一步的梯度可視化結(jié)果表明，模型能夠根據(jù)手部結(jié)構(gòu)差異，自動關(guān)注對抓取成功起關(guān)鍵作用的手指，說明形態(tài)條件在策略決策過程中被顯式利用。

表 7 不同手部形態(tài)條件下在 leap_3303 上的抓取成功率

圖 5 規(guī)范化參數(shù)梯度可視化結(jié)果

綜合以上結(jié)果，LEAP Hand 實驗表明，規(guī)范化表示與手部形態(tài)條件能夠有效支撐抓取策略在結(jié)構(gòu)差異顯著的靈巧手之間實現(xiàn)穩(wěn)健的零樣本泛化。

真機靈巧手抓取實驗

為進一步驗證所提出方法在真實系統(tǒng)中的可行性及其 sim-to-real 遷移能力，我們將基于規(guī)范化表示訓(xùn)練得到的抓取策略部署至真實機器人平臺。實驗系統(tǒng)由 Franka Research 3 機械臂、LEAP Hand 靈巧手以及 RealSense L515 深度相機構(gòu)成，測試對象為一組形態(tài)各異的日常物體，并在多種 LEAP Hand 變體上進行評估。

圖 6 測試物體集合及不同 LEAP Hand 變體的真實抓取示例

在實驗中，我們分別評估了兩類模型：一類是在規(guī)范化靈巧手?jǐn)?shù)據(jù)集上訓(xùn)練得到的模型；另一類是在訓(xùn)練過程中從未見過目標(biāo)手型的零樣本泛化模型。實驗結(jié)果如表 8 所示，訓(xùn)練模型在真實環(huán)境中取得了較高的抓取成功率，表明規(guī)范化表示在真實系統(tǒng)中能夠有效保留原始手部模型的關(guān)鍵動力學(xué)特性，并支持可靠的 sim-to-real 遷移。

表 8 真機實驗的抓取成功率

更為重要的是，零樣本泛化模型在真實系統(tǒng)中的抓取成功率與訓(xùn)練模型接近，顯示出穩(wěn)定而一致的跨形態(tài)泛化能力。這一結(jié)果進一步表明，手部形態(tài)條件能夠在面對未見手型時有效引導(dǎo)抓取策略的生成，從而使統(tǒng)一訓(xùn)練的策略具備面向真實世界部署的潛力。

四、總結(jié)

本文提出了一種靈巧手的規(guī)范化表示框架，將結(jié)構(gòu)異構(gòu)的靈巧手統(tǒng)一映射到共享的參數(shù)空間與動作空間中，為跨具身學(xué)習(xí)提供了一種可擴展、可復(fù)用的表示基礎(chǔ)。通過連續(xù)的形態(tài)參數(shù)化，該表示能夠顯式刻畫不同靈巧手之間的結(jié)構(gòu)差異，并支持以手部形態(tài)為條件的策略學(xué)習(xí)；與此同時，統(tǒng)一的動作空間使得數(shù)據(jù)與策略得以在不同手型之間高效共享，顯著降低了對手型定制化設(shè)計的依賴。

基于該規(guī)范化表示，我們實現(xiàn)了與具體手部結(jié)構(gòu)解耦的抓取策略，并在多種靈巧手以及未見過的手型上系統(tǒng)驗證了其零樣本泛化能力。實驗結(jié)果表明，規(guī)范化 URDF 在保持原始手部模型運動學(xué)與動力學(xué)一致性的同時，能夠有效支撐跨形態(tài)的策略遷移，使統(tǒng)一訓(xùn)練的模型在無需額外微調(diào)的情況下適配新的手部結(jié)構(gòu)，避免了對手型特定網(wǎng)絡(luò)結(jié)構(gòu)或復(fù)雜工程設(shè)計的依賴。

更進一步地，該規(guī)范化表示框架及其背后的設(shè)計原則并不局限于靈巧手抓取任務(wù)，也有望推廣至更廣泛的機器人具身形式與操作場景，例如類人機器人、多形態(tài)末端執(zhí)行器以及更復(fù)雜的操作任務(wù)。我們希望這一工作能夠為可擴展的跨具身操作學(xué)習(xí)提供通用基礎(chǔ)，并推動具身智能與機器人操作研究向更通用、更可遷移的方向發(fā)展。