機器人操作正在從結構化工業場景走向更開放的真實環境。相比完成單個預設動作，真實任務往往包含更長的執行鏈條、更復雜的物體交互，以及更多不可控的外部擾動。一次抓取沒有完全夾穩、目標物體被輕微碰偏、雙臂交接時姿態出現偏差，都可能讓后續步驟偏離原本計劃。

因此，可靠的機器人操作系統不能只會規劃一條「正常路線」，還需要在執行過程中處理各種意外。

現有方法通常在失敗發生后再檢測、分析并重新規劃恢復動作；但在長程任務中，這種事后補救往往會帶來額外延遲，也容易讓機器人陷入重復回退和重新執行。

近期，香港中文大學（深圳）、跨維智能與深圳河套學院的研究者提出了 AgentChord，一種面向機器人操作失敗恢復的智能體系統。該工作已被機器人領域旗艦會議Robotics: Science and Systems (RSS) 2026接收，并已開源代碼。

AgentChord 想解決的問題很直接：機器人能不能像人一樣，在動手之前就想好「如果出問題該怎么救」？它不把失敗恢復留到執行中臨時重規劃，而是提前預測可能發生的失敗，把對應的恢復動作寫進任務圖。

這樣，一旦在線監控發現異常，機器人可以立即切換到已經編譯好的恢復分支，糾正當前狀態后繼續完成任務。

• 論文標題：From Reaction to Anticipation: Proactive Failure Recovery through Agentic Task Graph for Robotic Manipulation
• 論文地址：https://arxiv.org/abs/2605.11951
• 項目主頁：https://edem-ai.github.io/AgentChord/
• 項目代碼：https://github.com/EDEM-AI/AgentChord

為什么不能等失敗后再想辦法？

人做操作任務時，很少真的從零開始「重新規劃」。倒水時杯子歪了，我們會順手扶正；瓶子快滑了，我們會立刻調整握姿；兩只手交接物體沒對準，一只手會退一點，另一只手再靠近。這個過程通常很快，也不會打斷整個任務。

現在很多機器人系統采用的是另一套流程：執行動作，檢測失敗，調用多模態大模型分析原因，再生成恢復動作。這個思路在簡單任務里可行，但一到長程任務，問題就會變得明顯。

一方面，多次調用大模型會帶來延遲。等系統完成觀察、推理和重新規劃時，錯誤可能已經擴大，比如水瓶已經倒下，或者物體已經滾到難以抓取的位置。

另一方面，如果不重新調用大模型，只是簡單回退到上一個節點再執行一遍，也不一定有效。杯子倒了需要扶正，不是重復「接近杯子」；交接失敗需要重新組織兩只手的位置，也不是簡單退回上一幀。

AgentChord 的出發點，就是把「失敗恢復」從事后補救，變成執行前的一部分。

AgentChord：把任務、失敗和恢復放進同一張圖

AgentChord 將一個機器人操作任務表示為有向任務圖。圖中的節點是語義子目標，比如「抓住瓶子」「移動到杯子上方」「完成傾倒」；邊則表示從一個子目標到下一個子目標的動作轉換。

在這張圖上，AgentChord 組織了三個智能體角色。

任務結構化智能體負責讀懂語言指令和初始場景，先搭出一條正常完成任務的主線。可以把它理解為先寫出「應該怎么做」的任務骨架。

恢復編排智能體會沿著這條主線檢查每個關鍵步驟，提前想象可能出錯的情況：物體滑落、目標位置被挪動、夾爪沒有真正夾緊、物體傾斜、雙臂相對位置失準等。對于這些失敗，它會插入對應的恢復節點和恢復邊，并指定恢復后應該回到任務圖中的哪個后續位置。

執行編譯智能體則把這些名義動作和恢復動作都編譯成機器人可以執行的程序，同時生成低延遲監控函數。執行時，系統不需要反復詢問大模型，而是持續讀取物體位姿、點云幾何、夾爪開合、關節狀態等信號。一旦監控函數觸發，機器人就直接進入對應的恢復分支。

這里最關鍵的一點是「前向恢復」。AgentChord 并不是鼓勵機器人一失敗就倒退重來，而是盡量讓恢復動作繼續朝最終目標推進。恢復完成后，機器人會重新匯入后續任務節點，避免重復執行已經完成的部分。

這讓 AgentChord 更像是在任務開始前寫好一份帶應急段落的「執行樂譜」：正常動作是一條主旋律，恢復動作是提前準備好的變奏。什么時候切換，由在線監控來決定。

仿真和真實機器人實驗

研究團隊在 EmbodiChain 仿真環境和真實 CobotMagic 雙臂機器人上進行了評測。任務覆蓋單臂倒水、雙臂倒水、餐桌整理、方塊交接、折疊毛巾、咖啡托盤擺放六類場景，其中既有剛體物體，也有薄物體和柔性物體；既有單臂操作，也有異步和同步雙臂協作。

在仿真實驗中，團隊選取單臂倒水、雙臂倒水和餐桌整理三類任務，并以不同概率注入物體掉落等擾動。AgentChord 在所有設置下取得最高平均成功率，達到99.2%；平均執行時間為41.5 秒，也優于 Inner Monologue、DoReMi、ReKep 和 Code-as-Monitor 等基線方法。

這個差距并不只是來自「檢測更準」。更重要的是，AgentChord 在失敗發生前就已經準備好了恢復分支，因此不用在現場重新走完整的大模型推理和規劃流程，也不需要反復回退執行。

真實機器人實驗更接近實際部署環境：感知有噪聲，抓取會失敗，人為擾動也更難完全控制。在六個真實任務上，AgentChord 取得77.5%的平均成功率和92.2 秒的平均執行時間。作為對比，Code-as-Monitor 的平均成功率為 72.5%，平均執行時間為 130.9 秒。

在雙臂倒水、方塊交接這類需要精細協作的任務中，提前編譯恢復分支的優勢尤其明顯。物體被挪動、掉落或姿態異常后，機器人可以快速進入對應恢復動作，而不是等待一次新的完整推理。

論文進一步給出了六類真實任務的多組試驗對比：每一行對應一次獨立試驗，左側是初始場景，右側是任務完成后的結果。不同試驗中，物體實例、位置、朝向以及外部擾動配置都會變化，但這些變化仍保持在機器人運動學可執行的范圍內。

AgentChord 在這些不完全相同的場景中都能完成任務，在真實環境變化和執行不確定性下保持了穩定的恢復與繼續執行能力。

下方兩段執行視頻展示了 AgentChord 在真實長程操作中的恢復能力。

在 Handover 任務中，機器人需要先由一側機械臂抓取方塊并送至交接位置，再由另一側機械臂接手并完成放置。不同于失敗發生后再臨時重規劃，AgentChord 在任務開始前就會預判可能出現的異常，例如交接過程中方塊被外力移走，并提前生成對應的恢復分支。

實際執行時，一旦方塊在交接前后受到擾動，系統不會重啟整條任務流程，而是根據當前所處的任務節點觸發相應恢復動作，重新調整雙臂位置、夾爪狀態和交接關系，再繼續完成后續放置步驟。

雙臂倒水任務則進一步考驗系統的協作能力：一只機械臂需要穩定接水容器，另一只機械臂負責抓取水瓶、移動、對準并完成傾倒。當杯子或水瓶的位置發生變化時，AgentChord 通過在線監控及時發現偏差，并觸發預先寫入任務圖的恢復動作，例如重新抓取、重新對準或調整雙臂相對位置，使任務繼續向目標推進。

這兩段視頻直觀體現了 AgentChord 的核心思路：失敗恢復不是事后重新規劃，而是提前準備好的可執行分支。

視頻鏈接：https://mp.weixin.qq.com/s/Bb2A51JmiuyBX8ufeS08wg?click_id=91

恢復軌跡也能用來訓練策略

AgentChord 的作用不只是在執行時把任務救回來。它生成的失敗恢復軌跡，也可以成為有價值的訓練數據。

論文在單臂倒水任務中做了一個驗證：在微調數據總量不變的情況下，把一半普通成功軌跡替換成 AgentChord 生成的可恢復失敗軌跡。

結果顯示，Sim2Real-VLA 策略在 50 次擾動測試中的成功次數，從 26/50 提升到 39/50。

這說明，機器人策略不應該只學習「順利完成任務」的樣子，也應該看到「出錯后如何繼續完成任務」。真實世界里的失敗不可避免，而高質量恢復軌跡正好能補上這部分經驗。

意義與展望

AgentChord 給機器人操作恢復提供了一種很清晰的組織方式：任務怎么做、哪里可能失敗、失敗后怎么恢復、恢復后接著往哪里走，都放在同一張可解釋的任務圖里。

當然，系統還不是萬能的。它仍然依賴大模型提前預判常見失敗模式。遇到罕見、復合或者完全沒有被覆蓋的失敗時，仍可能需要額外診斷和動態補充分支。感知噪聲、點云質量、逆運動學可行性，也會影響最終恢復效果。但這個框架的好處在于，它是模塊化的。未來更強的視覺語言模型、更穩健的三維感知模塊、更豐富的機器人技能庫，都可以接入這張恢復增強的任務圖。

從家庭服務到實驗室自動化，從整理餐桌到復雜雙臂裝配，機器人遲早要面對各種意外。AgentChord 的意義在于，讓機器人不再只是失敗后的被動補救者，而是在行動開始前，就為可能發生的失敗留好路。

作者介紹

第一作者：徐圣，香港中文大學（深圳）博士生，研究方向為強化學習及其在具身智能中的應用，曾在 RSS、ICLR、ICML、NeurIPS 等會議以第一作者發表論文。

通訊作者：劉桂良，香港中文大學（深圳）助理教授，研究方向聚焦具身智能決策與強化學習。在 NeurIPS、ICML、ICLR、RSS、ICRA、TPAMI 等國際機器學習會議和期刊上發表論文 50 余篇，擔任 NeurIPS、ICLR 領域主席。