原文鏈接：icra-research-robotics-simulation-to-real-world

原文作者：Katie Washabaugh

在國際機(jī)器人和自動化會議上，八篇新的英偉達(dá)研究論文展示了經(jīng)過模擬訓(xùn)練的機(jī)器人是如何進(jìn)入現(xiàn)實(shí)世界的。

機(jī)器人技術(shù)正在進(jìn)入一個新階段：從受控演示和腳本自動化轉(zhuǎn)向現(xiàn)實(shí)世界中可推廣、可靠的體現(xiàn)自主。

在國際機(jī)器人和自動化會議（ICRA）上，NVIDIA Research的28篇被接受的論文中有8篇展示了模擬到現(xiàn)實(shí)的傳輸如何成為這種轉(zhuǎn)變的基礎(chǔ)，幫助機(jī)器人在動態(tài)、不可預(yù)測的環(huán)境中感知、推理、計劃和行動。

這些論文共同涵蓋了機(jī)器人開發(fā)人員面臨的挑戰(zhàn)：并行協(xié)調(diào)多個手臂，構(gòu)建跨機(jī)器人身體通用的政策，在雜亂中抓住新事物，執(zhí)行精確的組裝，以及開發(fā)在移動前推理的視覺-語言-動作模型。

通道很清楚：sim-to-real正在成為機(jī)器人的基礎(chǔ)，這些機(jī)器人可以在實(shí)驗室外以更高的可靠性進(jìn)行適應(yīng)、概括和操作。

Coordinating Arms, Navigating Bodies, Grasping Objects

想象一下一個由機(jī)械臂運(yùn)行的制藥實(shí)驗室：拾取試管、轉(zhuǎn)移液體、混合試劑——每個步驟都需要不同的時間，都需要仔細(xì)協(xié)調(diào)。

傳統(tǒng)的機(jī)器人調(diào)度軟件按順序處理這些步驟，一次一個手臂。

ScheduleStream透過在GPU上執(zhí)行計算來改變這一點(diǎn)，讓多個手臂計劃移動並行操作。結(jié)果——在NVIDIA Jetson edge AI平臺等硬件上，跨多臂規(guī)劃場景加快了3倍的速度。框架的代碼可以在GitHub上找到。

一個學(xué)習(xí)在空間中導(dǎo)航的機(jī)器人——避開障礙物并找到目的地——通常學(xué)會在一個身體中做到這一點(diǎn)。將相同的導(dǎo)航軟件放入形狀不同的機(jī)器人中，它經(jīng)常會散架，因為它的部件都以不同的方式移動。

COMPASS政策框架通過首先使用模仿學(xué)習(xí)構(gòu)建基線導(dǎo)航功能，然后使用NVIDIA Isaac Lab中的剩余強(qiáng)化學(xué)習(xí)來為各種機(jī)器人實(shí)現(xiàn)構(gòu)建專家來解決這個問題。至關(guān)重要的是，任何階段都不涉及現(xiàn)實(shí)世界的機(jī)器人數(shù)據(jù)：一切都在Isaac Lab模擬中進(jìn)行訓(xùn)練。

與模仿學(xué)習(xí)基線相比，COMPASS的平均成功率提高了4.5倍。它還無縫傳輸?shù)浆F(xiàn)實(shí)世界環(huán)境，在自主移動機(jī)器人和人形的20次現(xiàn)實(shí)世界導(dǎo)航試驗中展示了約80%的成功。

COMPASS對代理友好，具有專門的技能——開發(fā)人員可以將管道與NVIDIA Omniverse NuRec連接起來，以便在部署前在新環(huán)境的數(shù)字孿生中對機(jī)器人進(jìn)行后訓(xùn)練和驗證。

大多數(shù)抓取系統(tǒng)識別對象，預(yù)測抓取，規(guī)劃路徑，然后執(zhí)行。但最后幾厘米是小錯誤最重要的地方。

Grasp-MPC自適應(yīng)地計算機(jī)器人抓取，在機(jī)器人靠近物體時不斷糾正其運(yùn)動，而不是執(zhí)行固定計劃——一個人通過感覺而不是提前計算每個關(guān)節(jié)角度來抓取東西的方式。

為了制定該政策，研究人員使用GraspGen數(shù)據(jù)集的注釋和來自cuRobo（用于機(jī)器人運(yùn)動生成的CUDA加速庫）的運(yùn)動規(guī)劃數(shù)據(jù)，在8000個物體上生成了200萬個物體的模擬軌跡。

在對成功和失敗軌跡進(jìn)行培訓(xùn)后，Grasp-MPC學(xué)會了在雜亂的桌面和架子上掌握新穎的物體——在真實(shí)機(jī)器人上取得了約75%的總體成功率，而基線為41%。

可變形聚類操作引入了一個框架，該框架應(yīng)對了一個平行挑戰(zhàn)：使系統(tǒng)能夠同時抓取整個靈活、糾結(jié)的材料，而不僅僅是一個對象。

該框架的動機(jī)是一個現(xiàn)實(shí)世界的任務(wù)：清除生長在電力線上的大量樹枝，那里沒有干凈的物體可以抓住。系統(tǒng)使用整個手臂，而不僅僅是抓手：將其纏繞在分支集群上，然后將其掃到一邊，就像有人可能會收集一臂的電纜或?qū)⒓m結(jié)的刷子推開的方式。

研究人員使用生物生長方程構(gòu)建了一個樹生成器，以創(chuàng)建許多不同形狀和大小的合成樹——然后在NVIDIA Isaac開放模擬框架中訓(xùn)練了數(shù)千棵樹的系統(tǒng)。

該政策部署到真正的分支零射擊。除了電力線之外，研究人員還看到了電纜管理、農(nóng)業(yè)檢查以及機(jī)器人需要處理糾結(jié)而不是單個可抓取物品的任何地方的潛力。

在零射擊模擬到真實(shí)部署中清除樹枝。

Assembling With Precision

精確的組裝——將螺母穿入螺栓上，將齒輪插入齒輪軸，將釘子壓入孔中——僅通過模擬是出了名的難。

現(xiàn)實(shí)世界是復(fù)雜的。真正的表面并不完美光滑。傳感器的行為不按規(guī)定進(jìn)行。模擬器忽略的微小差異可能會阻止機(jī)器人的腳步。

SPARR方法通過將工作一分為二來解決這一問題。在Isaac Lab中訓(xùn)練的策略學(xué)習(xí)模擬中組裝任務(wù)的一般策略。然后，在實(shí)際硬件上，第二層學(xué)會糾正模擬器出錯的任何東西——使用機(jī)器人自己的相機(jī)，無需任何人類演示或指導(dǎo)。

與零射擊模擬到真實(shí)基線相比，SPARR的成功率提高了38%，周期時間縮短了約30%。

在培訓(xùn)期間沒有看到的國家標(biāo)準(zhǔn)與技術(shù)研究所（NIST）組裝任務(wù)上，成功率提高了近75%——接近需要人工參與的方法的結(jié)果。

煉油廠框架在裝配中具有下一層難度：具有多個順序步驟的任務(wù)，其中第一步的完成程度決定了第二步是否可能。這就像組裝家具一樣——將面板放在錯誤的角度，下一個緊固件就進(jìn)不去。

通過了解成功如何因初始條件而異，以及數(shù)百個模擬組裝場景中的培訓(xùn)，煉油廠學(xué)習(xí)如何完成每個步驟，并將每個組件留在下一個設(shè)置的位置。與現(xiàn)實(shí)世界結(jié)果相當(dāng)可比的基線相比，它實(shí)現(xiàn)了91%的模擬成功率和近11%的平均改進(jìn)——其政策可以串聯(lián)在一起處理冗長的多部分序列。

Action Models That Keep Their Word

PEEK管道幫助機(jī)器人看到雜亂無章的東西。在典型的操作任務(wù)中，機(jī)器人的相機(jī)會捕捉到場景中的所有內(nèi)容——但其中大部分是無關(guān)緊要的噪音。

PEEK項目頁面上展示的一項任務(wù)是“把香蕉交給英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁”：一張黃的照片與邁克爾·喬丹的照片一起放在桌子上，這是一組不相關(guān)的物體和其他分散注意力的東西。

完成任務(wù)的人立即專注於香蕉和正確的照片；標(biāo)準(zhǔn)的機(jī)器人政策必須處理一切，並且經(jīng)常感到困惑。PEEK通過讓視覺語言模型讀取任務(wù)指令并相應(yīng)地聚焦機(jī)器人的視線來解決這個問題——顯示運(yùn)動路徑，并突出顯示重要物體周圍，同時淡化其他一切。

然后，該政策根據(jù)注釋的觀點(diǎn)行事，而不是原始場景。對于純粹在模擬中訓(xùn)練的政策，添加PEEK的準(zhǔn)確性比現(xiàn)實(shí)世界提高了41倍。對于大型VLA模型和較小的政策，收益范圍為2-3.5倍。由于它在圖像級別工作，PEEK無需修改即可與任何基于相機(jī)的策略集成。

言出所力——與卡內(nèi)基梅隆大學(xué)、猶他大學(xué)和悉尼大學(xué)的研究人員合作——解決了機(jī)器人處理更長、更復(fù)雜的任務(wù)時更重要的特定故障模式。

給機(jī)器人一個指令，比如“把所有東西都放在柜子里的這個桌子上”或“準(zhǔn)備曼哈頓”，它必須將其分解成單獨(dú)的步驟，并按順序執(zhí)行它們。

問題是，人工智能模型可以正確推理它需要做的事情——然后執(zhí)行一些不同的東西。

這種稱為SEAL的方法在運(yùn)行時修復(fù)了這一點(diǎn)，無需任何再訓(xùn)練：機(jī)器人生成幾個候選動作序列，思考每個動作序列實(shí)際上會引導(dǎo)到哪里，并選擇與它所說的結(jié)果相匹配的結(jié)果。與之前的工作相比，SEAL提供了高達(dá)15%的精度提升，對改寫指令、更改對象、場景雜亂和移動相機(jī)角度具有穩(wěn)健性。

除了論文之外，英偉達(dá)還通過機(jī)器人的大規(guī)模開放數(shù)據(jù)集擴(kuò)展機(jī)器人研究基礎(chǔ)設(shè)施。NVIDIA物理人工智能數(shù)據(jù)集是世界上最大的物理開發(fā)開放數(shù)據(jù)集，下載量超過1500萬次，而NVIDIA Isaac GR00T X Embodiment Sim已成為下載量最大的機(jī)器人數(shù)據(jù)集之一。

雷峰網(wǎng)