Ai2推出新型機器人模型意圖彌合仿真與現實之間差距

Ai2（艾倫人工智能研究所，這是由微軟聯合創始人保羅·艾倫于2014年創立的非營利性人工智能研究機構）在機器人領域提出了一項大膽主張：機器人完全可以在仿真環境中學習有用的操控技能，然后將這些技能帶入現實世界，而無需在現實世界的機器人數據上進行任何訓練。這是Ai2發布的兩個新開源項目MolmoSpaces和MolmoBot的核心思想。

MolmoSpaces是一個龐大的具身AI研究仿真環境，由超過23萬個室內場景、13萬多個物體模型和4200多萬個機器人抓取注釋構建而成。MolmoBot是基于MolmoSpaces訓練的操控模型。這些模型共同設計用于解決仿真到現實的差距，這是確保在仿真中學到的行為在部署到物理機器人時仍然能夠有效的基礎機器人挑戰。

在評估中，MolmoBot成功執行了幾個核心操控任務。它能夠執行抓取和放置操作，操控抽屜和櫥柜等鉸接物體，并在兩個機器人平臺上打開門，包括Franka FR3機械臂和RB-Y1移動操作器，無需現實世界微調。這種結果被稱為零樣本仿真到現實遷移，它挑戰了機器人領域的一個普遍觀點，即合成訓練只能達到一定限度，之后就需要人類引導的演示。

這種零樣本仿真到現實遷移的主張正是此次發布值得關注的之處。當今許多機器人工作都依賴于人們在物理世界中引導機器人完成任務而收集的大量遙操作數據。這些數據集生成成本高昂，通常不公開，且難以復制。

Ranjay Krishna領導Ai2的PRIOR團隊，該團隊致力于多模態和具身AI研究。該團隊開發結合視覺、語言和音頻的模型，并發布了開放視覺語言系統，同時涉及衛星圖像分析等領域的項目。最近，該團隊將工作擴展到機器人領域，這些模型被用于指導物理行動。

Krishna表示，他的團隊希望通過問仿真本身缺少什么來以不同方式處理仿真到現實的問題，而不是假設現實世界數據是唯一解決方案。他的答案是多樣性。

"我們的總體目標是提供能夠應對真正艱巨挑戰的突破性AI模型。我們的方法是轉向仿真，弄清楚是什么讓仿真對人們不那么有吸引力，而不是走出去收集大型、昂貴的數據集，" Krishna說。"我們在幾年前開始這一系列項目時的假設是，仿真數據對于我們要生成足夠有用的數據來訓練這些模型來說，多樣性還不夠。"

Krishna解釋說，問題不在于仿真本身過于依賴人工，而在于它往往缺乏機器人在實驗室之外遇到的條件范圍。Ai2通過大幅擴展訓練期間可用的環境和情況種類來解決這一問題。在MolmoSpaces中訓練的機器人會遇到不同的布局、照明條件、物體放置、攝像機視角和物理交互，所有這些都在仿真器內生成。其想法是，如果模型在訓練期間看到足夠多的變化，現實世界看起來就像是另一種環境。

MolmoSpaces提供了用于生成這種多樣性的廣泛仿真環境。該系統包括超過23萬個室內場景，從家庭和辦公室到醫院和博物館，每個場景都填充了物體，這些物體的物理屬性（如重量、材料和鉸接）都為機器人交互進行了建模。因為一切都是仿真的，研究人員可以生成大量的機器人軌跡，并測試模型在許多環境中的泛化能力，而不是在單一固定設置中評估它們。

Krishna給出了一個特別生動的例子。在許多機器人系統中，即使攝像機的輕微移動也可能導致性能崩潰，因為模型過度依賴固定的視覺視角。Ai2希望通過將這類干擾直接引入仿真中來打破這種脆弱性。因此，Krishna說，即使攝像機被大幅移動，包括手動移動，MolmoBot仍能繼續執行任務。

一名Ai2研究員訓練機器人將香蕉放入特定的碗中。他不時移動攝像機，但機器人仍保持在任務上。

正如其在研究發布中通常的做法，Ai2將MolmoSpaces和MolmoBot作為開放基礎設施發布。該組織不僅發布模型，還發布整個技術棧：數據、生成管道、資產、基準和工具。MolmoSpaces還設計為在常見的仿真器上工作，包括MuJoCo、ManiSkill和Nvidia Isaac Lab和Sim，使其作為共享研究基礎設施更易訪問。

"艾倫研究所遵守的一個主要原則是我們所做的一切都是完全可復現的，完全開源的。" Krishna說，"你可以獲取我們所有的數據、所有的環境，并從頭開始構建我們在內部構建的一切。"

Krishna承認，仿真到現實的差距已成為機器人研究的中心辯論："它一直是一個熱門話題。一些大公司寫的博客文章說，我們需要現實數據才能讓這些機器人在現實世界中工作，在仿真中做的任何事情都不會轉移到現實世界。"他說。"我們從實證上表明它確實有效。缺失的是我們仿真引擎中環境的多樣性，高質量的資產集，高質量的抓取集，以及我們可以生成的大量數據。"

這一切并不意味著仿真到現實的差距已經消失，Krishna謹慎地指出。Ai2在仍然相對受控的環境中演示了少量操控任務的遷移，而不是現實世界機器人的完整復雜性。涉及動態運動的任務，如接住或投擲物體，在很大程度上仍未探索，需要旋轉或重新定位物品的更精確的更靈巧的操控也是如此。機器人仍然難以完成推理任務，如在雜亂的空間中搜索特定物體。

Krishna表示，團隊已經在開發MolmoBot的后續版本，旨在解決更復雜、多步驟的任務。目標不是簡單的操控，而是處理多步驟指令，如在家庭中找到物品并取回，或將請求分解為更小的動作來清理房間。這需要能夠繪制周圍環境地圖、記住已經看過的地方并規劃一系列步驟以實現目標的模型。

Krishna補充說，僅靠仿真無法解決問題。雖然大型仿真環境可以加速訓練，但機器人仍需要從現實世界經驗和演示中持續學習。"仿真絕對是答案的一部分，"他說，但開發能夠在部署后繼續學習的機器人仍然是一個主要挑戰。

對Krishna來說，這個項目最重要的收獲是，仿真可以在機器人領域發揮比許多研究人員曾經認為的更大的作用："對我們來說，主要信息是仿真到現實是可能的，你可以復制這些結果，我們希望這將導致更好的、更公平的模型，任何人都可以構建。"