Jim Fan解讀機器人“終局之戰”：人類將在2040年徹底解鎖“機器人技術樹”

英偉達具身自主研究團隊負責人Jim Fan宣告，機器人領域正在復制大語言模型的成功路徑，終局之戰已經開始，而他以95%的置信度押注：2040年，機器人技術樹將徹底解鎖。機器人技術樹即機器人從“身體”到“大腦”所需的關鍵技術，包括底層硬件、中層感知、上層決策等。

在近日舉行的AI Ascent大會上，英偉達具身自主研究團隊負責人Jim Fan發表了一場題為"機器人學：終局之戰"的主題演講。他系統闡述了一套完整的機器人技術發展路線圖——從模型范式革命到數據策略顛覆，并以"偉大的類比"為核心論點：機器人領域將嚴格復制LLM的成功路徑，從預訓練到推理，再到自動化研究，"這是對大語言模型成功路徑的全面復制。"

Fan開場即直接點出他對大語言模型團隊的羨慕："LLM團隊正在享受他們人生中最輝煌的時刻……那么，機器人領域為什么不能也沾沾光呢？"

機器人“大腦”換新方案：舊模型偏“嘴皮子”，新模型長“手腳”

過去三年，機器人行業流行一種叫VLA的訓練方法（中文叫“視覺-語言-動作模型”）。英偉達自己的Groot和另一家明星公司Pi都用的這套。

但Fan直接開懟：這套方法說白了就是“語言-視覺-動作模型”——大部分算力都喂給了語言模塊，語言是老大，視覺和動作只能排后面。結果是，機器人學了一堆知識和名詞，但物理操作和“動詞”能力明顯不行。

英偉達的新方案是：先看世界怎么動，再學自己怎么動。

Fan團隊推出了新模型，叫“世界行動模型”。邏輯很簡單：第一步，用海量視頻訓練機器人預測“接下來世界會發生什么”（比如杯子倒了水會灑）；第二步，用少量操作數據微調，讓機器人把注意力放到真實任務上；最后用強化學習收尾。

具體產品叫Dream Zero。它能一邊預測畫面一邊輸出動作——畫面預測對了，動作就執行；畫面預測錯了，動作就失敗。實驗顯示，它甚至能零樣本執行從沒見過的軟體操作任務。

遙操作之死：人類視頻成為機器人數據主糧

數據策略上，Fan指出遙操作同樣走到了終點。問題的本質是物理極限：

"每臺機器人每天的有效工作時間更像是3小時——而且還是在機器人狀態良好、不鬧脾氣的情況下。"

他提出的替代路徑是"類FSD方案"——讓數據采集無感化、背景化，就像特斯拉FSD悄悄上傳駕駛數據一樣。英偉達團隊開發了MANUS系統（與五指機械手實現1:1映射的軸骨架），并用Ego Scale方案證明了以人為中心視頻的顛覆性潛力。關鍵數字如下：

• 使用20,000小時真實場景人類手部視頻預訓練
• 零機器人數據參與預訓練
• 微調階段僅需50小時模擬數據 + 4小時真實數據（占總訓練數據不足0.1%）

最終模型能夠泛化到卡片分類、操作注射器、液體轉移等高靈巧度任務，"也許有一天我們會擁有家庭機器人護士。"

更值得關注的發現是：Fan團隊發現了機器人靈巧操作的神經縮放定律——"在最初針對語言模型的神經縮放定律提出六年之后，我們發現了一個簡潔的對數線性數學方程，同樣適用于機器人靈巧操作。"預訓練時長與最優驗證損失之間存在非常清晰的數學關系。

他明確預測：未來一兩年內，遙操作數據需求將下降至幾乎可以忽略不計，以自我中心視頻為核心的數據范式將全面接管。

"計算量=環境=數據"：模擬器革命

強化學習訓練環境的規模化，是機器人領域的另一大瓶頸——"我們目前還無法實現100萬個并行訓練環境的目標，如果用傳統方法，那需要100萬個真實機器人。"

英偉達的解法分兩步：

Real2Sim2Real：用iPhone拍照→3D掃描提取物體→在物理模擬器中自動重新合成，"iPhone基本上就變成了一個口袋世界掃描儀。"

Dream Dojo：基于視頻世界模型構建的神經模擬器，實時輸出RGB圖像和傳感器狀態，"不涉及任何物理方程，也不涉及任何圖形引擎。"

這使得一個等式成立："計算量 = 環境，環境 = 數據。" Fan隨即引用了黃仁勛的話作為注腳——"買得越多，省得越多。"

三大成就與2040年終局

Fan將機器人技術的終局拆解為文明游戲式的"三大成就"：

第一成就——物理圖靈測試：讓人無法分辨是機器人還是人類在完成任務。Fan判斷："大約還需要兩到三年時間。"

第二成就——物理API：機器人像軟件一樣通過API和命令行調度，支撐"燈塔工廠"（原子打印機：輸入Markdown設計文件，輸出完整組裝產品）或濕實驗室中化學、生物、醫學領域的科學發現自動化。

第三成就——物理自動化研究的頂峰：機器人能夠設計、改進和構建下一代自身，"其能力將遠遠超出人類的范疇。"

時間線上，Fan援引了一個精確類比：AI領域從2012年AlexNet到如今逼真視頻生成模型，歷時14年。"2026年正好介于2012年和2040年之間。而且技術發展并非線性，而是呈指數級增長。"

以下是演講原文：

主持人 00:02
首先，我很高興向大家介紹我的朋友 Jim Fan。Jim 領導著英偉達的具身自主研究團隊，也就是英偉達機器人團隊。我認為機器人是未來最激動人心的發明之一。汽車本質上就是一個大型機器人，但我更期待機器人能夠幫我們排便、搬運東西。Jim 在去年的 AI 大會上表現出色，我們非常高興他能再次參加。
Jim Fan 00:27
那是 2016 年的一個夏日，就在我們現在坐的這間辦公室里。一個穿著锃亮皮夾克、肌肉發達的家伙，把一個大金屬托盤扔了進來。托盤上寫著："致埃隆·馬斯克和 OpenAI 團隊，致計算機和人類的未來：我向你們展示世界上第一臺 DGX-1。"那是我第一次見到黃仁勛（Jensen）。像任何一個優秀的實習生一樣，我趕緊排隊在上面簽名。你們能找到嗎？我的名字就在這里。還能找到另一個嗎？那是安德烈（Andrej）。安德烈，我們要去計算機歷史博物館了。我感覺自己像個恐龍。那時候我根本不知道自己即將加入的是什么。接下來發生的事，恐怕沒有人比伊利亞（Ilya）本人更能描述清楚了。如果你相信深度學習，他們也會相信你。他們對我們所有人的深度學習信念，真是無比堅定。
Jim Fan 01:36
三個階段，六年時間，這就是我們走到今天的全部歷程。
首先是 GPT-3，無監督預訓練。接下來是詞元預測——它實際上是在學習語法規則，語言結構則是在模擬思想、代碼以及各種信息序列應當如何折疊。2022 年，我們引導 GPT 進行監督微調，使模型能夠完成有用的工作，或者使用強化學習進行推理，以超越模仿學習。最后是自動化研究，將整個循環加速到人類能力的極限。正如 Andrej 所說，所有的努力都是為了最終決戰。對于大語言模型（LLM）團隊來說，他們已經進入了游戲的最后階段。說實話，我非常羨慕。看看 Andrej 有多開心，臉上掛著燦爛的笑容。
Jim Fan 02:33
LLM 團隊正在享受他們人生中最輝煌的時刻。他們用名為"Missile"的神秘利器，以極速推進通用人工智能（AGI）。那么，機器人領域為什么不能也沾沾光呢？于是，就像任何一個自尊自重的科學家都會做的那樣，我照搬了這套方法，并給它起了個新名字，稱之為"偉大的類比"。
與其預測 token 序列，我們能否預測下一個物理世界狀態？然后，通過動作微調，將機器人與模擬中對真實機器人至關重要的關鍵區域進行對齊。最后，讓強化學習完成最后的沖刺。就是這樣。這是對大語言模型成功路徑的全面復制。
Jim Fan 03:18
既然無法戰勝他們，那就加入他們。請收看新一期節目——機器人學：終局之戰。
香蕉真是太美味了，謝謝，Dennis。
那么，我們該如何打這場終局之戰呢？歸根結底，就是兩件事：模型策略和數據策略。
我們先來看模型。過去三年，視覺-語言-動作模型（VLA）占據了主導地位，Pi 和 Groot 這樣的模型也屬于這一范疇。我們假設預訓練由視覺語言模型完成，然后在其上附加一個動作頭。但如果仔細想想，這些模型其實更應該叫做語言-視覺-動作模型（VLA），因為大部分參數都分配給了語言模塊。語言是第一等公民，視覺和動作居其次。根據設計，VLA 更擅長編碼知識和名詞，但在物理和動詞方面則略顯不足——在某些方面有點用力過猛。
這是我最喜歡的 VLA 原始論文中的例子：把可樂罐移動到泰勒·斯威夫特的圖片上。是的，模型之前從未見過泰勒·斯威夫特，它確實具備泛化能力，但這并非我們所追求的預訓練方向。
那么，第二種預訓練范式是什么？我們原本以為它會非常出色。可惜結果發現，它不過是"AI 視頻老虎機"——就是那種"我可以整天看監控錄像里的貓彈班卓琴"的玩意兒，簡直是互聯網的巔峰之作。但說真的，除非我們意識到這些視頻模型正在學習內部模擬下一個世界狀態，否則沒人會認真對待它。
這里展示了 Veo 3 中的一些片段。你可以看到，這些模型能夠自主地捕捉重力、浮力、光照、反射和折射等效果——所有這些都不是預先編碼的。物理特性是通過大規模預測下一個像素塊而涌現出來的，甚至視覺規劃也是如此。
Jim Fan 05:23
看看 Veo 是如何解決這些物理推理問題的——它通過在像素空間中向前運行模擬來解決。注意右下角，這是我最喜歡的例子。如果你眨一下眼，就會錯過 Veo 3 是如何解決這個問題的——它非常智能。你知道，如果不仔細看，幾何關系就顯得多余了。我把這稱為"物理槽"。
Jim Fan 05:53
那么，我們如何才能讓這些世界模型真正發揮作用？答案是：進行動作微調。我們將所有可能的未來狀態疊加起來，并將其壓縮到對真實機器人至關重要的那一薄層上。
Jim Fan 06:09
隆重推出 Dream Zero。這是一種新型策略模型，它能夠預測幾秒鐘后的未來，并據此采取行動。運動動作是高維連續信號，看起來就像像素一樣，因此我們可以在渲染視頻的同時渲染動作。Dream Zero 可以聯合解碼下一個世界狀態和下一個動作。由此，它能夠零樣本執行從未見過的軟體任務和動作。
當機器人執行動作時，我們可以可視化正在傳輸的內容，相關性非常高：如果視頻預測正確，動作就會執行；如果視頻出現錯誤，動作就會失敗。視覺和動作再次成為重中之重。
我們用 Dream Zero 做了很多有趣的實驗——只需在實驗室里讓機器人滾動，然后在提示框中輸入一些隨機內容。當然，Dream Zero 無法 100% 保證所有任務的魯棒性，但它就像 GPU 一樣，力求在每種情況下都正確捕捉運動軌跡。
Jim Fan 07:19
Dream Zero 是我們邁向機器人開放式、開放詞匯提示的第一步。我們將這種新型模型稱為世界行動模型（World Action Model）。
讓我們為我們的老朋友 VLA 默哀片刻。它為我們做出了巨大貢獻。安息吧，一路走好。
接下來是數據策略。這位是英偉達首席科學家 Bill Dally，他正在我們實驗室進行遠程操作?？紤]到他的薪水，我認為這絕對是我們數據集中收集到的最昂貴的軌跡。
過去三年，遠程操作占據了主導地位——這是黃金時代：VR 頭顯、極致優化的流媒體延遲，以及這些看起來像中世紀酷刑裝置的復雜綁帶系統。
Jim Fan 08:17
工業領域投入了那么多資金，付出了那么多痛苦和磨難，然而每臺機器人每天的工作時間上限只有 24 小時，這是基本的物理極限。實際上，更準確地說，每臺機器人每天的有效工作時間更像是 3 小時——而且還是在機器人狀態良好、不鬧脾氣的情況下。
Jim Fan 08:37
那么我們該如何做得更好呢？不如試試這個——你只需把機械手戴在自己的手上。這叫做 UMI（通用操作接口，Universal Manipulation Interface），是一個看似簡單卻意義深遠的想法：戴上機器人末端執行器，用手操作，像人類一樣直接收集數據，而機器人的其他部分則無需參與。
我認為 UMI 或許是機器人數據領域最重要的論文之一，它催生了兩家獨角獸初創公司。左邊是 Physical Intelligence（π）對這個設計進行的改進；右邊是 Sunday 制作的三指數據手套。
去年，我們更進一步，設計了一個軸骨架，與五指 Dexterous 機器人手實現了 1:1 的映射，我們稱之為 MANUS（純文本操作數據采集系統）。
來看一下對比：左邊是人直接收集數據，速度最快；右邊，操作員是我們技術最精湛的博士之一，他必須非常仔細地進行對準，速度非常慢，成功率也很低；而中間方案，只需穿戴這個軸骨架，就能直接采集高質量數據。我們用這些數據訓練機器人策略。現在看到的是完全自主的策略部署，該策略基于零機器人操作數據訓練而成。如此一來，我們打破了每個機器人每天 24 小時運行的限制——看看這些機器人有多開心，因為它們不再需要參與數據采集了。
Jim Fan 10:16
所以這就是答案嗎？我們解決了機器人技術的規模化問題嗎？
這里有人開特斯拉或 Waymo 嗎？你知道，當你開車的時候，你實際上參與了迄今規模最大的物理數據采集。妙處在于，在 FSD（全自動駕駛）模式下，你甚至感覺不到它的存在，因為數據上傳是一個無聲的過程。然而，佩戴 UMI 或 MANUS 這類數據可穿戴設備仍然很麻煩——它很突兀，不像開車上班那樣無縫。
所以我們需要一套類似 FSD 的方案。數據收集需要變得更加輕量、融入背景，這樣我們才能充分捕捉人類在各行各業、所有經濟價值勞動中展現的靈巧技能。
Jim Fan 11:06
因此，我們全力投入到以人類為中心的視頻中，這些視頻配有詳細標注，包括手部位置追蹤、密集語言標注，并引入了自我尺度（Ego Scale）的概念。其中，99.9% 的訓練數據都基于以人類為中心的視頻。最終，我們獲得了一種端到端的策略，可以直接將攝像頭像素映射到具有 22 個自由度的高靈巧度機器人手上。
Jim Fan 11:35
您現在看到的是完全自主運行的結果。我們使用 20,000 小時的真實場景下以人為中心的人類視頻數據對 Ego Scale 進行預訓練，完全不使用任何機器人數據。在預訓練過程中，我們預測手部關節位置和腕部姿態。在動作微調階段，我們僅收集了 50 小時的高精度模擬數據，以及 4 小時的真實訓練數據——這 4 小時的數據不到我們總訓練數據的 0.1%。
憑借這些數據，Ego Scale 能夠泛化到一些非常靈巧的任務，例如卡片分類、操作注射器以及液體轉移。也許有一天我們會擁有家庭機器人護士。對于這些任務，只需在測試時進行一次演示，模型就能學習不同的襯衫折疊策略。
Jim Fan 12:33
這篇論文中最引人入勝的發現，是我們發現了靈巧性相關的神經縮放定律——預訓練時長與最優驗證損失之間存在非常清晰的關系。在最初針對語言模型的神經縮放定律提出六年之后，我們發現了一個簡潔的對數線性數學方程，同樣適用于機器人靈巧操作。
如果我們把所有數據策略都放在一張圖表上，X 軸代表與機器人硬件的耦合程度，Y 軸代表可擴展性，圖表大致如下：可擴展性最差的數據可穿戴設備，其數據量也不過數十萬小時。而對于自我中心（Egocentric）視頻，如果能充分發揮類 FSD 的優勢，下一階段的數據量很容易突破數千萬小時。此外，如果我們在圖表上畫一條分界線，線左側的所有方法都代表了新的數據范式——人體傳感器數據。
Jim Fan 13:29
讓我做幾個預測。
未來一兩年內，我們會看到機器人遙操作數據的需求持續下降，直至幾乎可以忽略不計。屆時，將會出現一系列針對不同硬件和應用場景定制的數據變體。最終，機器人領域的主要數據來源將是自我中心視頻。
讓我們為我們的老朋友遙操作默哀片刻。你為我們做出了卓越的貢獻。安息吧。
那么，數據策略完成了嗎？大家注意到我在數據策略上標了兩個環嗎？外環是什么？所有前沿 AI 領域都投入了大量資源來構建數百萬個編碼環境，用于強化學習訓練。機器人領域同樣如此，我們迫切需要擴展訓練環境的數量。當然，你也可以直接在真實機器人上進行強化學習。在我們的實驗室里，我們通過 RL 將某些任務的成功率提升到接近 100%，讓機器人連續執行數小時。
Jim Fan 14:35
看著這些機器人自主組裝 GPU，感覺確實挺有意思的。用我老板的話說就是：干得好，這項任務已經得到批準了。然而，我們目前還無法實現 100 萬個并行訓練環境的目標——如果用傳統方法，那需要 100 萬個真實機器人。
所以我們需要一種更好的方法。假設你用 iPhone 拍張照片，通過 3D 掃描流程提取場景中所有物體，再在經典物理模擬器中自動重新合成它們。掃描完成后，所有這些物體都具有交互性，你可以在模擬中無限擴展，添加我們稱之為"數字表親"的各種變體。在這個我們稱之為**"實物到仿真再回到實物（Real2Sim2Real）"**的流程中，iPhone 基本上就變成了一個口袋世界掃描儀。通過這種方式，我們擁有了一種可擴展的方法，可以將物理世界移植到數字世界。但這種方法仍然依賴于經典的圖形渲染引擎。
我們能否做得更好？Dream Dojo 的出現讓我們能夠更好地利用視頻世界模型，并將其轉化為功能齊全的神經模擬器。Dream Dojo 接收連續的動作信號作為輸入，并實時輸出下一幀 RGB 圖像以及傳感器狀態。您現在看到的每一個像素都不是真實的。Dream Dojo 能夠通過純數據驅動的方法，捕捉并學習不同機器人的運行機制。
Jim Fan 16:10
這個過程不涉及任何物理方程，也不涉及任何圖形引擎。因此，機器人訓練的新范式是：一套大規模并行的強化學習系統，運行在少數幾個真實機器人工作站上，配備大量 GPU 來執行世界掃描和強化學習計算，同時運行世界模型。
正如這個等式所描述的：計算量 = 環境，環境 = 數據。用我老板的話說：買得越多，省得越多。
好了，整理一下。機器人技術的發展將遵循一個宏大的平行規律，而且它正在發生——我們正處于最終階段的起點。
大家都玩過《文明》這款游戲吧，它至今仍是我的最愛。我喜歡把自己的研究比作在文明科技樹上解鎖成就。機器人技術還有三個成就需要解鎖。
Jim Fan17:16
解鎖之后，我就大功告成，可以退休了。
第一個成就，是讓機器人通過涵蓋各種活動的物理圖靈測試——讓你根本分辨不出是人類還是機器人在完成某項任務（也許喝醉的人類除外）。物理圖靈測試關注的是單位能量輸入與單位勞動輸出的比值。光看現在機器人的姿態，我覺得我們還有很多工作要做。大約還需要兩到三年時間。
第二個成就是物理 API——屆時我們將擁有一整支機器人隊伍，它們可以像任何軟件一樣，通過 API 和命令行進行配置與調度，并最終由 Opus 9.0 這樣的 AI 進行協調。
有了物理 API，我們將能夠實現燈塔工廠（Lighthouse Factory）。這些工廠本質上是原子打印機：接收以 Markdown 文件形式輸入的設計，輸出完全組裝好的產品，全程自主運行?；蛘邞糜跐駥嶒炇?，實現化學、生物學和醫學領域的科學發現自動化。
第三個成就是物理自動化研究的頂峰——屆時機器人將能夠設計、改進和構建下一代自身，其能力將遠遠超出人類的范疇。
Jim Fan 18:40
你可能會問：這難道不是科幻小說嗎？我們這輩子能看到嗎？
人工智能領域花了整整 14 年，才從 2012 年 AlexNet 的第一次前向傳播，發展到如今能夠生成逼真視頻的模型。AlexNet 最初只能勉強區分貓和狗。
2026 年——好吧，我們聊的是實體智能，那就再加 14 年——2040 年。2026 年正好介于 2012 年和 2040 年之間。而且技術發展并非線性，而是呈指數級增長。
所以我可以 95% 確定地說，到 2040 年，我們將完成機器人技術樹的最終階段。而我們那時依然年輕。
如果你相信機器人技術，機器人技術也會相信你。
對于在座的各位——我們這一代人，生不逢時，錯過了探索地球的最佳時機；生不逢時，錯過了探索星辰的最佳時機。但我們生逢其時，正值攻克機器人技術難題的最佳時機。