“世界是一切事實(shí)的總和?！?br/>

——Ludwig Wittgenstein《Tractatus Logico-Philosophicus》1921

世界并非由語(yǔ)言構(gòu)成。

在此前的一篇文章中，我們?cè)撟C，空間智能（Spatial Intelligence）是 AI 的下一個(gè)前沿，而世界模型（World Models）則是通向這一目標(biāo)的路徑。

在這里，我和 World Labs 團(tuán)隊(duì)希望再深入一層：面對(duì)如今被不斷構(gòu)建、并統(tǒng)稱(chēng)為“世界模型”的各種系統(tǒng)，究竟有哪些功能模塊真正構(gòu)成了這種能力？每個(gè)模塊又是為了什么而存在？

語(yǔ)言模型賦予了機(jī)器對(duì)于概念、詞匯和推理能力的驚人掌控力，但無(wú)論是虛擬世界還是真實(shí)世界，其運(yùn)行依賴(lài)的是另一種底層基礎(chǔ)。

語(yǔ)言模型學(xué)習(xí)的是文本的統(tǒng)計(jì)結(jié)構(gòu)，而世界模型學(xué)習(xí)的是空間與時(shí)間的統(tǒng)計(jì)結(jié)構(gòu)：光線如何落在一個(gè)表面上，一個(gè)花園從某個(gè)從未被相機(jī)拍攝過(guò)的角度會(huì)是什么樣子，物體如何響應(yīng)外力并遵循物理規(guī)律。

這使得“世界模型”成為當(dāng)今 AI 領(lǐng)域最重要、同時(shí)也最被濫用的術(shù)語(yǔ)之一。計(jì)算機(jī)視覺(jué)、機(jī)器人、強(qiáng)化學(xué)習(xí)以及生成式 AI 都聲稱(chēng)自己在構(gòu)建世界模型，但它們所指代的內(nèi)容卻完全不同。

一個(gè)能夠生成華麗卻違反物理規(guī)律火焰的視頻模型，一個(gè)能夠即興創(chuàng)造可玩游戲的語(yǔ)言模型，以及一個(gè)能夠精確模擬燃燒過(guò)程的物理引擎，都被冠以同樣的名字。

古希臘人從未能就世界究竟由什么構(gòu)成達(dá)成一致：是火、水，還是不可分割的原子。原因在于，“世界”從來(lái)都不是一個(gè)單一事物，它始終只是一個(gè)代稱(chēng)，用來(lái)指代某位思想家在進(jìn)行推理時(shí)所需要面對(duì)的整體。

AI 如今繼承了同樣的問(wèn)題，而且恰恰發(fā)生在這個(gè)領(lǐng)域最需要精確定義概念的時(shí)候。

分類(lèi)學(xué)背后的循環(huán)

要穿透這種混亂，需要回到一個(gè)比這里討論的任何技術(shù)都更古老的圖示。幾十年來(lái)，強(qiáng)化學(xué)習(xí)教材——包括 Sutton 與 Barto 的經(jīng)典著作——一直使用同一種結(jié)構(gòu)來(lái)描述智能體如何與世界互動(dòng)。

這張圖的正式名稱(chēng)是“部分可觀測(cè)馬爾可夫決策過(guò)程”（Partially Observable Markov Decision Process，POMDP），而“世界模型”一詞最初的技術(shù)定義正源于這一傳統(tǒng)。

一個(gè)智能體（Agent）——無(wú)論是人類(lèi)、機(jī)器人還是軟件系統(tǒng)——會(huì)采取行動(dòng)（Action）。這些行動(dòng)會(huì)影響世界的狀態(tài)（State）。智能體永遠(yuǎn)無(wú)法直接看到狀態(tài)本身。

能夠到達(dá)智能體的只有觀測(cè)（Observation）：落在視網(wǎng)膜上的光子、傳感器讀數(shù)、視頻幀中的像素。新的觀測(cè)又會(huì)影響新的行動(dòng)，如此循環(huán)往復(fù)。

這里的“狀態(tài)（State）”需要特別解釋?zhuān)驗(yàn)椴煌瑢W(xué)科對(duì)此的理解不同。

這里說(shuō)的不是化學(xué)中的狀態(tài)——固體、液體和氣體之間的區(qū)別，而是物理學(xué)家和機(jī)器人學(xué)家所說(shuō)的狀態(tài)：對(duì)某一時(shí)刻世界中正在發(fā)生的一切的完整描述，包括每一個(gè)物體、每一個(gè)位置、每一個(gè)速度以及每一個(gè)屬性。

狀態(tài)是世界底層真實(shí)存在的現(xiàn)實(shí)；原則上它是完整的，但身處其中的任何智能體都無(wú)法直接看到它。觀測(cè)只是智能體對(duì)于這種現(xiàn)實(shí)的局部視角，而行動(dòng)則是智能體對(duì)此作出的回應(yīng)。

正是這個(gè)循環(huán)——智能體、行動(dòng)、狀態(tài)、觀測(cè)，再回到智能體——賦予了現(xiàn)代“世界模型”這一術(shù)語(yǔ)其技術(shù)含義。

事實(shí)上，“世界模型”這個(gè)概念本身比這還要古老，它可以追溯到 Kenneth Craik 在 1943 年提出的觀點(diǎn)：心智通過(guò)運(yùn)行現(xiàn)實(shí)世界的“小型模型（small-scale models）”來(lái)進(jìn)行推理。

后來(lái)這一思想被帶入 20 世紀(jì) 80 年代末和 90 年代初的神經(jīng)網(wǎng)絡(luò)研究。

而這個(gè)循環(huán)同樣解釋了今天人們所說(shuō)的世界模型究竟是什么。如今被稱(chēng)為世界模型的不同系統(tǒng)，本質(zhì)上都是這個(gè)循環(huán)的不同投影，它們各自輸出其中的不同部分。

世界模型的三種功能

第一種世界模型是渲染器（Renderer）。

渲染器輸出的是觀測(cè)（Observation），也就是供人類(lèi)眼睛觀看的像素，而最重要的評(píng)價(jià)標(biāo)準(zhǔn)是視覺(jué)保真度（Visual Fidelity）。

一個(gè)能夠?qū)⑽谋咎崾驹~轉(zhuǎn)化為電影級(jí)無(wú)人機(jī)鏡頭的視頻模型就是渲染器。Google 的 Genie 3，或者 World Labs 自己的 RTFM 這樣的交互式系統(tǒng)也是如此，它們能夠根據(jù)用戶(hù)輸入實(shí)時(shí)生成畫(huà)面。

這類(lèi)模型并不具備對(duì)于三維結(jié)構(gòu)的顯式理解。它生成的是“觀看者會(huì)看到什么”，而不是“世界實(shí)際是什么”。

無(wú)人機(jī)鏡頭中的建筑物從空中看起來(lái)可能毫無(wú)瑕疵，但如果你試圖駕駛汽車(chē)穿過(guò)下方的城市，它們就會(huì)迅速崩塌。

第二種是模擬器（Simulator）。

模擬器輸出的是狀態(tài)（State）：一種在幾何、物理和動(dòng)力學(xué)層面都忠實(shí)于現(xiàn)實(shí)世界的表示形式，人類(lèi)和計(jì)算機(jī)程序都能夠基于它進(jìn)行計(jì)算和交互。

渲染器的職責(zé)僅僅是視覺(jué)呈現(xiàn)，而模擬器的職責(zé)則是結(jié)構(gòu)真實(shí)性，它要求幾何結(jié)構(gòu)經(jīng)得起檢驗(yàn)、物理過(guò)程遵守牛頓定律、動(dòng)力學(xué)行為符合現(xiàn)實(shí)世界應(yīng)有的運(yùn)行方式。

模擬器同時(shí)服務(wù)于兩類(lèi)用戶(hù)。對(duì)于建筑師、設(shè)計(jì)師、電影制作人和游戲開(kāi)發(fā)者等專(zhuān)業(yè)人士來(lái)說(shuō)，他們需要遠(yuǎn)超視覺(jué)合理性的精確度。

對(duì)于強(qiáng)化學(xué)習(xí)智能體、機(jī)器人控制器和自動(dòng)駕駛系統(tǒng)等計(jì)算機(jī)程序來(lái)說(shuō)，模擬器則是訓(xùn)練場(chǎng)，它們能夠在其中大規(guī)模與世界交互，測(cè)試那些在現(xiàn)實(shí)中危險(xiǎn)、昂貴甚至根本無(wú)法執(zhí)行的場(chǎng)景。

第三種是規(guī)劃器（Planner）。

規(guī)劃器輸出的是行動(dòng)（Action）。給定一個(gè)觀測(cè)和一個(gè)目標(biāo)，規(guī)劃器回答的問(wèn)題是：智能體下一步應(yīng)該做什么？從很多意義上講，它正好是渲染器的反面。渲染器以行動(dòng)作為輸入，并輸出觀測(cè)；而規(guī)劃器以觀測(cè)作為輸入，并輸出行動(dòng)，從而閉合了感知—行動(dòng)循環(huán)。

Vision-Language-Action 模型、Model-Based 系統(tǒng)以及新一代 World Action Models，本質(zhì)上都是對(duì)于規(guī)劃器的探索：它們?cè)噲D構(gòu)建能夠在非結(jié)構(gòu)化世界中決定機(jī)器人下一步行動(dòng)的系統(tǒng)。

這三種分類(lèi)涵蓋了當(dāng)今絕大多數(shù)已經(jīng)落地的系統(tǒng)，而在實(shí)踐中，對(duì)它們進(jìn)行區(qū)分也是有意義的。

但從根本上說(shuō)，它們并非彼此獨(dú)立。關(guān)于世界如何運(yùn)作的同一套底層知識(shí)——幾何、物理和動(dòng)力學(xué)——支撐著所有這些能力。

一個(gè)能夠從任何角度渲染杯子的模型，原則上也應(yīng)該能夠模擬這個(gè)杯子被推動(dòng)之后會(huì)發(fā)生什么，并規(guī)劃出一只手如何將它拿起。越來(lái)越多最有意思的研究，正在有意模糊這三種能力之間的邊界。

為什么模擬是關(guān)鍵樞紐

在這三類(lèi)系統(tǒng)中，模擬器獲得的公眾關(guān)注最少，卻是三者中影響最深遠(yuǎn)的一類(lèi)。這篇文章正是希望討論這種不對(duì)稱(chēng)性。

渲染器無(wú)疑是商業(yè)化最成熟的方向。大量圖像生成和文生視頻產(chǎn)品正在迅速擴(kuò)張至消費(fèi)市場(chǎng)和企業(yè)市場(chǎng)。Google 的 Nano Banana 模型已經(jīng)將高質(zhì)量圖像生成能力帶給了數(shù)以?xún)|計(jì)的用戶(hù)。這項(xiàng)技術(shù)是真實(shí)存在的，市場(chǎng)也是真實(shí)存在的。

然而，渲染器優(yōu)化的是視覺(jué)合理性，而非物理準(zhǔn)確性，而這一上限至關(guān)重要。它們生成的結(jié)果非常美麗，但無(wú)法被信任用于設(shè)計(jì)建筑或訓(xùn)練機(jī)器人。

規(guī)劃器則是最令人興奮、同時(shí)也最處于早期階段的方向，它與快速發(fā)展的機(jī)器人學(xué)習(xí)領(lǐng)域緊密相關(guān)。

過(guò)去兩年，這一領(lǐng)域誕生了大量令人印象深刻的機(jī)器人演示視頻，但我們必須坦誠(chéng)面對(duì)這些演示究竟說(shuō)明了什么。

幾乎所有演示都局限于高度受控的實(shí)驗(yàn)室環(huán)境，使用有限的物體集合，并在很短的任務(wù)時(shí)間范圍內(nèi)運(yùn)行。它們尚未在現(xiàn)實(shí)部署所要求的復(fù)雜性、多樣性和持續(xù)時(shí)間尺度上得到驗(yàn)證。

從令人驚艷的演示視頻，到真正能夠穩(wěn)定工作于廚房、倉(cāng)庫(kù)或手術(shù)室中的機(jī)器人，中間仍然存在巨大的鴻溝。

盡管如此，資本已經(jīng)投入重注。一批資金充足的新進(jìn)入者正在競(jìng)相推出通用規(guī)劃系統(tǒng)，而最大的基礎(chǔ)設(shè)施公司也在將規(guī)劃能力構(gòu)建于更廣泛的模擬平臺(tái)之上。

能夠規(guī)劃的機(jī)器人，才是真正能夠工作的機(jī)器人，而整個(gè)行業(yè)都在爭(zhēng)奪率先實(shí)現(xiàn)這一目標(biāo)的位置。

模擬則是連接這兩者的橋梁。如果說(shuō)語(yǔ)言是世界的抽象表示，而像素是世界的投影，那么幾何、物理和動(dòng)力學(xué)就是世界本身。

模擬器必須工作在這一層級(jí)之上——它是支撐視覺(jué)外觀（供渲染器使用）和行動(dòng)后果（供規(guī)劃器使用）的結(jié)構(gòu)性骨架。

一個(gè)真正掌握模擬能力的模型，既可以將自己的理解投射為供人類(lèi)觀看的像素，也可以投射為供具身智能體使用的行動(dòng)預(yù)測(cè)。

而一個(gè)只掌握渲染能力或者只掌握規(guī)劃能力的模型，則無(wú)法做到這兩點(diǎn)。其商業(yè)價(jià)值空間極其龐大。僅 NVIDIA 的 Omniverse，就瞄準(zhǔn)了公司估計(jì)超過(guò)一萬(wàn)億美元的可服務(wù)市場(chǎng)，涵蓋工廠、倉(cāng)庫(kù)、供應(yīng)鏈以及數(shù)字孿生。機(jī)器人訓(xùn)練、自動(dòng)駕駛測(cè)試、建筑可視化、工程設(shè)計(jì)以及藥物發(fā)現(xiàn)等領(lǐng)域，也都依賴(lài)于類(lèi)似模擬器的能力。

與此同時(shí)，這個(gè)方向也匯聚了整個(gè)領(lǐng)域最困難的開(kāi)放性問(wèn)題。帶有顯式幾何結(jié)構(gòu)、材料屬性和物理標(biāo)注的三維數(shù)據(jù)，比渲染器所使用的互聯(lián)網(wǎng)視頻稀缺幾個(gè)數(shù)量級(jí)。

Sim-to-Real Gap——即模擬環(huán)境與現(xiàn)實(shí)世界行為之間的差距——依然存在。

在此基礎(chǔ)上，生成式模擬器還引入了新的風(fēng)險(xiǎn)：AI 生成的幾何結(jié)構(gòu)可能看起來(lái)正確，卻包含自相交或尺度錯(cuò)誤的問(wèn)題，從而導(dǎo)致毫無(wú)意義的物理行為。

大規(guī)模多物理場(chǎng)模擬仍然極其昂貴，在這種模擬中，剛體、柔性物體、流體和布料需要同時(shí)發(fā)生交互，其成本遠(yuǎn)高于單一領(lǐng)域的模擬。

在 World Labs，Marble 是我們進(jìn)入這一領(lǐng)域邁出的第一步。它能夠接收多模態(tài)提示輸入（文本、圖像、視頻或空間草圖），并生成可探索的三維環(huán)境，同時(shí)輸出用于視覺(jué)瀏覽的 Gaussian Splats，以及供物理引擎運(yùn)行的 Collision Meshes。

但 Marble 只是一個(gè)更漫長(zhǎng)發(fā)展歷程中的開(kāi)篇章節(jié)。隨著渲染、模擬和規(guī)劃之間的界限不斷消融，整個(gè)領(lǐng)域都正在書(shū)寫(xiě)這一更長(zhǎng)遠(yuǎn)的故事。

邊界如何消失，以及接下來(lái)會(huì)發(fā)生什么

但未來(lái)還有更多事情將會(huì)發(fā)生。當(dāng)前最重要的趨勢(shì)是，這三種類(lèi)別正在開(kāi)始相互融合。

其背后的共同洞見(jiàn)在于：渲染一個(gè)世界、模擬一個(gè)世界以及在其中行動(dòng)所需要的知識(shí)，本質(zhì)上是相同的。

繼續(xù)以此前的杯子為例，一個(gè)真正理解杯子如何放置在桌面上的模型——理解它的幾何結(jié)構(gòu)、材料屬性以及受力響應(yīng)——理應(yīng)能夠從任意角度渲染這個(gè)杯子，模擬它被推動(dòng)后的行為，并規(guī)劃出一只手如何將它拿起。這三種能力不過(guò)是同一種底層理解的三個(gè)投影。

例如，來(lái)自多個(gè)機(jī)器人實(shí)驗(yàn)室的一些最新研究已經(jīng)證明，至少在概念層面上，一個(gè)預(yù)訓(xùn)練的視頻渲染模型可以作為聯(lián)合世界預(yù)測(cè)與動(dòng)作預(yù)測(cè)系統(tǒng)的基礎(chǔ)，從而在渲染器與規(guī)劃器之間建立橋梁，讓同一個(gè)模型既能夠想象未來(lái)會(huì)發(fā)生什么，也能夠決定應(yīng)該采取什么行動(dòng)。

與此同時(shí)，World Labs 的 Marble 已經(jīng)能夠通過(guò)同一個(gè)模型同時(shí)輸出 Gaussian Splats 和 Collision Meshes，從而消除了渲染器與模擬器之間的邊界。

每一個(gè)層級(jí)都正在從被動(dòng)輸出轉(zhuǎn)向交互式系統(tǒng)：渲染器變得能夠接受行動(dòng)條件輸入，模擬器開(kāi)始生成更可控、更可編輯的世界，而規(guī)劃器則開(kāi)始進(jìn)行推理，而不僅僅是簡(jiǎn)單反應(yīng)。

這一趨勢(shì)的邏輯終點(diǎn)，是一個(gè)統(tǒng)一的世界模型（Unified World Model）：一個(gè)基礎(chǔ)模型同時(shí)具備照片級(jí)渲染能力、物理級(jí)結(jié)構(gòu)理解能力以及行動(dòng)規(guī)劃能力，并能夠根據(jù)下游用戶(hù)的需求，在不同輸出形式之間自由切換。

當(dāng)然，我們?nèi)匀幻媾R許多艱巨挑戰(zhàn)。數(shù)據(jù)分布極不均衡：渲染器擁有海量互聯(lián)網(wǎng)視頻，而模擬器和規(guī)劃器則嚴(yán)重缺乏三維資產(chǎn)和機(jī)器人演示數(shù)據(jù)。追求視覺(jué)美感往往會(huì)犧牲機(jī)器人或高保真模擬所需的精確度。

如何在統(tǒng)一架構(gòu)中調(diào)和這些矛盾，正是當(dāng)今世界模型研究最核心的開(kāi)放問(wèn)題，而這也正是 World Labs 在持續(xù)推進(jìn) Marble 過(guò)程中希望解決的方向。

然而，大方向已經(jīng)十分明確。自 20 世紀(jì) 80 年代末以來(lái)，整個(gè)領(lǐng)域一直在押注同一個(gè)假設(shè)：只要擁有足夠豐富的世界模型，任何智能體都能夠看見(jiàn)世界、構(gòu)建世界，并在其中行動(dòng)。而如今，正是這一假設(shè)在推動(dòng)整整一代研究的發(fā)展。

真正賦予這一“宏大賭注”分量的，是眼下已經(jīng)發(fā)生的融合：三條原本彼此獨(dú)立、如今各自驅(qū)動(dòng)著數(shù)十億美元產(chǎn)業(yè)的研究路線，正在開(kāi)始表現(xiàn)得像同一個(gè)系統(tǒng)。

當(dāng)它們共同發(fā)展、彼此邊界逐漸消失時(shí)，它們最終重塑的將不僅僅是 AI 技術(shù)本身，而是機(jī)器智能與其所棲居的物理世界之間的關(guān)系——也就是空間智能漫長(zhǎng)演化歷程中的下一階段。

語(yǔ)言賦予機(jī)器談?wù)撨@個(gè)世界的能力。

而世界模型，則將讓機(jī)器最終真正理解這個(gè)世界、想象這個(gè)世界、推理這個(gè)世界，并與這個(gè)世界互動(dòng)。