機(jī)器之心發(fā)布

「人類視頻，是機(jī)器人理解并與物理世界交互的最關(guān)鍵路徑?！?/strong>

這句如今逐漸成為行業(yè)共識的判斷，其實(shí)最早來自一家國內(nèi)具身智能初創(chuàng)公司 ——BeingBeyond（智在無界）。

在過去半年中，這家公司完成了「海量人類視頻訓(xùn)練」的兩個重要里程碑：相繼發(fā)布了全球首個基于1000 小時1 萬小時人類視頻預(yù)訓(xùn)練的具身模型 —— Being-H0 與 H0.5，率先開辟了「大規(guī)模人類視頻驅(qū)動具身學(xué)習(xí)」的技術(shù)路線。

隨后，NVIDIA 的 EgoScale、Generalist AI 的 GEN-1 等海外工作陸續(xù)跟進(jìn)，也從側(cè)面印證了這一方向的前瞻性。

作為人類視頻學(xué)習(xí)路線的開創(chuàng)者，4 月 14 日，智在無界發(fā)布第三代旗艦?zāi)Ｐ?Being-H0.7，該模型將數(shù)據(jù)規(guī)模擴(kuò)展至20 萬小時人類視頻，并提出一種全新的范式 ——基于潛空間推理的世界模型。在 6 項(xiàng)國際性權(quán)威評測中，H0.7 綜合排名全球第一（其中 4 項(xiàng)登頂），同時也是首個覆蓋跨本體、跨場景、連續(xù)動態(tài)、流體、柔性物體、物理規(guī)律與上下文推理等七大關(guān)鍵維度的通用世界模型。

• 主頁鏈接:
• https://research.beingbeyond.com/being-h07
• 論文鏈接:
• https://research.beingbeyond.com/projects/being-h07/being-h07.pdf

Past?Present?Future

世界模型的分野

「世界模型（World Model）」最初其實(shí)是一個非常樸素的概念：給定當(dāng)前狀態(tài)和動作，預(yù)測下一時刻的狀態(tài)。

早在 2018 年， Jürgen Schmidhuber 就在其《World Models》中系統(tǒng)闡述了用神經(jīng)網(wǎng)絡(luò)建模動力學(xué)的思路。但隨著生成模型的發(fā)展，一個逐漸流行的誤解也隨之出現(xiàn)：世界模型 = 預(yù)測未來畫面（逐像素生成）。

事實(shí)上，無論是 Schmidhuber 的原始設(shè)想，還是 Yann LeCun 團(tuán)隊(duì)在 JEPA (Joint Embedding Predictive Architecture），都從未將「像素級預(yù)測」視為核心目標(biāo)。

原因很簡單，真實(shí)世界的「狀態(tài)」，遠(yuǎn)遠(yuǎn)不等同于像素。物體之間的空間關(guān)系、柔性物體的形變、液體的流動、摩擦與重力的作用…… 這些決定物理世界運(yùn)行的關(guān)鍵因素，并不能通過逐像素的圖像完全表達(dá)。世界模型不應(yīng)執(zhí)著于復(fù)現(xiàn)「畫面會變成什么樣」，而應(yīng)學(xué)會理解「世界為什么會這樣變化」。

從產(chǎn)業(yè)角度看，NVIDIA 當(dāng)前的世界模型工作在一定程度上回歸到視頻生成路線，這與其「算力提供方」的角色天然形成協(xié)同，但對具身智能而言，這并非最優(yōu)路徑。

智在無界認(rèn)為，一個理想的世界模型應(yīng)同時具備兩個核心能力：物理世界理解（Physical Understanding）與物理交互（Physical Interaction）。

現(xiàn)有 AI 模型范式在「物理理解–交互」坐標(biāo)系中的能力分布，Being-H0.7 在海量人類數(shù)據(jù)驅(qū)動下顯著拓展了世界模型的能力邊界。

按照這一標(biāo)準(zhǔn)回看過去幾年的 AI 發(fā)展路徑：從 LLM 到 VLM，再到 AIGC 時代的 Sora、Genie 3，這些模型對視覺世界的理解不斷加深，但始終停留在二維感知層面，缺乏與真實(shí)物理世界的交互能力。

近幾年，隨著 VLA 路線的興起，π0.5、GR00T、Being-H0.5 等模型通過在視覺語言模型上微調(diào)，直接輸出機(jī)器人動作。雖然這讓模型具備了執(zhí)行任務(wù)的能力，但也帶來了新的問題：在訓(xùn)練過程中，多模態(tài)理解能力往往被削弱，模型容易過擬合，很多時候是在「背答案」，而非真正基于環(huán)境做出判斷。

為彌補(bǔ)這一缺陷，以英偉達(dá) Cosmos-Policy、DreamZero 為代表的世界模型路線，嘗試通過視頻生成來建模交互。但這類方法不僅計(jì)算開銷巨大、難以實(shí)時運(yùn)行，而且基于二維視覺表征的方式，本質(zhì)上仍然難以真正理解物理世界。

在這樣的背景下，LeCun (AMI Labs) 提出，應(yīng)構(gòu)建更加基礎(chǔ)的世界模型，以提升對真實(shí)世界的理解能力。而智在無界則更進(jìn)一步，提出基于潛空間推理的全新范式，同時拓展世界模型在「理解」和「交互」兩個維度上的能力。

20 萬小時人類視頻

H0.7 的「通用世界模型基因」

傳統(tǒng) VLA 模型只能基于當(dāng)前觀測預(yù)測動作，缺乏對未來變化的建模能力；而視頻生成式世界模型則依賴像素級預(yù)測來「想象」未來，但不僅難以抽象物理規(guī)律，還帶來了巨大的計(jì)算負(fù)擔(dān)。

事實(shí)上，人類視覺系統(tǒng)天然會過濾靜態(tài)信息、強(qiáng)化對動態(tài)變化的感知，大腦中也存在專門處理運(yùn)動的區(qū)域，用于自動抑制背景干擾。基于這一認(rèn)知，Being-H0.7 不再追求像素級重建，而是試圖學(xué)習(xí)一種更高效的能力 —— 類似「物理直覺」的快速判斷機(jī)制。

因此，Being-H0.7 選擇了一條不同路徑：不再顯式生成未來畫面，而是提煉那些真正影響未來行動的關(guān)鍵信息。

不同于 VLA 從當(dāng)前觀察直接映射到動作，或視頻生成式世界模型引入龐大的預(yù)測模塊，Being-H0.7 在模型內(nèi)部引入了一組可學(xué)習(xí)的中間變量（latent queries），作為一塊預(yù)留的「思考空間」(latent reasoning)。在前向的過程中，模型將當(dāng)前觀測、任務(wù)目標(biāo)以及對未來可能演化的判斷壓縮至這一空間，并由其統(tǒng)一指導(dǎo)最終的動作生成。

但這一「思考空間」本身并不天然具備對未來的建模能力。為此，Being-H0.7 采用了雙分支設(shè)計(jì)：一條路徑在「未來可見」的條件下（后驗(yàn)視角，posterior branch），引導(dǎo)模型學(xué)習(xí)哪些中間判斷真正有助于動作決策；另一條路徑在「不可見未來」的真實(shí)部署條件下（先驗(yàn)視角，prior branch），約束模型僅基于當(dāng)前觀測形成盡可能一致的判斷。

不同于一些工作簡單地將未來信息單向注入世界模型，Being-H0.7 在這兩種視角之間建立持續(xù)對齊與相互約束：后驗(yàn)分支提供未來演化的監(jiān)督信號，先驗(yàn)分支嚴(yán)格受限于真實(shí)可觀測信息。通過不斷對齊，模型逐漸學(xué)會在「思考空間」中，自適應(yīng)地根據(jù)當(dāng)前情景，推理對后續(xù)行動真正有用的信息。

這種推理能力，本質(zhì)上接近于人類的「物理直覺」。現(xiàn)實(shí)世界中，人類并不會逐幀預(yù)測未來畫面，而是快速判斷：物體接下來會朝哪個方向運(yùn)動？接觸關(guān)系會如何變化？施加的力會帶來穩(wěn)定還是失衡？交互過程會推進(jìn)目標(biāo)還是偏離？

人類之所以能夠在很少試錯的情況下掌握這些能力，是因?yàn)檫@種「直覺」早已在長期進(jìn)化中內(nèi)化為本能。

相比之下，僅依賴實(shí)驗(yàn)室數(shù)據(jù)的機(jī)器人系統(tǒng)很難獲得這種能力，更難實(shí)現(xiàn)泛化。基于這一洞察，智在無界構(gòu)建了全球少有的 20 萬小時人類視頻數(shù)據(jù)集，并據(jù)此訓(xùn)練 Being-H0.7，使模型獲得類似「預(yù)訓(xùn)練基因」的能力，從而真正理解并改變物理世界。

在實(shí)現(xiàn)上，H0.7 的結(jié)構(gòu)反而相對簡潔：兩路視角通過注意力掩碼（attention mask）共享主干上下文，只在 latent queries 處進(jìn)行對齊，并共同接受動作監(jiān)督。未來信息無需解碼為未來圖像，而以緊湊表征參與訓(xùn)練。相比 Cosmos Policy 這類視頻生成式世界模型，H0.7 的訓(xùn)練成本不到其 1%。

另外一個強(qiáng)大的優(yōu)勢則是推理速度的顯著提升，是 Fast-WAM 的 11 倍，是 imagine-then-execute 這類生成式世界模型的 40 倍以上，Being-H0.7是世界上第一個能夠在端側(cè)設(shè)備上實(shí)時穩(wěn)定部署的世界模型。強(qiáng)大的推理能力賦予了 H0.7 對于外界動態(tài)快速的感知能力，能完成如判斷滑落小球軌跡、高速流水線包裝、液體準(zhǔn)確傾倒等這些之前 VLA、世界模型都難以勝任的任務(wù)。

在評測方面，不同于多數(shù)模型只在單一榜單評測，Being-H0.7 在 6 項(xiàng)全球權(quán)威評測榜單上綜合排名世界第一，是目前覆蓋范圍最廣的具身世界模型。在跨本體、跨場景、連續(xù)動態(tài)、流體、柔性物體、物理規(guī)律與上下文推理等七大關(guān)鍵維度上，Being-H0.7 均展現(xiàn)出領(lǐng)先的物理理解與泛化能力，其能夠完成復(fù)雜的多物體協(xié)作、長時序規(guī)劃與精細(xì)物理交互任務(wù)。

為直觀地展示 Being-H0.7「思考空間」中所包含的信息，可以進(jìn)一步將觀測圖像與 Being-H0.7 先驗(yàn)分支的中間變量共同作為條件，基于視頻模型對任務(wù)未來狀態(tài)進(jìn)行可視化預(yù)測。

盡管 Being-H0.7 在推理時并不顯式進(jìn)行像素級未來重建，其隱空間表征中已經(jīng)蘊(yùn)含了對未來世界狀態(tài)的預(yù)測，體現(xiàn)出「隱式具身世界模型」的核心特征。

真機(jī)實(shí)驗(yàn)部分，Being-H0.7 借助世界模型架構(gòu)，展現(xiàn)出了令人驚喜的表現(xiàn)。做到了更精準(zhǔn)的空間感知、物理理解和運(yùn)動推理能力，更具體地講，實(shí)現(xiàn)了以下幾種物理世界級的理解和交互能力：

• 動態(tài)軌跡預(yù)測：在高速動態(tài)場景下，Being-H0.7 借助物理世界知識和快速推理，能夠預(yù)測物體軌跡并精準(zhǔn)完成物理世界交互；

• 物理規(guī)律理解：Being-H0.7 通過大規(guī)模預(yù)訓(xùn)練構(gòu)建了豐富的世界知識，能夠準(zhǔn)確理解流體物理規(guī)律并完成復(fù)雜任務(wù)指令；

• 運(yùn)動推理能力：Being-H0.7 具備物理世界下的動力學(xué)推理能力，能夠準(zhǔn)確推理物體交互后的空間方位并規(guī)劃好動作。

基于以上能力，Being-H0.7 能夠完成高速運(yùn)動物體的追蹤和接取、精細(xì)流體控制、柔性物體交互等高挑戰(zhàn)性的任務(wù)。

文中視頻鏈接：https://mp.weixin.qq.com/s/4GBE4mjEPHVakZ0sGbuKlg

世界模型的再定義：從 AMI Labs 到 BeingBeyond

Our main goal is to build intelligent systems that understand the real world —— AMI Labs

面對這一愿景，作為開啟「大規(guī)模人類視頻驅(qū)動具身學(xué)習(xí)」這一路線的先行者，BeingBeyond 創(chuàng)始人盧宗青表示：

理解世界不夠，必須學(xué)會改變世界。物理世界的理解與交互是不可分割的。如果一個模型只學(xué)習(xí)「世界會變成什么樣」，而不學(xué)習(xí)「采取什么行動會導(dǎo)致這種變化」，它本質(zhì)上仍然是一個被動觀察者，容易退化為「缸中之腦」。

因此，不同于 LeCun，智在無界采用的技術(shù)路徑是：同時建模狀態(tài)變化與動作生成（joint prediction of state and action）。在數(shù)據(jù)層面，這一設(shè)計(jì)自然對應(yīng)于第一人稱人類視頻，它不僅提供視覺觀測，同時也包含了人類動作。這樣的數(shù)據(jù)可規(guī)模化獲取，天然適用于具身學(xué)習(xí)。因而，我認(rèn)為，大規(guī)模人類視頻是通向具身基礎(chǔ)模型的一條可行路徑，使機(jī)器人能夠從人類行為中學(xué)習(xí)如何理解并作用于物理世界。