世界模型，真的擁有記憶嗎？

如果你正把一杯水倒進玻璃瓶，然后扭頭看了一眼窗外，再轉回來，瓶子里的水位應該已經發生變化。這是任何一個三歲孩子都具備的常識：東西不在眼前，不代表它消失了，更不代表它會停止變化。心理學把這種能力叫做「物體恒存（object permanence）」，是人類最早建立起來的認知能力之一。

但對今天最先進的視頻生成模型來說，這個任務卻不簡單。

過去一年里，「世界模型」成為視頻生成領域最熱的關鍵詞之一。從 Sora 到國產的多款視頻大模型，廠商們爭相強調自己的產品不只是「生成好看的畫面」，而是在「模擬真實世界的運行規律」。其中，世界模型是否具備類似人類「物體恒存」的認知能力，正成為衡量建模水平的核心標尺：當物體暫時離開視野、并在遮擋期間持續發生物理變化時，模型能否記住它的身份、推演它的狀態，并在它重新出現時準確還原？

長期以來，業界評測始終未能精準檢驗這一能力：絕大多數基準只考核物體持續可見時的幀間一致性；少數涉及遮擋的測試，也多針對靜態場景（物體消失期間環境沒有任何變化），無法驗證模型對動態世界的記憶與推演能力。

針對這個問題，來自哈佛大學、MIT、IBM、波士頓大學、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出了一個新的診斷性基準：MemoBench。這是首個面向動態環境的「消失-重現」世界建模評測基準，并已被計算機視覺頂會 ECCV 2026 接收。其一作 Haoyu Chen 為哈佛大學計算科學與工程專業一年級碩士生，師從哈佛大學計算機科學助理教授 Yilun Du。

• 論文標題：MemoBench: Benchmarking World Modeling in Dynamically Changing Environments
• 論文地址：https://arxiv.org/abs/2606.27537
• 項目主頁：https://memobench-team.github.io/
• 代碼：https://github.com/MemoBench-Team/MemoBench
• 數據集：https://huggingface.co/datasets/tonyc54/MemoBench

該基準以 360 段高質量真值視頻為基礎，搭配自動化指標與語義化 VQA 評估體系，系統測試了 10 個主流世界生成模型，清晰揭示了當前技術在記憶一致性上的核心短板：沒有一個的「物體重現得分」超過 0.6（滿分 1）。也就是說，沒有一個模型能穩定地讓消失的物體「記得住、認得出、變得對」。

這個結果也讓研究團隊給出了一個非常直接的核心判斷：現有視頻生成模型即使能生成視覺上完全連貫的畫面，也幾乎無法在物體重新出現時，正確恢復它在「消失期間」本該經歷的狀態變化。這一結論清晰揭示了「生成畫面逼真」與「真正理解世界」之間的顯著差距，也為下一代世界模型的研發提供了可量化的診斷標尺。

「記住」世界：世界模型的必答題

近年來，視頻生成技術快速迭代，模型已經能夠生成高分辨率、時序連貫的動態畫面，也被越來越多地視作「世界模擬器」，為自動駕駛、機器人操縱、具身智能等場景提供環境推演能力。

但真實世界的運轉，不會因視線離開而停止：冰塊會持續融化、火焰會持續燃燒、行人會持續行走、觸碰液體的紙張會被持續浸染……

MemoBench 數據集中一個來自真實世界的數據樣本

一個真正合格的世界模型，應當具備類似人類「物體恒存」的認知能力：即便物體暫時離開視野，也能維持對它的身份、位置與狀態的表征，并正確推演其在遮擋期間的變化。

這恰恰是當前評測體系的核心盲區。現有的視頻生成基準大多只考核物體全程可見時的幀間一致性；少數涉及遮擋的測試，也多針對靜態場景（物體消失期間環境沒有任何變化）。因此只需還原原有外觀即可通過測試，完全無法驗證模型對動態世界的記憶與推演能力。

我們始終無法確認：當物體重新出現在畫面中時，模型是真的「記住并更新了世界狀態」，還是僅僅「重新生成了一個看起來合理的畫面」？

MemoBench：補齊世界建模評測的新基準

核心設計：「可見-消失-重現」三段式范式

現有的視頻生成基準（如 VBench、WorldScore 等）主要評估視覺質量、物理一致性或相機的運動控制。它們幾乎只評估「持續出現在畫面中」的物體，如果偶爾有物體移出畫面，現有基準也多是在靜態場景下進行評估，缺乏對遮擋期間動態變化的考察。

為了回答這個問題，MemoBench 建立了Visible–Disappear–Reappear（可見-消失-重現，可縮寫為V-D-R）的核心評測范式，用簡潔的三段式結構，精準探測模型是否維持了對物體的持久狀態表征。

每一個測試樣本都嚴格遵循統一的物理邏輯：

1. 可見（Visible）：目標物體完整呈現在視野內，并且正處于持續的物理變化過程中，比如可能是正在行走的人物、正在融化的冰塊、正在傾倒的粉末。模型可以觀察到物體的初始狀態與變化趨勢。
2. 消失（Disappear）：相機通過平移、轉頭、U 型轉彎等運動完全移開視線，目標物體徹底離開視野。在此期間，物理過程不會停止，會按照自然規律持續演化。
3. 重現（Reappear）：相機轉回對應區域，目標物體重新進入畫面。模型需要準確還原物體更新后的狀態，包括位置、形態、物理變化進度等，與真實演化結果對齊。

MemoBench 概述。第 1–2 行展示了一段合成的「可見–消失–重現」序列及其相機軌跡；第 3–4 行展示了一段真實世界的狀態變化序列（粉末傾倒）。MemoBench 包含 196 段合成剪輯和 164 段真實世界剪輯，通過自動化指標和 LLM 評判的 VQA 進行評估。

這個看起來簡單的范式，考驗的是世界模型的核心能力：模型不能只是在做逐幀的畫面生成，而是必須在視野外維護一個持續演化的世界狀態。

它同時考驗視覺記憶、狀態更新與動態推演能力，是對「真實世界建模水平」的直接檢驗。

數據構建：合成場景與真實素材雙管齊下

基于這一范式，MemoBench 構建了合成與真實世界兩條并行的數據流水線，共包含360 段1920×1080 分辨率的高質量 Ground-truth 視頻，配上完整的幾何標注與評測工具：

• 合成子集（196 段）：在虛幻引擎 5 中渲染生成，覆蓋 5 大類環境、14 個子場景，包含 U 型轉彎、前進移動、頭部轉動、垂直運動等多種復雜相機軌跡。每段視頻都附帶逐幀 RGB 圖、度量深度圖、相機內參與相機位姿，能夠支撐幾何層面的精準評估，重點測試大視角變化下的空間記憶能力。

合成數據：由虛幻引擎 5 渲染的 5 個類別下的 14 個場景。

• 真實世界子集（164 段）：在可控室內環境中實拍完成，覆蓋 7 大類、30 種物理狀態變化過程，包括溶解、燃燒熱變、擴散吸收、化學反應、粘性流動、泡沫演化、力學形變等。這些依賴粘度、彈性、熱傳導等真實材質屬性的過程，難以被游戲引擎精準模擬，專門用于檢驗模型對真實物理動態的記憶準確性。

真實世界數據：在受控室內環境中拍攝，涵蓋 7 大類別的 30 種物理狀態變化過程

所有樣本都經過人工標注，精準標記了物體「完全消失」和「完全重現」兩個關鍵幀，用以精確劃分可見（V）、消失（D）、重現（R）三個階段，作為后續所有評測指標計算的基礎。

MemoBench 的數據整編流程

怎么打分：自動化指標 + VQA 雙線評測

MemoBench 設計了自動化量化指標 + VQA 語義評估兩套互補的評估方案，既看底層像素保真，也看高層語義正確，避免單一指標的片面性。

自動化指標覆蓋三大維度，所有核心分數均歸一化到 0-100 區間，考驗世界模型的：

• 通用視頻質量：包含視覺質量、運動平滑度、物體身份一致性、3D 幾何一致性四項，衡量基礎生成能力；
• 記憶專屬指標：這是評測的核心。其中物體重現分數（ORS）通過 SAM-3 文本驅動分割模型，檢測重現階段目標物體的存在性與置信度，直接衡量模型能否讓目標「正確回來」；同時包含分階段的像素級保真度（PSNR、SSIM、LPIPS）與相機可控性指標，可精準定位性能退化的具體環節。
• 提示保真度：通過 ImageReward 衡量生成內容與文本提示的匹配程度。

VQA 語義評估則聚焦自動化指標難以捕捉的高層語義合理性，覆蓋四個診斷維度：

1. 指令遵循：是否準確執行提示中的相機運動、物體軌跡與事件順序；
2. 物體與背景一致性：前后景元素是否存在形態漂移、身份切換、場景突變；
3. 記憶連續性：物體消失期間，模型是否維持了它的身份、軌跡與狀態，是與「消失-重現」范式最直接對應的維度；
4. 物理合理性：運動、重力、光影陰影是否符合物理規律。

VQA 評估流程。大語言模型根據提示詞和首幀生成 24 個極性平衡的是/否問題（每個維度 6 個）。問題通過真實標注和失敗片段評估進行篩選，再由人工審核驗證。最終問題庫應用于每個生成的視頻，從而得出四個診斷維度各自的通過率。

為了保證評估的可靠性，所有問題都經過真值過濾、失敗案例過濾與人工交叉驗證三輪篩選。最終人工與 VLM 判斷的整體一致性達 92.9%，Cohen's κ 系數為 0.85，評估結果具備很高的可信度。

當前世界模型的真實水平如何？

研究團隊在 MemoBench 上測試了 10 個當前主流的世界生成模型，涵蓋相機可控圖生視頻（CI2V）、顯式 3D 視角合成、普通圖生視頻（I2V）三類技術路線，得到了一系列關鍵發現，清晰呈現了當前世界建模技術的能力邊界。

MemoBench 給出的核心結論是：當前沒有任何一個模型能可靠完成「消失-重現」的記憶任務。

所有被測模型的物體重現分數（ORS）均未超過 0.6；在真正執行相機軌跡、讓物體實際離開畫面的模型中，「記憶連續性」維度的語義得分最高也只有 55.6 分（滿分 100，57.0 的 LTX-Video 因相機不動存在虛高問題）；也就是說，即便是最強的模型，針對記憶的提問也只能答對一半多一點。

在 MemoBench 上對 10 個世界生成模型的自動評估。模型分為 CI2V、基于 3D 和 I2V 三類。↑：越高越好；↓：越低越好。加粗：最佳；下劃線：次佳。

在 MemoBench 上跨四個語義維度的 VQA 評估。每個維度評分范圍為 0–100（↑：越高越好）。模型分為 CI2V、基于 3D 和 I2V 三類。粗體：最佳；下劃線：次佳。

一旦物體離開畫面，模型的「記憶」就開始快速退化。重現時的內容要么直接消失，要么被隨機幻覺替代，要么外觀還在、狀態卻完全不對。

研究團隊把這些失敗系統整理成六類：物體憑空消失、身份悄悄換人、狀態被重置回初始、位置突然跳變、背景被幻覺填充、相機軌跡發生漂移。

LingBot-World 的失敗分類。這里報告的計數并非互斥，因為一個生成的序列可能表現出多種失敗類型。

其中，合成場景里最常見的失敗是「背景幻覺」，即物體還在，但身后的世界已經面目全非；真實場景里最常見的則是「身份漂移」，即同一個物體，消失前后的樣子判若兩物。

這個大盤結論之外，評測還揭示了幾組值得深入討論的對照。

發現 1：「相機不動」會虛高一致性分數，傳統指標存在盲區

最反直覺的發現出現在普通圖生視頻模型（I2V）身上。

LTX-Video 沒有任何相機控制能力，但它在運動平滑度、3D 幾何一致性、物體身份一致性三項指標上全部排名第一，物體重現分數也達到了 0.330。

單看數字，成績相當體面，但研究團隊發現，這份「好成績」的來源非常可疑：LTX-Video 幾乎不移動相機，目標物體從頭到尾留在畫面里，「物體從未消失」自然就「物體從未失憶」。它的高分是用「回避挑戰」換來的，而非真正的記憶能力。

不同模型在沖泡咖啡任務上的生成表現

這暴露了一個重要的評測漏洞：傳統視頻質量指標無法區分「在真實視角變化中保持一致」和「靠靜止鏡頭繞開一切挑戰」這兩種本質不同的情況。

MemoBench 專門設計了「相機可控性」和「指令遵循」兩個維度來識別這種現象。而在這兩項上，LTX-Video 的得分排到了最后一檔。

發現 2：能控制相機，不代表記得住物體

既然靜止鏡頭會「作弊」，那支持相機條件控制的模型，表現是否就一定更好？

答案是：不一定，而且差距相當懸殊。

同樣接受相機軌跡作為輸入，五個 CI2V 模型的物體重現分數從 0.266 到 0.582 不等，跨度超過一倍。HunyuanWorldPlay 以 0.582 的 ORS 領跑 CI2V 陣營，而 HunyuanGameCraft 和 FantasyWorld 的 ORS 只有 0.266 和 0.276；后兩者的視覺畫質評分反而更高。

這組數據說明：相機能跟著軌跡走和模型腦子里是否維護著「走開之前那個世界的狀態」，是兩件獨立的事。鏡頭控制得再精準，也只是「知道該看哪里」，不是「記住了那里之前發生了什么」。

物體恒存不會作為相機條件生成的副產品自然涌現，它必須被顯式地納入訓練目標。

發現 3：幾何精確和畫面好看，往往不可兼得

3D 類模型提供了最鮮明的能力分化樣本。

• Stable Virtual Camera 直接以顯式相機位姿驅動渲染，相機軌跡控制最為精準，像素級保真度在所有模型中也最高；但它的視覺質量評分偏低，畫面中容易出現模糊邊緣、拼接縫和深度修補錯誤，VQA 語義評分同樣靠后。
• Matrix-Game 2.0 則完全相反：畫面最銳利、視覺質量最高，但相機軌跡經常跑偏；同一段軌跡指令，它生成的視角和真實路徑偏差巨大，導致像素保真度和 VQA 得分都落入低位。

這兩個模型同時站在評測榜單的兩個極端，共同說明一件事：幾何準確和畫面自然度，在當前技術框架下還沒有對齊。用畫質評分去推斷幾何精度，或者反過來，都會得出錯誤結論。

這也是 MemoBench 堅持多維度評測的核心原因：用任何單一指標，你都只能看見這張地圖的一角。

發現 4：擴大模型，不如給它看第一幀

論文還披露了一項消融實驗，結論相當出人意料。

研究團隊對 Wan2.2 做了兩組對照：一組把模型參數量從 5B 擴到 14B，另一組保持 5B 參數不變，但額外提供「可見階段的第一幀」作為圖像條件輸入。

結果顯示，加入第一幀條件使 PSNR 提升了約 4.2 dB，感知距離（LPIPS）下降了 0.20；而參數擴大近三倍，對這兩項指標的改善微乎其微。也就是說，讓模型清楚地「看見」物體的初始狀態，比單純堆參數量對記憶任務有用得多。

Wan2.2 初始狀態條件化與骨干網絡容量消融實驗結果。基于 50 個片段。「V-frame」指將可見階段的首幀作為圖像條件。

這一發現指向了一個重要的設計方向：與其追求更大的模型，不如在「初始狀態如何被編碼和保持」這件事上下功夫。

十個模型同臺競技，四組發現從不同側面共同指向同一個結論：讓畫面看起來連貫和真正記住世界的狀態，是兩件截然不同的事情。而后者才是世界模型走向真實應用必須跨越的核心門檻。

共建世界模型評測標尺

MemoBench 揭開的，不只是當前技術的短板，也是一個長期被忽視的研究方向「動態遮擋下的視覺記憶」第一次有了可量化、可對比、可追蹤的評測基礎。

對于研究者而言，這套體系在指出問題的同時，也暗示了改進路徑：持久狀態表征的顯式建模、以記憶為目標的訓練策略、對初始狀態感知的強化設計，都是接下來值得深耕的方向。

目前，論文、代碼、數據集與公開榜單均已開源，研究者可以直接使用評測工具測試自己的模型，并將結果提交至排行榜，與社區共享進展。

• 榜單地址：https://huggingface.co/spaces/tonyc54/MemoBench_Leaderboard

從「生成好看的視頻」到「維護一個真實的世界」，這中間隔著的，正是 MemoBench 正在度量的那段距離。它不一定短，但現在至少有了刻度。