如果說擴(kuò)散世界模型的瓶頸，是每一步去噪都要把同一個大 Transformer 再跑一遍，那么WorldCache的思路就是：不要再把所有 Token、所有時間步都當(dāng)成同一件事。這篇工作把 “哪些內(nèi)容適合緩存”和“哪些時刻必須重算” 拆開處理，在不重新訓(xùn)練模型、幾乎不增加額外顯存的前提下，把緩存真正做成了一套更貼合世界模型結(jié)構(gòu)的推理策略。

• 論文標(biāo)題：WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching
• arXiv 地址：https://arxiv.org/abs/2603.06331
• 代碼地址：https://github.com/FofGofx/WorldCache

世界模型為什么難以被直接緩存

世界模型之所以比普通圖像或視頻生成更難加速，首先在于它生成的不是單一模態(tài)內(nèi)容。以論文關(guān)注的擴(kuò)散世界模型為例，模型在去噪過程中同時處理RGB、Depth以及與相機(jī)軌跡相關(guān)的多模態(tài)狀態(tài)，不同模態(tài)、不同空間位置上的 Token，變化速度和變化方式都不一樣。有的 Token 在連續(xù)時間步之間幾乎靜止，有的 Token 大致線性變化，還有一小部分 Token 會出現(xiàn)明顯的非線性轉(zhuǎn)向。如果繼續(xù)沿用單一緩存規(guī)則，要么會為了照顧困難 Token 而對大多數(shù)容易預(yù)測的 Token 過于保守，要么會因為策略太激進(jìn)，在少量關(guān)鍵 Token 上迅速累積誤差。

第二個問題出現(xiàn)在時間維度上。世界模型的去噪過程并不是均勻平滑地推進(jìn)，真正決定結(jié)果是否失穩(wěn)的，往往不是所有 Token 的平均變化，而是那一小撮最難緩存、最容易漂移的 “瓶頸 Token”。這意味著，固定間隔跳步也好，基于全局平均差值觸發(fā)重算也好，都會錯過真正危險的時刻：該重算時不夠敏感，不該重算時又容易浪費一次完整前向。WorldCache 的切入點，正是把這兩個世界模型特有的失效機(jī)理拆出來分別處理。

把緩存做成 Token 級策略

WorldCache 的第一步，是用曲率去估計 Token 軌跡到底 “好不好預(yù)測”。論文使用最近三次 FULL 計算得到的真實輸出，構(gòu)造離散速度和加速度，再由此計算每個 Token 的曲率分?jǐn)?shù)。直觀地看，曲率越小，說明該 Token 的軌跡越接近平滑、線性，可預(yù)測性更強(qiáng)；曲率越大，則意味著它在當(dāng)前階段更可能發(fā)生突變或轉(zhuǎn)向。基于這一分?jǐn)?shù)，WorldCache 將 Token 劃分為 Stable、Linear 和 Chaotic 三組，分別對應(yīng)直接復(fù)用、線性外推和阻尼更新三種緩存方式。

這一步的關(guān)鍵，不是簡單地把緩存做細(xì)，而是把計算真正分配給需要它的地方。對 Stable Token，直接復(fù)用上一次輸出就足夠；對 Linear Token，用一階外推在成本和精度之間取得平衡；而對最難處理的 Chaotic Token，WorldCache 進(jìn)一步引入基于 Hermite 平滑權(quán)重的阻尼更新，避免模型只依賴最近一步的切線方向做冒進(jìn)預(yù)測。換句話說，WorldCache 不是用一把尺子衡量所有 Token，而是承認(rèn)世界模型內(nèi)部存在難度分布的長尾，并圍繞這件事重新設(shè)計緩存規(guī)則。

只盯住最難緩存的那一小撮 Token

如果說前半部分解決的是 “緩存時如何預(yù)測”，那么 WorldCache 的第二步處理的是 “什么時候該停下緩存、恢復(fù)完整計算”。論文提出了Chaotic-prioritized Adaptive Skipping，也就是混沌優(yōu)先的自適應(yīng)跳步機(jī)制。它不再對全部 Token 做平均監(jiān)控，而是只跟蹤那部分最難緩存的 Chaotic Token，并利用曲率對特征差值進(jìn)行歸一化，構(gòu)造一個無量綱的漂移指標(biāo)。這樣一來，系統(tǒng)關(guān)心的就不再是 “整體看起來有沒有變化”，而是 “關(guān)鍵 Token 是否已經(jīng)開始失穩(wěn)”。

這套調(diào)度邏輯帶來的好處很直接。一方面，WorldCache 能在大量平穩(wěn)時間步上放心地延長緩存鏈條，把昂貴的骨干網(wǎng)絡(luò)前向讓給真正必要的時刻；另一方面，當(dāng)瓶頸 Token 出現(xiàn)漂移苗頭時，累計誤差又會足夠快地觸發(fā) FULL 計算，避免局部誤差擴(kuò)散成整段 rollout 的質(zhì)量坍塌。從方法設(shè)計上看，WorldCache 把 “緩存策略” 和 “重算觸發(fā)” 做成了一套相互配合的系統(tǒng)，而不是孤立地改一個預(yù)測器或一個閾值。

結(jié)果不是靠堆顯存換來的

在 HunyuanVoyager-13B 的 image-to-world 生成任務(wù)上，WorldCache 將端到端延遲從 1053.7 秒降到 288.6 秒，對應(yīng) 3.65 倍加速；與此同時，Dynamic WorldScore 仍達(dá)到 45.43，接近無緩存基線的 46.40，PSNR 為 23.49，LPIPS 為 0.176。更重要的是，它的顯存占用為 50.58GB，和基線 50.44GB 幾乎一致。相比之下，部分層內(nèi)緩存基線雖然嘗試提速，但顯存開銷已經(jīng)超過 100GB，單卡部署并不輕松。

在 Aether-5B 的世界生成任務(wù)上，WorldCache 依然保持了最強(qiáng)的一組質(zhì)量 - 效率折中：Dynamic WorldScore 為 44.72，高于 EasyCache 的 44.02；PSNR 為 31.87，SSIM 為 0.924，LPIPS 為 0.066；端到端延遲降到 107.2 秒，對應(yīng) 1.68 倍加速，而顯存仍維持在 46.59GB。如果把視角進(jìn)一步轉(zhuǎn)到幾何相關(guān)能力，WorldCache 在 Aether 的 3D 重建設(shè)置中把延遲從 55.42 秒壓到 21.20 秒，實現(xiàn) 2.61 倍加速，同時保持 Abs Rel 0.341、RPE trans 0.068，并在加速方法中取得最低的旋轉(zhuǎn)誤差 0.796。

這件事對世界模型意味著什么

WorldCache 給出的不只是一次更快的采樣過程，更是一種面向世界模型內(nèi)部異質(zhì)性的緩存思路。

世界模型并不是普通視頻擴(kuò)散模型的簡單延伸，面向世界模型的推理優(yōu)化，必須尊重多模態(tài)耦合、空間差異和時間動態(tài)非均勻這些結(jié)構(gòu)性事實。在這個前提下，無需額外訓(xùn)練，不引入大規(guī)模額外顯存，卻能把本來昂貴的世界模型推理推到更接近交互式使用的區(qū)間，這為更長時間跨度的世界模擬、可交互場景生成乃至具身智能相關(guān)應(yīng)用，提供一種有潛力的路徑。

作者簡介

本文共同第一作者為中國科學(xué)院計算所博士生馮偉倫、碩士生范國鑫，以及蘇黎世聯(lián)邦理工學(xué)院博后秦浩桐。通訊作者為中國科學(xué)院計算所楊傳廣和安竹林副研究員。核心成員來自計算所智能算法安全全國重點實驗室智能優(yōu)化課題組，隸屬于徐勇軍研究員團(tuán)隊，課題組長期從事高效人工智能的研究，重點關(guān)注視覺、多模態(tài)等領(lǐng)域的理解與生成高效性方面的研究。