在生成式視頻快速發(fā)展的今天，模型已經(jīng)能夠生成高質(zhì)量的短視頻片段，但一個更具挑戰(zhàn)性的問題正逐漸成為研究焦點：

如何生成長時間、可連續(xù)演化的視頻序列？當生成從 “幾秒” 走向 “長時序” 時，問題開始顯現(xiàn)：視角變化帶來的結(jié)構(gòu)漂移、時間推進中的內(nèi)容不一致，使得視頻在空間與時間維度上難以保持穩(wěn)定，往往 “走著走著就亂了”。

與此同時，如何讓視頻生成具備可控性，能夠沿指定路徑連續(xù)移動，也成為實際應(yīng)用中的關(guān)鍵需求。

近日，來自 University of California, Irvine、University of California, San Diego、City University of Hong Kong、University of Pennsylvania 以及 Adobe Research 的研究者共同提出了 OmniRoam，一種面向軌跡可控長視頻生成的新方法。

• 論文標題：OmniRoam: World Wandering via Long-Horizon Panoramic Video Generation
• 項目主頁：https://yuheng.ink/project-page/omniroam/
• 文章鏈接：https://arxiv.org/pdf/2603.30045
• 代碼鏈接：https://github.com/yuhengliu02/OmniRoam

該工作通過引入全景視頻作為統(tǒng)一表示，并結(jié)合 coarse-to-fine 的分階段生成框架，在長時序條件下顯著提升了視頻的空間一致性與時間連貫性，使模型能夠生成沿指定路徑連續(xù)演化的視頻序列，邁出了從 “片段生成” 走向 “連續(xù)過程生成” 的關(guān)鍵一步。

一、軌跡控制的視頻預(yù)覽

先生成 “可控路徑”

OmniRoam 首先生成一個中等分辨率的全景視頻預(yù)覽，用于確定整體路徑與場景結(jié)構(gòu)。

核心在于將相機軌跡拆解為 flow（方向）和 scale（步長）兩個控制量：前者刻畫運動方向，后者控制移動幅度，從而實現(xiàn)更清晰的軌跡建模。在實現(xiàn)上，模型將輸入與目標視頻在時間維拼接，并通過 flow 與 scale 進行條件調(diào)制，使生成過程既保持內(nèi)容連續(xù)，又具備明確的路徑約束。

二、長時序視頻細化

從預(yù)覽到高質(zhì)量生成

在 preview 基礎(chǔ)上，OmniRoam 進一步進行長時序細化生成。由于 preview 通常采用較大 scale（類似 “快進”），refinement 階段會通過 scale 對齊，將視頻擴展為更長、更接近真實速度的序列。

關(guān)鍵設(shè)計是 visibility mask：每個時間段只選取少量 preview 幀作為條件輸入，在保留結(jié)構(gòu)錨點的同時避免冗余。隨后模型對各個 segment 進行高分辨率生成，并拼接得到最終長視頻。

這種從 “全局預(yù)覽” 到 “局部細化” 的過程，有效緩解了長序列中的誤差累積問題。

三、新數(shù)據(jù)集與評測基準

支撐長視頻生成

為支持該任務(wù)，OmniRoam 構(gòu)建了專門的數(shù)據(jù)與評測體系。在表示上，文章定義了一個 canonical panoramic coordinate system，去除相機自旋轉(zhuǎn)，僅保留平移，從而簡化軌跡建模。數(shù)據(jù)方面結(jié)合真實與合成兩部分：真實全景視頻提供多樣場景，合成數(shù)據(jù)提供精確軌跡監(jiān)督，并通過路徑規(guī)劃保證運動合理性。在評測上，提出 loop consistency 指標，要求視頻沿閉環(huán)路徑生成后既能回到起點，又保持中間過程的合理變化，更好衡量長時序一致性。

四、實驗結(jié)果

一致性與可控性的顯著提升

實驗結(jié)果表明，OmniRoam 在畫質(zhì)、軌跡控制和長時序一致性上均優(yōu)于現(xiàn)有方法。

在定性結(jié)果中，模型能夠穩(wěn)定沿指定路徑生成連續(xù)視頻，顯著減少結(jié)構(gòu)漂移與內(nèi)容崩塌；而在定量指標上（如 FAED、SSIM、LPIPS 及 loop consistency），均取得更優(yōu)表現(xiàn)。

進一步分析顯示，全景表示與兩階段生成設(shè)計是性能提升的關(guān)鍵，使模型在長視頻場景下依然保持穩(wěn)定與可控。文章重點分析了在長視頻（641 幀）條件下不同方法的表現(xiàn)，包括自回歸生成與基于透視表示的方法。為了進一步分析長時序一致性，作者設(shè)計了閉環(huán)軌跡實驗，并用 CLIP 相似度衡量模型是否能夠 “走回原點”。理想情況下，隨著相機逐漸遠離起點，相似度應(yīng)逐步下降；而在軌跡閉環(huán)時，相似度應(yīng)重新上升。相似度在中段下降，在末尾重新回升，說明模型具備較強的長期空間記憶能力。

五、擴展與應(yīng)用

從實時預(yù)覽到 3D 場景生成

除了長視頻生成能力，OmniRoam 還展示了在效率與 3D 任務(wù)上的潛在應(yīng)用。

在效率方面，作者基于 self-forcing 機制，將完整模型蒸餾為一個輕量級自回歸預(yù)覽模型，實現(xiàn)實時視頻生成。該模型在保持整體場景結(jié)構(gòu)的同時，可在約 7 秒內(nèi)生成 81 幀全景視頻，相比原始模型顯著加速，為交互式應(yīng)用提供了可能。同時，還支持先生成低分辨率視頻，再通過 refinement 模塊提升至更高分辨率（如 720p）。

在 3D 應(yīng)用方面，OmniRoam 生成的長視頻可直接用于 3D 場景重建。作者從生成視頻中均勻采樣關(guān)鍵幀，并提取多個透視視角輸入到 3D Gaussian Splatting（3DGS）中進行重建。實驗結(jié)果表明，生成視頻在不同視角間保持良好的一致性，能夠恢復(fù)出結(jié)構(gòu)連貫的 3D 場景。

這些結(jié)果表明，OmniRoam 不僅可以生成長時序視頻，還能夠作為上游模塊，為實時交互與 3D 內(nèi)容構(gòu)建提供支持。

六、總結(jié)

長視頻生成邁向 “可持續(xù)演化”

OmniRoam 的核心貢獻，并不只是生成更長的視頻，而是在長時序條件下，實現(xiàn)了更穩(wěn)定、更可控的生成過程。通過全景表示提供全局空間約束，并結(jié)合 trajectory-controlled preview 與 long-horizon refinement 的兩階段設(shè)計，模型能夠在長時間范圍內(nèi)有效抑制漂移，維持結(jié)構(gòu)與語義的一致性。

這也反映出一個更重要的趨勢：

視頻生成的挑戰(zhàn)，正在從 “生成更清晰的內(nèi)容”，轉(zhuǎn)向 “如何在更長時間內(nèi)保持一致性與連貫性”。在這一背景下，OmniRoam 提供了一種可行路徑，使生成模型能夠沿指定軌跡持續(xù)演化，為長視頻生成、虛擬漫游等場景奠定了基礎(chǔ)。

如果說短視頻生成解決的是 “生成一段內(nèi)容”，那么長時序生成更關(guān)心的是 —— 模型能否在時間推移中持續(xù) “記住并延續(xù)” 這個場景。