新智元報道

【新智元導(dǎo)讀】擴散模型已經(jīng)越來越會「畫」，卻還遠沒有學(xué)會「守住要求」。決定系統(tǒng)是否可靠的，已不再只是畫質(zhì)，而是生成結(jié)果能否持續(xù)遵守條件、維持狀態(tài)，并符合人類與現(xiàn)實世界的基本標準。

過去幾年，擴散模型最顯著的進步，是生成質(zhì)量越來越高。

從文生圖、圖像編輯，到個性化生成、視頻和三維內(nèi)容創(chuàng)建，模型已經(jīng)能夠產(chǎn)生非常逼真的視覺結(jié)果。很多時候，一張生成圖片單獨擺在面前，我們甚至很難判斷它是否來自真實世界。

但當(dāng)生成任務(wù)變得復(fù)雜，一個比畫質(zhì)更基礎(chǔ)的問題開始暴露出來：

圖像看起來正確不代表模型真的完成了任務(wù)。

你要求模型生成三只貓，它可能只畫出兩只；你要求紅色方塊位于藍色圓球左邊，模型可能生成了兩個物體，卻把顏色和位置關(guān)系弄反；你讓模型連續(xù)生成同一個人物，它可能在每張圖片里都畫出一張好看的臉，但這些臉并不屬于同一個人。

視頻中的問題更加明顯。每一幀單獨看都很逼真，人物的衣服卻不斷變化，手里的物體會突然消失，前一秒建立的場景狀態(tài)在后一秒不復(fù)存在。多視圖生成也一樣：每個角度都像一件合理的物體，但這些視圖放在一起，卻無法還原成同一個三維結(jié)構(gòu)。

這些失敗并不完全屬于「生成質(zhì)量差」。更準確地說，它們屬于另一類問題：

模型沒有穩(wěn)定地遵守它應(yīng)該遵守的關(guān)系，即生成一致性。

中國科學(xué)技術(shù)大學(xué)、火箭軍工程大學(xué)、清華大學(xué)、華中科技大學(xué)、劍橋大學(xué)等機構(gòu)的研究者們共同發(fā)表的重磅綜述，系統(tǒng)梳理了超過500篇論文，揭示了擴散模型視覺內(nèi)容合成繁榮表象下的「一致性危機」，并將領(lǐng)域內(nèi)的混亂研究梳理的條理清晰，描繪了一幅關(guān)于「一致性」關(guān)系分類、評估方法與優(yōu)化策略、核心挑戰(zhàn)與未來機遇的全景圖。

論文地址：https://www.preprints.org/manuscript/202606.0870/v1

開源地址：https://github.com/Shawn-CodeDev/Awesome-Consistency-Diffusion-Visual-Generation

與按照文生圖、編輯、個性化、視頻、三維生成和安全等任務(wù)分別介紹不同，研究人員嘗試從更基本的問題出發(fā)：

生成結(jié)果究竟需要和什么保持一致？

沿著這個問題，原本分散在文生圖、可控生成、編輯等領(lǐng)域中的研究可以被重新組織為三種關(guān)系：生成結(jié)果與外部條件的一致、不同生成狀態(tài)之間的一致，以及生成內(nèi)容與人類及現(xiàn)實世界標準的一致。

這三種關(guān)系分別對應(yīng)擴散生成從「聽懂要求」，到「維持狀態(tài)」，再到「符合可部署標準」的三個層次。

沿著這一框架，研究人員進一步討論一致性可以在生成流程的哪些位置被實現(xiàn)、為什么現(xiàn)有指標經(jīng)常測不準，以及當(dāng)多種要求相互沖突時，下一代生成模型真正需要解決什么問題。

生成模型需要維護三種關(guān)系

三類一致性關(guān)系及其失敗模式

第一種關(guān)系，是結(jié)果與用戶條件之間的關(guān)系。

用戶輸入了一段文本、一個布局、一張參考圖或一條編輯指令，模型是否真正實現(xiàn)了這些要求？將其稱為外部一致性。

外部一致性

文生圖中的物體遺漏、屬性錯綁、數(shù)量錯誤和空間關(guān)系混亂，都屬于外部一致性失敗。模型可能理解了prompt的主題，卻沒有把文本中的對象、屬性和關(guān)系準確對應(yīng)到視覺內(nèi)容中。

Attend-and-Excite原理

例如，「一只戴著皇冠的獅子」并不只是要求畫出獅子和皇冠，還要求皇冠被正確綁定到獅子上。模型如果只畫出獅子，或者把皇冠放在旁邊，即使圖像本身很漂亮，任務(wù)也沒有完成。

Attend-and-Excite、BoxDiff、GLIGEN 等方法所解決的，本質(zhì)上就是語言條件沒有被充分落實的問題。它們通過注意力修正、空間約束或 grounding 機制，加強文本單元與視覺實體之間的對應(yīng)關(guān)系。

ControlNet原理

ControlNet、T2I-Adapter和IP-Adapter則把外部條件從文本擴展到姿態(tài)、深度、邊緣、布局和參考圖像。它們試圖確保這些條件不只是「提供給模型」，而是真正進入去噪過程并影響最終結(jié)果。

圖像編輯同樣屬于外部一致性，但它多了一層特殊要求：模型不僅要執(zhí)行指令，還要保護不應(yīng)該變化的內(nèi)容。

DiffEdit原理

而「把馬變成斑馬」這一指令并不意味著允許模型重新生成整個畫面。一個合格的結(jié)果必須改變目標對象，同時保持原有姿態(tài)、構(gòu)圖、背景和其他區(qū)域。DiffEdit、Prompt-to-Prompt 和 InstructPix2Pix 等方法的核心差異，就在于它們?nèi)绾蝿澏ň庉嫹秶约叭绾螠p少編輯對無關(guān)內(nèi)容的影響。

因此，外部一致性關(guān)注的并不是模型有沒有接收到條件，而是這些條件是否可以在最終結(jié)果中被清楚追蹤。

第二種關(guān)系，是多個生成結(jié)果之間的關(guān)系。

當(dāng)同一個主體出現(xiàn)在不同圖片、不同視角或不同時間中時，模型是否仍然維護著同一個對象和同一個世界？我們將其稱為內(nèi)部一致性。

內(nèi)部一致性

個性化生成是最直觀的例子。

Dreambooth和PhotoMaker原理

DreamBooth 將人物身份寫入模型參數(shù)，PhotoMaker 和 InstantID 則把參考圖片編碼成身份特征，在推理時注入生成過程。

兩條路線使用了不同的技術(shù)手段，但解決的是同一個問題：當(dāng)背景、姿態(tài)、動作和風(fēng)格發(fā)生變化時，哪些信息必須保持穩(wěn)定，才能讓人仍然認為這是同一個主體？

這里需要區(qū)分外觀復(fù)制和身份持續(xù)。復(fù)制一張參考圖中的臉相對容易，困難的是在視角、姿態(tài)和場景改變后，仍然保持人物的臉部結(jié)構(gòu)、發(fā)型、服裝、配飾和角色特征。

SyncDreamer原理

多視圖生成將同一個問題推進到了三維層面。模型不能只生成若干張彼此相似的圖片，而必須讓這些圖片能夠由一個共同的幾何結(jié)構(gòu)解釋。Zero-1-to-3 通過參考圖和相機變化預(yù)測新視角，SyncDreamer 和 MVDream 則在過程中聯(lián)合多個視角，使它們共享中間狀態(tài)。

AnimateDiff和StoryDiffusion原理

視頻和故事生成面對的也是類似問題，只是共享狀態(tài)沿時間延伸。AnimateDiff 通過運動模塊建立短程幀間聯(lián)系，StoryDiffusion、TaleCrafter 等方法進一步嘗試維護角色、服裝、場景和事件狀態(tài)。

從這個角度看，視頻生成并不是連續(xù)生成很多張圖片，而是在不斷回答一個狀態(tài)問題：

前面已經(jīng)發(fā)生了什么，接下來允許發(fā)生什么？

只要模型缺乏持久狀態(tài)，即使每一幀都足夠真實，長序列仍然會出現(xiàn)身份漂移、物體消失、動作斷裂和事件矛盾。

第三種關(guān)系

不來自當(dāng)前prompt，也不只存在于不同生成結(jié)果之間，而來自系統(tǒng)默認應(yīng)該遵守的評價標準，將其稱為規(guī)范一致性。

規(guī)范一致性

一張圖可以完全符合 prompt，也可以在不同場景中保持人物身份，但它仍然可能不符合人類偏好、包含不安全內(nèi)容，或者違反基本的物理和因果規(guī)律。

偏好優(yōu)化、安全生成和物理世界建模表面上屬于不同研究方向，但它們共享一個結(jié)構(gòu)：模型需要與某種長期生效的標準保持一致。

Diffusion-DPO原理

ImageReward、HPS 和 VisionReward 等方法嘗試從人類選擇中學(xué)習(xí)「什么樣的結(jié)果更好」；Diffusion-DPO、FlowGRPO 和 DiffusionNFT 等方法進一步利用這些信號優(yōu)化生成模型。

安全方法則通過訓(xùn)練目標、參數(shù)編輯、采樣引導(dǎo)或輸出過濾，降低危險內(nèi)容的生成概率。

物理和因果一致性關(guān)注的是另一類標準。一個視頻可能運動平滑、畫面逼真，卻出現(xiàn)物體穿透、重力失效、狀態(tài)跳變或因果倒置。PhyBench、VideoPhy、PhyGenBench 等基準正是為了暴露這類傳統(tǒng)圖像質(zhì)量指標無法發(fā)現(xiàn)的問題。

小結(jié)

三種關(guān)系并不是互相排斥的任務(wù)標簽

一個個性化編輯系統(tǒng)通常同時需要遵守編輯指令、保持人物身份，并滿足安全和審美標準。一個長視頻系統(tǒng)既要按照文本腳本生成內(nèi)容，也要維護人物和場景狀態(tài)，還要保證事件演化符合基本物理規(guī)律。

因此，三種一致性更像三個觀察角度：

• 外部一致性回答模型是否遵守條件；

• 內(nèi)部一致性回答模型是否維護已經(jīng)建立的狀態(tài)；

• 規(guī)范一致性回答模型是否符合默認生效的評價標準。

一致性寫入生成流程的不同位置

優(yōu)化擴散模型生成一致性的幾個位置

知道模型要維護什么關(guān)系之后，下一步問題是：這些關(guān)系應(yīng)該在哪里被加強？

現(xiàn)有方法雖然數(shù)量龐大，但大體可以放進一條擴散生成流水線中理解。

有些方法在訓(xùn)練階段改變數(shù)據(jù)和目標函數(shù)，將身份、偏好、安全或結(jié)構(gòu)約束直接寫入模型參數(shù)。它們通常具有較強的持續(xù)性，但需要額外訓(xùn)練，也可能影響模型的其他能力。

有些方法工作在條件接口。ControlNet、T2I-Adapter、GLIGEN 和 IP-Adapter 關(guān)心的是文本、布局、姿態(tài)、深度和參考圖如何被編碼，以及這些信號如何進入擴散模型。它們的核心目標，是讓外部條件成為生成過程中的有效約束，而不只是一個弱提示。

另一類方法直接干預(yù)去噪軌跡。Attend-and-Excite 檢查哪些文本概念在注意力中被忽略，Prompt-to-Prompt 控制編輯過程中的注意力變化，BoxDiff 則通過空間目標修正中間 latent。這類方法不一定需要重新訓(xùn)練模型，但干預(yù)過強時，可能降低視覺質(zhì)量、多樣性或采樣效率。

對于身份、多視圖和視頻任務(wù)，僅僅修正單條生成軌跡往往不夠。模型需要讓多張圖片、多個相機視角或多個視頻幀共享特征、注意力、中間狀態(tài)或外部記憶。此時，一致性不再屬于單個樣本，而屬于整個聯(lián)合生成過程。

最后，還有大量方法不修改生成器本身，而是在生成完成后使用獎勵模型、安全過濾器、重排序器或物理驗證器篩選結(jié)果。這種方式容易接入現(xiàn)有系統(tǒng)，但它主要處理已經(jīng)產(chǎn)生的錯誤，而不能從根本上改變模型生成不一致內(nèi)容的傾向。

五類位置說明，一致性不對應(yīng)某個萬能模塊。

它可以被寫入?yún)?shù)，可以通過條件注入，可以在去噪過程中修正，也可以通過多個樣本的聯(lián)合生成或事后驗證來維持。

不同位置之間還可以組合。但組合越多，新的問題就越明顯：不同模塊可能同時修改同一組特征，甚至提出相互矛盾的要求。

為什么現(xiàn)有評價經(jīng)常測不清一致性

一致性的評估方法

一致性研究中的一個常見誤區(qū)，是試圖找到一個能夠概括全部能力的總分。

但 prompt 忠實度、身份保持、時間連續(xù)性、安全和物理合理性，并不是同一種屬性。更重要的是，它們甚至不能在同一種觀察對象上被測量。

Prompt 一致性通常比較一張圖片和一段文本。圖像編輯需要比較編輯前后的圖像。

身份一致性需觀察由同一主體生成的結(jié)果。

多視圖一致性必須同時檢查多個視角。

視頻和故事一致性則需要沿時間追蹤人物、物體和事件狀態(tài)。

因此，很多評價失敗并不是因為指標不夠先進，而是因為觀察單位選擇錯誤。

單張圖片中不存在「跨幀身份漂移」這個問題。兩張相鄰視頻幀看起來平滑，也不能證明幾十秒后的角色和場景仍然一致。人臉相似度很高，不代表服裝、配飾和角色屬性沒有變化。圖文相似度很高，也不代表對象數(shù)量和空間關(guān)系正確。

評價一種一致性，至少需要明確四件事：

• 觀察的是單張圖、圖像對、圖像集合、多視圖還是序列；

• 檢查的是語義、結(jié)構(gòu)、身份、幾何、時間狀態(tài)還是規(guī)范標準；

• 使用的是 VQA、特征相似度、幾何信號、獎勵模型、安全分類器還是人工判斷；

• 輸出的是正確率、保持度、兼容性、偏好分數(shù)還是風(fēng)險診斷。

所以，一致性評價不是尋找一個萬能指標，而是建立一個覆蓋不同關(guān)系的評價組合。

一個可信的生成系統(tǒng)不應(yīng)該只報告「整體表現(xiàn)更好」，而應(yīng)該說明它在哪些約束上得到提升，又在哪些能力上付出了代價。

一致性并不是越強越好

如果三種一致性都很重要，一個自然想法是把它們同時加強。

真實情況是，不同一致性之間經(jīng)常發(fā)生沖突。

更嚴格地執(zhí)行 prompt，可能迫使模型生成不自然的構(gòu)圖，降低審美質(zhì)量。更強的身份綁定可以減少人物漂移，卻也可能把服裝、背景和姿態(tài)一起鎖死，使人物難以編輯。

更強的跨幀共享能夠減少視頻閃爍，但可能限制運動幅度，讓結(jié)果顯得僵硬。更激進的安全擦除可以降低危險內(nèi)容，卻可能誤傷正常概念和無害請求。嚴格物理約束適合機器人和仿真，未必適合超現(xiàn)實主義和開放式藝術(shù)生成。

因此，一致性真正困難的部分，并不是把某個單獨指標做到最高，而是在多個目標同時出現(xiàn)時處理它們之間的關(guān)系。

系統(tǒng)需要知道哪些條件是必須滿足的硬約束，哪些只是可以調(diào)整的軟偏好；需要檢測不同條件是否發(fā)生沖突，并說明為了提升一個目標犧牲了什么。

目前多數(shù)方法仍然圍繞單個目標設(shè)計。一個模塊負責(zé)身份，一個模塊負責(zé)姿態(tài)，一個模塊負責(zé)安全，另一個獎勵模型負責(zé)美學(xué)。把這些模塊接到同一個系統(tǒng)上，并不會自動產(chǎn)生協(xié)調(diào)。

這也是一致性研究下一階段最關(guān)鍵的問題：從分別強化不同約束，走向能夠理解、解釋和處理約束沖突的生成系統(tǒng)。

從「高質(zhì)量生成」走向「可靠生成」

過去幾年，視覺生成的主要目標是讓模型產(chǎn)生更真實、更清晰、更美觀的內(nèi)容。

但當(dāng)生成模型走向編輯、個性化、長視頻、三維資產(chǎn)、仿真和具身智能時，視覺質(zhì)量已經(jīng)不再足夠。

模型必須學(xué)會維護三類關(guān)系：

它需要遵守用戶給出的條件，需要記住自己已經(jīng)建立的主體和世界狀態(tài)，也需要在用戶沒有逐條說明時，仍然符合安全、偏好、物理和因果標準。

這要求未來的生成模型具備幾種今天仍然不足的能力。

第一，是沖突感知。模型不能只接收多個條件，還需要理解這些條件何時互相矛盾，以及應(yīng)該如何確定優(yōu)先級。

第二，是持久但可編輯的狀態(tài)。人物身份、場景結(jié)構(gòu)和故事歷史需要被穩(wěn)定保存，但這些狀態(tài)又不能僵化到無法被新指令修改。

第三，是可解釋評價。系統(tǒng)不應(yīng)該只輸出一個總分，而要能夠說明自己在哪種一致性上成功或失敗。

第四，是從視覺相關(guān)性走向世界結(jié)構(gòu)。對于視頻、世界模型和具身智能，僅僅生成連續(xù)像素并不夠，模型還需要維護對象、狀態(tài)、動作、物理關(guān)系和因果演化。

因此，一致性并不是生成質(zhì)量之外的附加要求。它更接近一條分界線：一側(cè)是能夠產(chǎn)生漂亮樣本的生成模型，另一側(cè)是能夠在復(fù)雜條件下長期、穩(wěn)定、可控地工作的生成系統(tǒng)。

結(jié)語

從「美觀」到「可靠」

回看擴散視覺生成的發(fā)展，過去幾年的核心進步主要體現(xiàn)在一個維度上：模型越來越擅長生成局部真實、視覺精致的內(nèi)容。但當(dāng)任務(wù)從單張圖像擴展到復(fù)雜提示詞、圖像編輯、個性化、多視圖、長視頻和世界建模時，視覺質(zhì)量不再足以判斷一個系統(tǒng)是否真正完成了任務(wù)。

一個結(jié)果可以在像素層面幾乎無可挑剔，卻在語義、身份、時間、空間或物理關(guān)系上完全錯誤。生成模型面臨的關(guān)鍵問題，正在從「能不能生成」轉(zhuǎn)向「能不能持續(xù)維護正確的關(guān)系」。

這也是本文提出一致性視角的根本意義。外部一致性要求模型對用戶條件負責(zé)，保證文本、結(jié)構(gòu)、參考圖像和編輯指令能夠在結(jié)果中被準確落實；內(nèi)部一致性要求模型對自身已經(jīng)建立的狀態(tài)負責(zé)，使人物、場景、幾何和事件不會隨著視角或時間任意漂移；規(guī)范一致性則要求模型對更廣泛的評價標準負責(zé)，即使用戶沒有逐項聲明，系統(tǒng)仍應(yīng)遵守偏好、安全、常識、物理和因果約束。

三者分別對應(yīng)生成系統(tǒng)的控制能力、記憶能力和世界約束能力，也共同構(gòu)成了生成模型從視覺工具走向可靠系統(tǒng)的基礎(chǔ)。

從這個角度看，一致性并不是附加在圖像質(zhì)量之外的又一個指標，而是一種重新理解生成任務(wù)的方式。它提醒我們，生成質(zhì)量本質(zhì)上不是單個樣本的孤立屬性，而是輸出與條件、輸出與輸出、輸出與評價標準之間的一組關(guān)系。

很多過去被分散討論的問題——提示詞遺漏、身份漂移、視頻閃爍、多視圖矛盾、安全失效和物理錯誤——并非彼此獨立，而是在不同尺度上暴露了同一個缺陷：模型能夠產(chǎn)生合理的局部表象，卻缺乏穩(wěn)定維護全局約束的能力。

這也解釋了為什么一致性無法依靠一個統(tǒng)一模塊或一個總分解決。不同關(guān)系需要在訓(xùn)練目標、條件接口、去噪軌跡、跨實例狀態(tài)和輸出驗證等不同位置被約束，也需要單圖、圖像對、集合、視角組和長序列等不同觀察單位來評價。

未來真正可信的評估體系，不應(yīng)只告訴我們模型「整體更好」，而應(yīng)明確指出它遵守了哪些關(guān)系、在哪些關(guān)系上失敗，以及為提升一種一致性犧牲了哪些其他能力。

更深層的挑戰(zhàn)在于，不同一致性目標并不總是方向一致。更強的提示詞約束可能損害美感，更穩(wěn)定的身份綁定可能降低可編輯性，更緊密的時間耦合可能壓縮運動多樣性，更嚴格的安全或物理約束也可能限制正常能力與開放式創(chuàng)造。

因此，下一階段的研究重點不應(yīng)只是繼續(xù)強化單個約束，而應(yīng)讓模型能夠識別沖突、表示優(yōu)先級、保留長期狀態(tài)，并在不同任務(wù)和用戶需求下進行可解釋的權(quán)衡。

如果說過去的生成模型主要學(xué)習(xí)「怎樣產(chǎn)生一幅看起來合理的畫面」，那么未來的生成系統(tǒng)還必須進一步學(xué)習(xí)：什么必須保持不變，什么可以被修改，哪些狀態(tài)需要長期記住，哪些約束在沖突時應(yīng)當(dāng)優(yōu)先，以及一次生成行為會對后續(xù)世界產(chǎn)生什么影響。

只有當(dāng)模型能夠穩(wěn)定回答這些問題，視覺生成才會真正從高質(zhì)量內(nèi)容合成，邁向可控制、可持續(xù)、可驗證的智能生成。

參考資料：

https://www.preprints.org/manuscript/202606.0870/v1

編輯：LRST