![]()
復雜視覺關系成為生成模型的新考題。
作者丨鄭佳美
編輯丨馬曉寧
圖像生成行業正在從“生成能力競爭”進入“可控能力競爭”。
過去,模型的核心價值主要體現在能否生成高質量、高清晰度、風格豐富的單張圖像;而隨著文生圖、圖生圖和指令式編輯能力逐漸成熟,新的瓶頸開始顯現:模型能否理解多張圖片之間的關系,能否在不同視角和場景中保持同一對象的一致性,能否把多個參考來源自然融合到同一畫面中,能否在數據缺失或退化時恢復可信細節,以及能否讓用戶精確控制每一次編輯的幅度。
這種變化也反映在 CVPR 2026 的相關研究中。越來越多工作開始從單張圖像生成,轉向多圖關系建模、跨圖像一致性保持、復雜場景組合、連續可控編輯和高質量視覺數據恢復。這說明圖像生成和編輯的重點已經不只是“能不能生成”,而是模型能否在復雜約束下穩定理解對象、結構、關系和用戶意圖。
更深層來看,視覺生成模型正在從單次輸出工具走向復雜視覺系統。它需要同時處理身份保持、結構對齊、語義融合、細節恢復和人機交互等問題。
也正因為如此,當前研究的重點正在從單張圖像質量,轉向多圖一致性、組合泛化能力、底層數據表示以及精細化控制能力。誰能更好地把這些能力統一起來,誰就更接近下一階段真正可用、可信、可控的視覺生成模型。
![]()
01
當圖像模型不再只會「生成一張圖」
《GroupEditing: Edit Multiple Images in One Go》關注的是“多圖一致編輯”問題,相關研究來自香港科技大學、清華大學、上海交通大學和悉尼科技大學。論文主要研究如何對一組相關圖片進行統一修改,并保證編輯后的結果在外觀、身份、結構和語義上保持一致。雷峰網
以往的圖像編輯方法大多針對單張圖片,如果把同一個指令分別應用到多張相關圖片上,很容易出現編輯效果不統一的問題。比如同一個物體在不同視角或姿態下,顏色、形狀或身份特征可能會被改得不一致。
針對這一問題,論文提出了 GroupEditing 框架,把一組靜態圖片看作“偽視頻幀”,借助視頻生成模型本身擅長保持連續幀一致性的特點,來提升多張圖片之間的編輯一致性。
![]()
論文地址:https://arxiv.org/pdf/2603.22883v3
同時,論文還引入 VGGT 來提取圖片之間的幾何對應關系,并設計了 Ge-RoPE 和 Identity-RoPE 兩個模塊。前者幫助不同圖片中的對應區域更好對齊,后者幫助同一對象在不同圖片中保持身份和外觀一致。也就是說,模型不僅知道“要改什么”,還能夠更好地判斷“不同圖片中哪里是同一個對象或區域”。
這篇論文的亮點在于,它將圖像編輯從單張圖片擴展到一組相關圖片,適用于商品多角度圖、角色形象保持、同一物體不同視角編輯等場景。
方法上,它巧妙地結合了視頻模型的一致性能力和顯式幾何對齊信息,使多圖編輯結果更加穩定、統一。實驗結果也表明,GroupEditing 在編輯質量、語義一致性和跨圖像一致性方面都優于已有方法。
![]()
在多圖一致編輯的基礎上,《MICo-150K: A Comprehensive Dataset Advancing Multi-Image Composition》進一步關注多圖組合生成問題,相關研究來自香港理工大學、清華大學、中山大學和 OPPO 研究院。
論文主要研究的是多圖組合生成,也就是給模型多張參考圖片,讓它根據文本指令把這些圖片中的人物、物體、服裝或場景自然地組合到一張新圖中,同時保持身份一致、語義合理和畫面協調。
這項任務的難點在于,模型不僅要理解每張參考圖中的關鍵內容,還要把多個來源的信息融合到同一場景里。例如,把一個人物、一件衣服、幾個物體和一個背景組合成一張完整圖片時,既不能丟失參考圖中的身份特征,也不能讓畫面看起來像簡單拼貼。
為了解決訓練數據不足的問題,論文提出了 MICo-150K 數據集,系統覆蓋 3 大類、7 個子任務和 27 種細粒度組合類型,并加入 De&Re 任務,即先把真實復雜圖像拆解成組件,再重新組合。
在數據構建上,作者先收集并清洗人物、物體、服裝和場景等高質量源圖,再用 GPT-4o 生成多圖組合指令,并通過 Nano-Banana 合成目標圖像。
之后,論文使用 QwenVL2.5-72B、ArcFace 和人工篩選來檢查生成結果,確保參考圖片中的關鍵內容被正確保留,最終形成面向多圖組合生成的大規模高質量數據集。
![]()
論文地址:https://arxiv.org/pdf/2512.07348v1
論文還提出了 MICo-Bench 評測基準和 Weighted-Ref-VIEScore 指標,用來更全面地評估多圖組合生成的效果。實驗中,作者用 MICo-150K 微調了多個開源模型,結果顯示這些模型的多圖組合能力都有明顯提升。
其中基于 Qwen-Image-Edit 微調得到的 Qwen-MICo,在三圖組合任務上接近甚至優于 Qwen-Image-2509,同時還能支持任意數量的多圖輸入。
這篇論文的亮點在于,它不是單純提出一個新模型,而是系統補齊了多圖組合生成領域的數據、任務分類、評測基準和基礎模型。MICo-150K 為模型學習多圖融合、身份保持和復雜場景組合提供了大規模訓練資源;
MICo-Bench 和 Weighted-Ref-VIEScore 則讓這類任務有了更專門的評測方式。總體來看,這篇論文的核心貢獻是推動多圖生成從“能參考一張圖”走向“能理解并融合多張圖”。
![]()
前兩篇論文主要圍繞多圖編輯和多圖生成展開,而《Reparameterized Tensor Ring Functional Decomposition for Multi-Dimensional Data Recovery》則從多維數據表示與恢復的角度切入,相關研究來自湖南師范大學數學與統計學院、計算與隨機數學教育部重點實驗室,以及南方科技大學統計與數據科學系。
論文主要研究的是多維數據恢復問題,例如圖像修復、去噪、超分辨率和點云恢復。它關注的核心是:如何用更緊湊、更連續的方式表示高維數據,并從缺失、稀疏或退化的觀測中恢復出高質量結果。
傳統的張量環分解 TR 適合表示高階張量,但通常依賴固定網格上的離散數據,難以處理連續信號或非規則采樣數據。
為了解決這個問題,論文提出了 TRFD,也就是張量環函數分解,用隱式神經表示 INR 來參數化張量因子,使模型可以從連續坐標中生成張量表示。這樣一來,方法不僅能處理常規網格數據,也能處理點云這類非網格數據。
不過,直接用 INR 學習張量因子會遇到一個問題:模型容易先學習低頻內容,而對細節紋理、邊緣結構等高頻信息建模不足。
![]()
論文地址:https://arxiv.org/pdf/2603.01034v2
論文通過頻域分析指出,張量環因子的頻率特性會直接影響最終恢復結果的頻率表現,因此如果因子本身缺少高頻成分,恢復出的圖像或點云也會缺少細節。雷峰網
針對這一問題,論文提出了 RepTRFD,也就是重參數化張量環函數分解。它把每個張量環因子表示成“可學習的潛在張量”和“固定基”的結構化組合,從而改善訓練動態,讓模型更容易學習高頻細節。同時,論文還給出了固定基的初始化方法,并證明了模型的 Lipschitz 連續性,以保證訓練過程更加穩定。
這篇論文的亮點在于,它不是單純提高一個視覺任務的效果,而是從張量表示和頻率學習的角度改進多維數據恢復框架。
方法既保留了張量環分解緊湊、高效的優勢,又通過 INR 獲得了連續建模能力,再通過重參數化增強了高頻細節恢復能力。實驗表明,RepTRFD 在圖像修復、去噪、超分辨率和點云恢復等任務上整體優于已有方法,并且在相近計算量下取得了更好的恢復質量。
![]()
在多維數據恢復之外,《SliderEdit: Continuous Image Editing with Fine-Grained Instruction Control》又回到圖像編輯場景,但它關注的重點是編輯過程中的精細控制能力,相關研究來自馬里蘭大學和 Adobe 研究院。
論文主要研究的是指令式圖像編輯中的“連續可控”問題,也就是讓用戶不僅能用文字告訴模型要改什么,還能像調節滑桿一樣精確控制每個編輯指令的強弱。
現有的圖像編輯模型通常會把指令一次性完整執行,例如“把頭發變卷”“讓人物微笑”“把背景換成夜晚”。但用戶很難控制這些變化到底要多強,是輕微微笑還是大笑,是稍微變卷還是非常卷。尤其當一個提示詞里包含多個編輯要求時,模型往往缺少對單個指令的獨立控制能力。
![]()
論文地址:https://arxiv.org/pdf/2511.09715v1
為了解決這個問題,論文提出了 SliderEdit 框架。它會把一個復雜編輯指令拆成多個子指令,并為每個子指令提供一個可調節的滑桿。
用戶可以通過滑桿連續控制某個編輯效果的強度,甚至可以讓某個效果被削弱、正常執行或進一步放大。這樣一來,圖像編輯就不再是“改或不改”的離散操作,而變成了更細膩、可交互的連續控制過程。
方法上,SliderEdit 的核心是利用現代多模態擴散 Transformer 中的指令相關 token 表示。作者發現,某些文本 token 會集中控制對應的視覺編輯效果,因此可以通過對這些 token 進行調節來控制編輯強度。
論文進一步提出 Partial Prompt Suppression 損失,讓模型學習如何只抑制某一個子指令的視覺影響,同時保留其他編輯效果。它還使用輕量級的低秩適配器 LoRA,不需要為每個屬性或概念單獨訓練一個新模型。
這篇論文的亮點在于,它把圖像編輯從“固定強度的文字指令”推進到了“可連續調節的交互式編輯”。它不僅支持單個屬性的強弱控制,也支持多指令場景下對不同編輯方向分別調節。
論文還將方法應用到 FLUX-Kontext 和 Qwen-Image-Edit 等先進圖像編輯模型上,實驗顯示 SliderEdit 在編輯連續性、語義解耦、身份保持和用戶可控性方面都有明顯優勢。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.