![]()
隨著生成模型的快速發展,AI 生成圖像正變得越來越逼真,也讓圖像真實性判斷變得愈發重要:一張圖片究竟是由相機真實拍攝,還是由模型合成生成?
與此同時,一個與真實性判斷密切相關、也更加細粒度的問題逐漸受到關注:對于 AI 生成圖像中可能存在的不自然偽影,我們是否不僅能夠將其定位和解釋,還能進一步對其進行修復,使圖像恢復為更加真實、自然的視覺外觀?
圍繞這一問題,來自北京大學等機構的研究者提出了 GenShield:一個統一的自回歸框架,將 AI 生成圖像檢測 與 圖像偽影修復 結合到同一個閉環中,實現從 “診斷” 到 “修復” 的一體化建模。
![]()
- 論文標題:GenShield: Unified Detection and Artifact Correction for AI-Generated Images
- 論文鏈接:https://arxiv.org/abs/2605.16122
- 代碼鏈接:https://github.com/zhipeixu/GenShield
從 “檢測真假” 到 “診斷并修復”
現有 AI 生成圖像檢測方法大多關注 “判斷一張圖是真還是假”,或者進一步指出圖中可疑區域。然而,在很多實際場景中,僅僅檢測出異常還不夠:如果圖像中存在明顯的結構錯誤、物理不一致或局部扭曲,我們還希望模型能夠給出解釋,并進一步將其修復為更自然、更接近真實拍攝的圖像。
GenShield 的核心思想是:檢測與修復并不是兩個孤立任務,而是可以相互促進的。
一方面,檢測任務能夠幫助模型發現圖像中的異常區域,并生成更細粒度的診斷信息;另一方面,修復任務要求模型學習真實圖像的生成先驗,從而反過來提升其對細微偽影的敏感性。
因此,我們將兩者統一到一個框架中,讓模型同時具備:
1. 可解釋的 AI 生成圖像檢測能力
模型不僅輸出 real/fake 判斷,還會生成圖像內容描述和偽影分析依據。
2. 可控的圖像偽影修復能力
模型能夠根據診斷信息對圖像中的異常區域進行修復,盡量保持主體語義和整體結構不變。
3. 多步 Visual CoT 自修復能力
模型可以像 “先檢查、再修改、再復查” 一樣,進行多輪診斷與修復,并在圖像已經自然時自動停止。
GenShield-Set:面向檢測與修復的統一數據集
為了訓練這一統一框架,我們進一步構建了 GenShield-Set,包含兩個互補部分:
- GenShield-Set-Detect用于訓練可解釋檢測能力,包含真實圖像和 AI 生成圖像,以及結構化的檢測答案,包括真假判斷、圖像描述和判斷依據。
- GenShield-Set-Correct用于訓練偽影修復能力。我們基于帶有異常標注的 AI 生成圖像,構造了大規模 “異常圖像 — 修復圖像” 配對數據,并通過專家篩選保證修復質量,最終得到超過 10K 對高質量修復樣本。
![]()
GenShield-Set 構建 Pipeline
![]()
GenShield-Set-Correct 樣本示例
VCoT-based Curriculum Learning:讓模型在 “檢測 — 診斷 — 修復” 中協同進化
在統一建模 AI 生成圖像檢測與偽影修復時,一個核心挑戰在于:模型既需要具備可靠的真實性判斷能力,能夠發現并解釋圖像中的異常線索;又需要具備可控的修復能力,在去除不自然偽影的同時,盡可能保持圖像原有的語義、身份和整體結構不被破壞。
為此,我們設計了基于 Visual Chain-of-Thought(VCoT) 的課程學習策略,將訓練過程劃分為由易到難的兩個階段,并在兩個階段中始終保留 AI 生成圖像檢測任務,使檢測與修復能夠持續相互促進。
![]()
GenShield 模型架構 & VCoT-based Curriculum Learning
在第一階段,模型同時學習可解釋的 AI 生成圖像檢測和指令引導的偽影修復。對于檢測任務,模型需要輸出結構化結果,包括圖像是真實還是 AI 生成、圖像內容描述以及判斷依據;對于修復任務,模型則在明確異常描述的指導下學習修復圖像中的偽影,從而建立穩定的真實圖像生成先驗。
在第二階段,檢測任務繼續參與訓練,而修復任務進一步升級為多輪 VCoT 自修復過程。給定一張可能存在異常的 AI 生成圖像,模型會先生成診斷文本,指出圖像中仍然可疑或不自然的區域;隨后根據診斷進行針對性修復。修復后的圖像會再次輸入模型,觸發下一輪 “診斷 — 修復” 過程。當圖像已經足夠自然時,模型會輸出類似 “未發現明顯偽影,圖像已經正常” 的終止判斷,從而自動停止進一步編輯。
![]()
VIsual CoT for Artifact Self-correction
通過這樣的課程學習設計,GenShield 不僅學習到如何判斷圖像真假,也學習到如何利用檢測得到的診斷信息指導修復;同時,修復過程帶來的真實圖像生成先驗又反過來增強模型對細微偽影的感知能力。最終,檢測與修復在同一框架中形成閉環,使 GenShield 從單一的真假判別模型,進一步發展為具備解釋、修復和自我檢查能力的統一圖像取證系統。
實驗結果:檢測與修復均達到領先表現
在 AI 生成圖像檢測任務上,GenShield 在 Holmes-Set 等主流檢測基準上取得了優異結果。論文中報告,GenShield 在 Holmes-Set 上達到 98.8% 平均準確率 和 99.8% A.P.,超過多種非 LLM 和 LLM-based 檢測方法。
在圖像偽影修復任務上,GenShield 同樣表現突出。相比 GPT-Image、Nano-Banana-Pro、Seedream、FLUX-Pro、BAGEL、Qwen-Image-Edit 等強基線方法,GenShield 在結構、物理一致性、局部扭曲等偽影修復維度上取得更低的殘余偽影評分,并在 HPSv3、CLIP-Score、PickScore 等客觀指標上取得最佳或領先結果。
![]()
![]()
![]()
總結
GenShield 將 AI 生成圖像取證從傳統的 “被動判斷真假”,推進到 “主動診斷并修復” 的新范式。通過統一建模檢測、解釋與偽影修復,GenShield 不僅能夠判斷圖像是否由 AI 生成,還能指出可疑原因,并進一步恢復更自然可信的視覺外觀。我們希望這項工作能夠為 AI 圖像取證、內容審核、可信生成系統以及統一理解 — 生成模型研究提供新的思路。
主要作者簡介
徐志沛,北京大學碩士生。研究方向為 AIGC 安全,LLM,RL 等。以第一 / 共一作者身份在 ICML,ICLR,CVPR 等國際頂級會議發表多篇論文。
張健(通訊作者),北京大學長聘副教授、博士生導師,視覺信息智能學習實驗室(VILLA)負責人。長期深耕 “視覺重建生成與安全” 領域研究,已在 TPAMI、IJCV、TIP、CVPR 等會議期刊發表論文 120 余篇。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.