2K 圖像 210ms 解碼，4K 細(xì)節(jié)直接生成，傳統(tǒng)「解碼 + 超分」流水線可能要被重寫(xiě)了。

文生圖模型現(xiàn)已內(nèi)卷至 4K、超寫(xiě)實(shí)、電影級(jí)光影水準(zhǔn)，但一張 AI 圖像要想像 GPT-Image2 一樣呈現(xiàn)高級(jí)質(zhì)感，只靠增加擴(kuò)散主干的參數(shù)規(guī)模和訓(xùn)練數(shù)據(jù)就足夠了嗎？

主流文生圖模型通常分兩步：在「潛空間」生成壓縮的潛在表征（latent），再由「解碼器」（decoder）還原為像素圖。傳統(tǒng)解碼器僅負(fù)責(zé)「解壓」，不主動(dòng)創(chuàng)造細(xì)節(jié)。但在生成 2K、4K 高精圖片時(shí)，解碼器能否處理紋理細(xì)節(jié)，兼顧速度與顯存，已成為高精渲染的瓶頸。這個(gè)長(zhǎng)期被低估的「從 latent 到 pixel」轉(zhuǎn)換環(huán)節(jié)，正是決定最終圖片質(zhì)感的關(guān)鍵。

現(xiàn)在，英偉達(dá) Spatial Intelligence Lab 團(tuán)隊(duì)提出了一種新解法：Pixel diffusion Decoder (PiD)。

• 論文地址：https://arxiv.org/pdf/2605.23902
• 項(xiàng)目主頁(yè)：https://research.nvidia.com/labs/sil/projects/pid/

簡(jiǎn)單說(shuō)，PiD 把 latent decoding 本身改造成一個(gè)生成式 pixel diffusion 過(guò)程，并且在解碼的同時(shí)還做到了 4 倍甚至 8 倍的上采樣，讓最終的圖像增加了驚人的細(xì)節(jié)。

PiD 可以把對(duì)應(yīng) 512×512 圖像的 latent，直接解碼成 2048×2048 的像素輸出；在 GB200 上 2K 分辨率解碼延遲約210ms；在消費(fèi)級(jí) RTX 5090 上也能做到1 秒以?xún)?nèi)，峰值顯存約13GB。更重要的是，它不僅快，而且細(xì)節(jié)更銳、質(zhì)感更強(qiáng)，在多個(gè)圖像質(zhì)量指標(biāo)上超過(guò)傳統(tǒng)擴(kuò)散超分級(jí)聯(lián)方案。

這或許揭示了 GPT-Image2 這類(lèi)高精圖像模型背后一個(gè)更通用的趨勢(shì)：高分辨率和多細(xì)節(jié)生成的關(guān)鍵，不只是「更大的生成模型」，也可能是「更會(huì)生成細(xì)節(jié)的 decoder」。

高精渲染的瓶頸，藏在最后一步

當(dāng)前主流文生圖模型大多基于潛在擴(kuò)散模型（latent diffusion model）。

它們不會(huì)直接在完整像素空間里生成圖像，而是先在一個(gè)壓縮后的潛空間中完成去噪和構(gòu)圖，再通過(guò) VAE decoder 把潛在表示還原為像素圖像。

這個(gè)設(shè)計(jì)極大降低了生成成本，也讓 Stable Diffusion、FLUX 等模型成為可能。

但問(wèn)題也隨之出現(xiàn)：傳統(tǒng) decoder 本質(zhì)上是重建型模塊，它的目標(biāo)是盡可能還原編碼器壓縮的信息，而不是主動(dòng)生成新的高頻細(xì)節(jié)。

當(dāng)目標(biāo)分辨率來(lái)到 2K、4K 時(shí)，這個(gè)弱點(diǎn)會(huì)被放大。

一方面，latent 中本來(lái)就丟失了一些細(xì)節(jié)；另一方面，VAE decoder 往往會(huì)把 latent 里的噪聲、瑕疵、偽影一起傳遞到最終圖像中。而為了實(shí)現(xiàn)高分辨率生成，很多系統(tǒng)不得不在后面再接一個(gè) 超分辨率模型，這就是典型的級(jí)聯(lián)流水線：

低分辨率潛在表示 → VAE 解碼 → 超分?jǐn)U散模型 → 高分辨率圖像

看起來(lái)合理，但代價(jià)很高：步驟多、延遲高、顯存壓力大，而且每一環(huán)都可能引入新的失真。

PiD 要做的，就是砍掉這條流水線。

PiD：讓 decoder 從「還原器」變成「生成器」

PiD 的核心思想很直接：既然像素?cái)U(kuò)散模型已經(jīng)證明自己擅長(zhǎng)生成高頻細(xì)節(jié)，那為什么不直接讓它承擔(dān) decoder 的角色？

于是，PiD 把潛在表示解碼重新定義為一個(gè)條件像素?cái)U(kuò)散模型（conditional pixel diffusion model）。

潛在表示負(fù)責(zé)提供全局結(jié)構(gòu)、語(yǔ)義布局和主體信息；像素?cái)U(kuò)散模型負(fù)責(zé)在目標(biāo)分辨率下合成紋理、邊緣、文字、皮膚、毛發(fā)、布料等細(xì)節(jié)。

換句話說(shuō)，PiD 不再是「從 latent 里還原信息」，而是「以 latent 為條件，在高分辨率像素空間里重新生成一張圖」。

這也是它和傳統(tǒng) VAE decoder 的根本區(qū)別：

VAE decoder 更像一個(gè)壓縮文件的解壓器，PiD 更像一個(gè)帶生成能力的高分辨率渲染器。

論文中，PiD 基于 PixelDiT 這類(lèi)像素空間擴(kuò)散模型構(gòu)建，并加入一個(gè)輕量級(jí)適配器，將低分辨率 latent 注入到高分辨率像素?cái)U(kuò)散主干中。為了讓模型知道什么時(shí)候該相信 latent、什么時(shí)候該發(fā)揮生成先驗(yàn)，團(tuán)隊(duì)還設(shè)計(jì)了 sigma-aware gate：潛在表征越干凈，注入越強(qiáng)；潛在表征越嘈雜，模型越依賴(lài)自身的像素生成先驗(yàn)。

這讓 PiD 不僅能處理完整去噪后的 latent，還能處理尚未完全去噪的中間 latent。

這個(gè)設(shè)計(jì)帶來(lái)了一個(gè)非常實(shí)用的能力：提前終止 latent diffusion。

FLUX 還沒(méi)跑完，PiD 已經(jīng)可以開(kāi)始畫(huà)了

在 FLUX.1 [dev] 這類(lèi)模型中，完整生成通常需要 28 個(gè) denoising step。PiD 的設(shè)計(jì)讓推理變得更加有趣：不一定要等 latent diffusion 全部跑完。

論文中，PiD 可以在 FLUX.1 [dev] 第 24 步甚至更早就接管尚未完全去噪潛在表征，并直接生成 2048×2048 圖像。

這意味著，潛空間的去噪過(guò)程可以更早停下來(lái)，剩余的細(xì)節(jié)生成交給 PiD 在像素空間完成。

論文實(shí)驗(yàn)顯示，完全跑滿 denoising step 時(shí)，PiD 更忠實(shí)于原始 latent；而在中間 step 接管時(shí)，由于 latent 還沒(méi)有把所有細(xì)節(jié)「釘死」，PiD 反而有更多空間去補(bǔ)充高頻紋理，部分場(chǎng)景中會(huì)生成更銳利、更豐富的細(xì)節(jié)。

這相當(dāng)于把高精渲染過(guò)程拆成兩層：

• 第一層：潛空間擴(kuò)散模型負(fù)責(zé)整體構(gòu)圖和語(yǔ)義；
• 第二層：PiD 負(fù)責(zé)高分辨率細(xì)節(jié)合成。

這對(duì)于商業(yè)圖像生成系統(tǒng)尤其重要，因?yàn)檠舆t、成本、顯存占用，都直接影響服務(wù)規(guī)模。

210ms 解碼 2K，速度和畫(huà)質(zhì)同時(shí)贏

在 2048×2048 解碼任務(wù)上，PiD 的速度數(shù)據(jù)非常亮眼。

以 GB200 + torch.compile 為例，PiD 2K 解碼約211ms。對(duì)比常見(jiàn)擴(kuò)散超分基線：

• SeedVR2-3B 約 1237ms；
• InvSR-1 約 1018ms；
• TSD-SR 約 725ms。

也就是說(shuō)，相比擴(kuò)散式超分管線，PiD 大約快3 到 6 倍。

而它并不是用畫(huà)質(zhì)換速度。

論文使用 MUSIQ、NIQE、DEQA、MANIQA、Q-Align、Unipercept、VisualQuality-R1 等多種圖像質(zhì)量指標(biāo)評(píng)測(cè)。結(jié)果顯示，在 FLUX.1、FLUX.2、SD3、Z-Image 等 VAE latent，以及 DINOv2、SigLIP 等 vision encoder latent 上，PiD 在大多數(shù)指標(biāo)上取得最優(yōu)或接近最優(yōu)表現(xiàn)。

論文還用閉源多模態(tài)大模型做圖像質(zhì)量評(píng)判，讓模型比較 PiD 結(jié)果和級(jí)聯(lián)超分結(jié)果。在 Claude 4.6 Opus、Gemini 3 Flash、GPT 5.5 系列評(píng)測(cè)器中，PiD 對(duì)比所有方法均以高勝率勝出。

換句話說(shuō)，PiD 不僅快，而且效果還能更好。

PiD 生成更好的毛發(fā)細(xì)節(jié)，且耗時(shí)更短

PiD 具有更高的圖像質(zhì)量指標(biāo)

不挑模型：VAE 和 RAE 的 latent 都能用

PiD 另一個(gè)值得注意的地方，它被驗(yàn)證可以適配多種 latent 來(lái)源，包括而不限于：FLUX.1、FLUX.2、SDXL、SD3、Z-Image、DINOv2、SigLIP-2……

這點(diǎn)很關(guān)鍵。

這證明了 PiD 是一個(gè)通用的范式：只要潛在表征能提供結(jié)構(gòu)和語(yǔ)義，PiD 就可以把它轉(zhuǎn)化為高分辨率圖像。

尤其是在 RAE 這類(lèi)表征自編碼器（representation autoencoder） 中，使用 DINOv2 / SigLIP-2 這些視覺(jué)編碼器的潛空間，他們表征往往更語(yǔ)義化，保留了高層結(jié)構(gòu)，但對(duì)底層紋理約束不充分。傳統(tǒng)解碼器很難補(bǔ)齊這些缺失的外觀細(xì)節(jié)，而 PiD 正好可以用生成式能力來(lái)補(bǔ)充這部分細(xì)節(jié)。

這意味著，未來(lái)潛空間的設(shè)計(jì)可以更大膽：潛在表征不必負(fù)責(zé)保存所有像素細(xì)節(jié)，只要保住結(jié)構(gòu)和語(yǔ)義，剩下的高頻細(xì)節(jié)可以交給 PiD 這類(lèi)生成式 decoder。

直接挑戰(zhàn)原生 2K 生成：比 FLUX.2 native 2K 快 14.3 倍

高分辨率圖像生成還有另一條路線：原生生成 2K 圖像。

問(wèn)題是，成本非常高。

論文將 FLUX.2 原生 2K、PixelDiT 原生 2K，以及 FLUX.2 先生成 512×512 latent 再接 PiD 解碼 2K 圖像的方案進(jìn)行了對(duì)比。

結(jié)果顯示，在單張 GB200 上、不使用 torch.compile 的設(shè)置下：

• PixelDiT 原生 2K：約 13.3 秒；
• FLUX.2 原生 2K：約 102.2 秒；
• FLUX.2 512×512 + PiD (解碼 2048)：約 7.1 秒。

也就是說(shuō)，F(xiàn)LUX.2 + PiD 的路線比 PixelDiT 快 1.87 倍，比 FLUX.2 native 2K 快 14.3 倍。

在畫(huà)面表現(xiàn)上，F(xiàn)LUX.2 + PiD 比 PixelDiT 有著更強(qiáng)指令跟隨能力和畫(huà)質(zhì)；和 FLUX.2 相比仍然保持有競(jìng)爭(zhēng)力的視覺(jué)質(zhì)量，在一些細(xì)節(jié)甚至更銳。

這給高分辨率生成提供了一個(gè)新的可靠的工程方案：

• 不一定要讓超大模型在 2K 像素級(jí)別硬跑到底；
• 可以讓潛空間擴(kuò)散模型負(fù)責(zé)低分辨率語(yǔ)義生成，再讓 PiD 完成高分辨率細(xì)節(jié)渲染。

這種解耦方式，對(duì)于在線圖像生成服務(wù)、批量?jī)?nèi)容生產(chǎn)、廣告創(chuàng)意、電商圖、游戲資產(chǎn)、影視概念圖等場(chǎng)景，都有直接價(jià)值。

4K 也能做：同一套范式自然擴(kuò)展

PiD 不只停留在 2K。

論文進(jìn)一步展示了 4K 解碼結(jié)果：給定低分辨率潛在表征，PiD 可以直接生成 4096×4096 圖像，并補(bǔ)充更多細(xì)節(jié)。

從實(shí)驗(yàn)設(shè)置看，4K 版本沿用了 2K 的訓(xùn)練范式：先訓(xùn)練 4K 分辨率下的像素?cái)U(kuò)散模型先驗(yàn)，再加入潛在表征適配器，最后通過(guò) DMD2 蒸餾成 4-step 的模型。不需要額外的設(shè)計(jì)和改動(dòng)，自然的 scale up 到了 4K 分辨率。

在顯存方面，論文報(bào)告顯示 PiD 的擴(kuò)展性也優(yōu)于傳統(tǒng) VAE decoder。標(biāo)準(zhǔn) FLUX.1 VAE decoder 在 4K 高分辨率下直接爆掉了 H100 的 80G 顯存，不得不采取 tiling 的工程 trick 來(lái)解碼圖像。而 PiD 的 4K decoding 下僅需約 22.5GB 峰值顯存。

這意味著，PiD 并不是一個(gè)只能在小圖上跑的概念驗(yàn)證，而是面向 2K、4K 生成服務(wù)的實(shí)際 decoder 組件。

背后的技術(shù)關(guān)鍵詞：4-step、DMD2、sigma-aware latent adapter

從工程角度看，PiD 能把速度壓到這么低，關(guān)鍵不只是換了一個(gè) decoder，而是整套訓(xùn)練和推理流程的設(shè)計(jì)。

首先，它把高分辨率像素?cái)U(kuò)散模型先驗(yàn)作為基礎(chǔ)，讓模型一開(kāi)始就擁有強(qiáng)像素生成能力。

其次，它通過(guò)輕量級(jí)適配器往主干注入潛在表征，sigma-aware gate 控制條件注入強(qiáng)度。推理時(shí)可以自然處理「還沒(méi)完全去噪」的中間潛在表征。

最后，PiD 通過(guò) DMD2 進(jìn)行蒸餾，把原本多步采樣的模型壓縮為 4 步。論文結(jié)果顯示，4 步的蒸餾版本不僅顯著加速，視覺(jué)指標(biāo)上還可以超過(guò)多步版本。

這也是 PiD 能在 210ms 級(jí)別完成 2K 解碼的重要原因。

高精渲染的下一步：decoder 成為核心模塊

PiD 的意義，不只是讓某個(gè)超分環(huán)節(jié)更快。

它實(shí)際上重新定義了圖像生成系統(tǒng)里的 decoder：decoder 不再是被動(dòng)的重建模塊，而是主動(dòng)的高分辨率生成模塊。

這會(huì)改變高分辨率圖像系統(tǒng)的設(shè)計(jì)方式。

過(guò)去，研究重點(diǎn)更多放在潛在擴(kuò)散模型的主干網(wǎng)絡(luò)：模型更大、訓(xùn)練數(shù)據(jù)更多。PiD 則提醒我們，最終解碼的這一步同樣是決定最終畫(huà)質(zhì)的關(guān)鍵戰(zhàn)場(chǎng)。

當(dāng)解碼器具備生成能力后，基礎(chǔ)模型不必承擔(dān)所有像素細(xì)節(jié)；高分辨率紋理、銳化、細(xì)節(jié)補(bǔ)全，可以交給更專(zhuān)門(mén)的 pixel diffusion decoder 完成。

對(duì)于未來(lái)的圖像生成、視頻生成、world model 和閉環(huán)仿真系統(tǒng)，這種模塊化思路都很有想象空間。

結(jié)語(yǔ)：GPT-Image2 式高精圖像，秘密可能在「最后一公里」

高精圖像生成看起來(lái)像魔法，但拆開(kāi)來(lái)看，它有一個(gè)非常工程化的問(wèn)題：潛在表征里有了結(jié)構(gòu)和語(yǔ)義之后，誰(shuí)來(lái)負(fù)責(zé)把它變成真正清晰、銳利、細(xì)節(jié)豐富的像素？

PiD 給出的答案是：讓 decoder 自己成為一個(gè)生成模型。

從 512×512 latent 直出 2048×2048 圖像，從 2K 210ms 解碼到 4K 擴(kuò)展，從 FLUX、SD3 到 DINOv2、SigLIP，PiD 展示了一種新的高分辨率生成范式。

未來(lái)，當(dāng)我們討論 GPT-Image2 這類(lèi)模型為什么能生成驚人細(xì)節(jié)時(shí)，答案也許不只在更強(qiáng)的 prompt 理解和更大的 diffusion backbone 中，還在這個(gè)長(zhǎng)期被低估的「最后一公里」：

如何把潛在表征變成高質(zhì)量像素。

而英偉達(dá)這篇 PiD，正是把這件事推到了臺(tái)前。

作者介紹

PiD 論文第一作者Yifan Lu 是多倫多大學(xué)的博士生，師從 Sanja Fidler 教授。同時(shí)也是 NVIDIA Spatial Intelligence Lab 的研究員，研究方向?yàn)?Generative model 和 3D Vision。