字節跳動發布GRN：像畫家一樣"邊畫邊改"的AI圖像生成新范式

這項由字節跳動研究團隊完成的研究以預印本形式發布于2026年4月，論文編號為arXiv:2604.13030，有興趣深入了解的讀者可通過該編號在arXiv平臺查詢完整論文。

每當我們談到AI生成圖片或視頻，大多數人腦海中浮現的場景是：機器從一團噪點出發，一步步"去噪"，最終呈現出一幅清晰的畫面。這就是目前最流行的擴散模型的工作方式，就像把一張被雨水打濕模糊的照片，一遍遍擦干，直到圖像清晰。這套方法確實強大，但有一個根本性的問題——不管你畫的是一只簡單的貓，還是一幅復雜的城市夜景，機器都要花同樣多的時間和計算力去"擦照片"，完全不分輕重緩急。

另一條技術路線叫做自回歸模型，它的靈感來自大語言模型（比如ChatGPT）。這類模型會像寫文章一樣，一個字一個字地預測圖像的每個小塊，聽起來很聰明，但它有一個致命弱點：一旦某個塊寫錯了，后面的內容全部在錯誤的基礎上繼續疊加，就像在一張已經畫歪的草稿上繼續描繪，越畫越錯，卻沒有辦法回頭修改。

字節跳動的研究團隊注意到了這兩條路線各自的短板，并提出了一套全新的框架——生成式精化網絡（Generative Refinement Networks，簡稱GRN）。這套方法的核心理念來自一個樸素的觀察：人類畫家是怎么畫畫的？他們不會一筆定終稿，而是先勾勒輪廓，再逐步細化，隨時可以擦掉不滿意的地方重畫。GRN就是在模仿這種"邊畫邊改、全局打磨"的創作方式，同時還能根據畫面內容的復雜程度，自動決定要花多少時間和精力來完成這幅作品。

在ImageNet這個圖像生成領域最權威的測試臺上，GRN創下了圖像重建分數0.56（rFID）和圖像生成質量1.81（gFID）的雙項新紀錄，超越了包括擴散模型和其他自回歸模型在內的眾多方法。研究團隊還將這套框架擴展到了文本生成圖像（最高支持1024×1024分辨率）和文本生成視頻（支持480p、2到10秒的動態視頻），在同等參數規模下均取得了領先表現。

一、AI畫畫的兩條老路，各有各的煩惱

要理解GRN為什么重要，先得明白現有方法卡在哪里。

擴散模型的工作原理，本質上像是反向播放一段"把畫攪亂"的視頻。訓練時，系統學習如何把一張清晰的圖片逐漸加入噪聲直到變成一團雜亂；生成時，系統從這團雜亂出發，反向走完這段路，還原出一張新圖像。整個過程需要走固定的步數，比如50步或者100步，不多也不少。無論你要生成的是一張純色背景上的蘋果，還是一個充滿人物、建筑、光影的復雜場景，計算機都得走完這固定的步數，沒有任何節省的余地。更關鍵的是，擴散模型的訓練目標是最小化圖像像素上的誤差，它并不像語言模型那樣能給每個預測結果賦予一個"我有多少把握"的概率值，因此它天然不知道什么時候該"少走幾步"、什么時候該"多花力氣"。

自回歸模型則借鑒了ChatGPT"預測下一個詞"的思路，把圖像切成一個個小塊，依次預測每一塊應該長什么樣子。這種方法有一個天然的優點：每一步預測都帶有概率，模型"知道"自己對某個塊有多少把握，這為自適應計算提供了可能。然而，這條路有一道幾乎無法繞過的坎——圖像需要先被壓縮成離散的"圖塊編碼"（就像把連續的色彩畫面轉成一組有限的數字代碼），這個壓縮過程本身就會損失細節；更麻煩的是，預測是嚴格按順序進行的，前面的塊一旦確定就無法更改，哪怕后來發現它畫錯了，也只能將錯就錯地在錯誤基礎上繼續。

一些改進方案嘗試用"先遮住再猜"的方式（類似完形填空）來并行預測多個塊，比如MaskGIT這樣的模型。但這類方法依然有一個核心局限：高置信度的塊一旦確定下來，就再也不能被修改。整個過程中從來沒有一個"通盤審視、全面修正"的機會，錯誤只能一路積累，無從糾偏。

二、把圖像壓縮做到"幾乎無損"——層級二進制量化的原理

在正式介紹GRN的生成機制之前，有必要先理解團隊為圖像"編碼"方式所做的革新，因為這是整個框架能夠高質量運作的基礎。

通常，AI生成模型在處理圖像之前，會先用一個稱為"變分自編碼器"（VAE）的工具，把高分辨率圖像壓縮成一個緊湊的數學表示（稱為"潛在空間"）。這個壓縮后的表示可以是連續的數值（就像一個精確的小數，比如3.14159...），也可以是離散的整數代碼（就像把顏色四舍五入為一個有限顏色板上的編號）。連續表示精度高但不適合直接做"語言模型式"的逐步預測；離散代碼適合預測，但壓縮時會損失細節。

字節跳動的團隊引入了一種叫做"層級二進制量化"（Hierarchical Binary Quantization，簡稱HBQ）的方法，巧妙地在兩者之間找到了一條新路。

可以用一個猜數字游戲來理解HBQ的原理。假設你心里想著一個0到1之間的小數，比如0.73。規則是每次你只能告訴我"大還是小"，然后我來縮小猜測范圍。第一次，我猜0.5，你說"大"，所以我知道答案在0.5到1之間；第二次，我猜0.75，你說"小"，所以答案在0.5到0.75之間；第三次，我猜0.625，你說"大"，范圍縮小到0.625到0.75……每次猜測，我需要記錄的只有你的回答："大"（用1表示）或"小"（用0表示）。經過足夠多輪的"大/小"問答，我就能把這個小數猜得無比精確，誤差以指數速度縮小。

HBQ就是把這個游戲應用在圖像編碼的每一個數值上。VAE輸出的每個連續數值，經過多輪"大/小"的二進制判斷，被轉換成一串01序列。輪數越多，編碼越精確：4輪之后，誤差上界不超過原始范圍的6.25%；8輪之后，誤差已經可以忽略不計，與不做量化的連續表示幾乎一致。研究團隊用一幅艾菲爾鐵塔蛋糕的圖像直觀展示了這一點：僅用1輪量化時圖像模糊粗糙，但隨著輪數增加，圖像越來越接近原圖，到第4輪時已經非常清晰，而這整個過程中，編碼所需的"通道數"（可以理解為存儲每個位置信息需要的數字個數）完全沒有增加。

這一點很關鍵，因為其他一些試圖縮小離散編碼與連續編碼質量差距的方法（比如Infinity、BitDance），通常是靠大幅擴展編碼維度來實現的，這就像為了記錄更精確的顏色，把調色板從256色擴展到百萬色。維度擴展固然有效，但會直接導致生成模型需要處理更長的序列，訓練更慢，模型更大。HBQ則通過更聰明的量化策略，在不擴展通道數的前提下實現了精度的大幅提升。

在實際測試中，僅使用4輪HBQ的圖像專用編碼器，在ImageNet 256×256的圖像重建測試中取得了0.56的rFID分數，顯著優于業界廣泛使用的SD-VAE（0.87）、LlamaGen所用的離散編碼器（2.19）以及Open-MAGVIT2（1.17），甚至超過了RAE這一專門為高質量重建設計的連續編碼器（0.62）。對于視頻編碼，使用8輪HBQ的版本可以達到與同類最優連續編碼器（Wan 2.1）幾乎相同的重建質量，但壓縮率是后者的4倍以上。

三、像畫家一樣"邊畫邊改"——GRN的核心生成機制

有了高質量的離散編碼工具，GRN的生成框架才能在堅實的基礎上運作。

GRN的生成過程，從一張完全隨機的"亂碼圖"開始。把這張亂碼圖想象成一張空白畫布上隨機撒了一把五彩碎片，什么都看不出來。GRN的任務就是把這堆碎片逐步整理成一幅完整的畫。

每一步，GRN會做三件事：第一，觀察當前畫布的狀態（哪些位置已經有了相對可靠的預測結果，哪些還是亂碼）；第二，基于當前狀態，對所有位置同時做出一次完整的預測，給出它認為整張畫應該長什么樣子；第三，隨機挑選一部分新預測的結果"落筆"到畫布上（替換掉原來那里的內容，無論那里之前是亂碼還是上一步的預測），同時把剩余位置重新設為隨機亂碼，等待下一輪。

這個過程有三種操作被自然地統一在一起：對空白處"落筆填充"，對已有內容"精化改進"，以及對不合適的內容"擦除重來"。隨著迭代步數增加，畫布上可靠預測覆蓋的比例從0%逐步上升到100%，亂碼區域越來越少，最終整張畫收斂到一個完整清晰的狀態。

這與傳統自回歸模型最根本的區別在于：在GRN的框架里，沒有任何一個位置的預測是"永久鎖定"的。每一步，模型都在重新審視整張畫，如果之前某個位置的預測在積累了更多上下文信息之后顯得不合適，它完全可以在下一步被"擦掉重畫"。這就像一位畫家不會在草圖階段就用永久記號筆落筆，而是一直用鉛筆，隨時準備修改，直到整體效果令人滿意才最終定稿。

在訓練階段，GRN會接受一種特殊的"殘缺輸入"：把真實圖像的一部分位置替換成隨機亂碼，然后要求模型預測出完整的真實圖像。替換比例在每次訓練中隨機變化，從幾乎全部都是亂碼，到幾乎全部都是真實值，覆蓋各種場景。通過這種訓練方式，模型學會了在"部分信息可靠、部分信息是噪聲"的混合狀態下，準確辨別哪些輸入值得信賴、哪些需要忽略，并在此基礎上給出高質量預測。

研究團隊還驗證了一個關鍵發現：在生成時，隨機選擇哪些預測結果被保留，比基于置信度選擇更有效。如果總是優先保留"模型最有把握"的那些預測，會導致輸入的分布與訓練時學到的分布不匹配，生成質量反而大幅下降（FID從3.63跌至10.64）。這是因為模型訓練時接觸的輸入是隨機分布的，而高置信度選擇會造成輸入在空間上"扎堆"，破壞了模型賴以正常運作的基本假設。

四、聰明地分配計算力——根據復雜度自動調整步數

GRN解決的第二個大問題，是如何根據生成內容的難度自動分配計算資源。

在生成過程中，GRN的每一步都會給出一個概率分布，表明它對每個位置的預測有多大把握。把這些把握程度匯總起來，就得到一個叫做"熵"（entropy）的指標——熵越低，說明模型越自信、內容越簡單；熵越高，說明模型越迷茫、內容越復雜。

GRN利用這個熵值來動態決定還需要走多少步。對于一張只有藍天白云的簡單圖像，模型很快就會表現出高度自信（低熵），GRN因此可以在較少的步數內完成生成，節省大量計算；對于一張充滿細節的復雜城市夜景，模型的熵值會持續較高，GRN就會自動安排更多步數來細細打磨。

實驗中，研究團隊將最大步數設為50、最小步數設為20，對6.3萬張圖像進行了生成。結果顯示，超過62.7%的圖像在不到50步時就達到了令人滿意的質量，大約200張圖像甚至只用了最少的20步。與固定50步生成所有圖像相比，這種自適應方案僅帶來了極小的質量損失（FID從3.6微增至3.8），卻顯著減少了簡單圖像的計算開銷。

這種策略在文本生成圖像任務中同樣適用，研究團隊將最小步數設為10。他們展示了同一批提示詞在10步、30步和50步下生成的對比結果，可以清晰看到：對于內容簡單的提示，10步的結果已經相當不錯；對于需要精確細節的復雜場景，50步的額外打磨才能完全體現出優勢。

五、兩種預測方式：預測"編號"還是預測"二進制位"

GRN支持兩種不同的預測目標，這兩種方式代表了不同的技術權衡。

第一種叫GRNind：把每個位置的HBQ編碼結果合并成一個整數編號（比如4輪量化后每個通道有16種可能，就預測0到15之間的哪個數字），有點像在一個有16色的色板上選顏色。第二種叫GRNbit：直接逐位預測每個二進制值（每次只在0和1之間選一個），顆粒度更細，但每個位獨立預測，不同位之間沒有顯式的聯動關系。

在比較簡單的圖像分類條件生成（C2I）任務上，兩種方式的表現幾乎相當，小規模模型（GRN-B，1.3億參數）下預測編號略好，大規模模型（GRN-L，4.58億參數）下預測二進制位略勝。但在更復雜的文本生成視頻任務上，預測二進制位的方式明顯產生了更少的視覺瑕疵。研究團隊分析認為，這是因為預測編號時，相近的編號（如7和8）在數值上很接近，但它們代表的視覺內容可能完全不同，容易出現"編號混淆"導致畫面失真；而預測二進制位時，每一位的含義更清晰，監督信號也更直接。至于"獨立預測每一位會不會忽視位與位之間的關聯"這個傳統顧慮，GRN的全局精化機制在多輪迭代中自然地處理了這種依賴關系，因此實際上并沒有造成明顯的質量損失。

此外，研究團隊還比較了"預測絕對值"與"預測差值"兩種策略。前者直接預測目標編碼是什么，后者預測當前編碼需要做哪些改動（翻轉哪些二進制位）。實驗結果清晰地表明，預測絕對值的方式在生成結構穩定性方面明顯更好，預測差值的方式生成的圖像有時會出現結構性錯亂。

六、實驗結果：新紀錄是怎么煉成的

在圖像生成的標準測試場景——ImageNet 256×256的類別條件圖像生成任務上，GRN以四種規模（1.3億、4.58億、9.52億和20億參數）參與了與當前最先進方法的全面對比。

規模最小的GRN-B（1.3億參數）以3.56的FID分數超越了參數量接近兩倍的MaskGIT（2.27億參數，FID 6.18），效率優勢非常突出。規模最大的GRN-G（20億參數）取得了1.81的FID，超越了同等規模的擴散模型DiT-XL/2（2.27）、流匹配模型SiT-XL/2（2.06），以及同樣是20億參數的VAR-d30（1.92），也超越了更大規模的自回歸模型LlamaGen-XXL（14億參數，FID 2.34）。

研究團隊還做了一個頗具說服力的對照實驗，直接比較GRN的"全局精化"機制與MaskGIT風格的"掩碼填充"機制。兩者使用完全相同的模型權重和解碼參數，唯一區別是生成時已確定的塊是否可以被修改。結果令人印象深刻：掩碼填充方式的FID直接崩到185.62，生成的圖像幾乎是無意義的噪聲；即使專門為掩碼填充方式調整解碼參數（提高CFG強度、降低溫度），最好也只能達到18.13的FID，與GRN精化機制的3.63相比差距懸殊。這個實驗直接證明，允許"事后修改"的全局精化機制，才是這套框架能夠正常工作的根本所在。

在文本生成圖像任務上，GRN使用20億參數、基于約8000萬圖像數據訓練，在GenEval基準測試上取得了0.76的綜合分數。這一成績在同等參數規模的方法中處于領先位置，顯著超越了同為20億參數的SD3 Medium（0.62）和Infinity（0.71）。與更大規模方法（如HiDream的170億參數、Qwen-Image的200億參數）相比，GRN以更小的體量取得了有競爭力的表現，差距主要來自規模而非方法本身的局限。

在文本生成視頻任務上，GRN使用20億參數，在VBench綜合評分上取得了82.99分，超越了5倍參數規模的CogVideoX-5B（81.61）、同為離散方法的URSA（82.40），以及自回歸模型Nova、Emu3和Lumos-1。與擁有80億參數的InfinityStar（83.74）相比略低，研究團隊認為這一差距完全可以通過擴展模型規模來彌合。

七、這套框架的局限與未來

研究團隊坦誠地指出了GRN目前存在的一些不足。由于計算資源的限制，GRN尚未被訓練到與當前最頂尖視覺生成模型（如Sora、Wan 2.1等）同等的規模，因此整體質量上限尚未得到充分驗證。在視頻生成方面，GRN在包含人物的場景中表現較好，但在生成具有豐富視覺細節的自然場景或非人物主導的內容時，有時會出現細節不夠豐富或局部失真的問題，研究團隊認為這主要與訓練數據的分布不均衡有關，通過調整數據配比和擴大模型規模可以改善。

在未來的研究方向上，研究團隊特別提到了一個很有潛力的想法：將"步數蒸餾"技術引入GRN。這類技術的作用類似于培訓一位效率極高的學徒——原本需要50步才能完成的精化過程，通過蒸餾可以壓縮成更少的步數，同時不損失太多質量。由于GRN的自適應步數機制天然兼容這種蒸餾方式，兩者結合有望進一步降低生成成本。

研究團隊還指出，GRN作為一個完全基于離散文本式 token 的自回歸框架，與現有大語言模型的整合非常自然。如果把文字 token 和圖像/視頻 token 放在同一個模型里統一訓練，有望在一個模型內同時實現多模態理解和生成能力，這是目前業界非常關注的一個研究方向。從這個角度來看，GRN可能成為目前主流的Transfusion架構（把語言模型和擴散模型混合在一起的方法）的有力競爭者。

說到底，GRN做的事情用一句話可以概括：它教會了AI按照人類畫家的直覺來工作——不是機械地從噪點走到清晰，也不是一筆一畫地按順序落筆，而是像真正有經驗的創作者那樣，在整體與局部之間反復打磨，隨時糾錯，直到整幅作品達到令人滿意的狀態。這種思路能否在更大的模型和更多樣的任務上持續奏效，將會是未來研究中值得關注的核心問題。有興趣深入研究細節的讀者，可通過arXiv編號2604.13030找到完整論文，包括所有算法偽代碼和更多消融實驗結果。

Q&A

Q1：GRN的"全局精化機制"和MaskGIT這類掩碼生成模型有什么本質區別？

A：MaskGIT在每一輪生成中，高置信度的token一旦被確定就永久固定，后續步驟只填充剩余空白位置，無法修改已有預測。GRN則完全不同，每一步都會對所有位置重新預測，隨機選擇哪些位置更新，已有內容隨時可能被擦掉重畫。正是這種"沒有任何位置永久鎖定"的機制，讓模型能在積累更多上下文后糾正早期錯誤。實驗顯示，相同模型權重下，掩碼生成方式的FID高達185.62，而GRN精化機制僅為3.63。

Q2：層級二進制量化（HBQ）相比傳統離散編碼方法有什么優勢？

A：傳統離散編碼（如VQ-VAE、FSQ等）把連續特征直接對應到一個有限的碼本條目，壓縮時會丟失大量細節。HBQ用多輪"大/小"二分判斷來逼近連續值，每增加一輪，誤差上界就縮小一半，誤差隨輪數呈指數級下降。關鍵在于，這種精度提升完全不需要增加特征通道數，避免了其他高精度離散編碼器通常帶來的模型變大、訓練變慢的副作用。4輪HBQ在圖像重建上就達到了0.56的rFID，8輪則可與不做量化的連續編碼器性能持平。

Q3：GRN的自適應步數機制是怎么判斷一張圖需要多少步生成的？

A：GRN在每一步生成時，會計算當前預測結果的"熵值"——這個值反映模型對整張圖每個位置的把握程度。熵低說明模型非常自信，內容相對簡單，可以快速收斂；熵高說明內容復雜或存在較大不確定性，需要更多步驟來打磨。系統根據熵值動態調整后續步數，在設定的最小步數（如20步）和最大步數（如50步）之間靈活分配。實驗顯示，超過62.7%的圖像不需要走完50步，有效減少了簡單內容的計算浪費。