編輯丨&

在 AI 開發(fā)領(lǐng)域，多模態(tài)學(xué)習(xí)——讓模型同時(shí)理解圖像、視頻和文本——已經(jīng)是當(dāng)代研究的核心方向之一。長(zhǎng)期以來，該領(lǐng)域的主要技術(shù)路線還是較為依賴擴(kuò)散模型或者組合架構(gòu)。雖然這些方法在特定任務(wù)上表現(xiàn)卓越，但它們也帶來結(jié)構(gòu)復(fù)雜、推理成本高、跨模態(tài)統(tǒng)一性不足的深層次問題。

關(guān)于這個(gè)問題，2026 年 1 月 28 日，由智源帶來的多模態(tài)大模型成果以「Multimodal learning with next-token prediction for large multimodal models」為題刊登于《Nature》。

智源這項(xiàng)成果表明，只采用自回歸路線，就可以統(tǒng)一多模態(tài)學(xué)習(xí)，訓(xùn)練出優(yōu)秀的原生多模態(tài)大模型，對(duì)于確立自回歸成為生成式人工智能統(tǒng)一路線具有重大意義。

論文鏈接：https://www.nature.com/articles/s41586-025-10041-x

Emu3 模型

Emu3 模型是在該研究中，研究團(tuán)隊(duì)所提出的一套全新的多模態(tài)模型，為解答「單一的預(yù)測(cè)下一個(gè)詞元框架是否能夠作為通用的多模態(tài)學(xué)習(xí)范式」而誕生。Emu3 的核心邏輯并不追求「更復(fù)雜的架構(gòu)」，而是回歸到最基本的序列建模目標(biāo)：預(yù)測(cè)序列中的下一個(gè)標(biāo)記，而不是分別設(shè)計(jì)不同模態(tài)的子系統(tǒng)。

圖 1：Emu3 框架。

不同于傳統(tǒng)的自回歸建模方法，Emu3 認(rèn)為：如果僅憑下一個(gè)詞元預(yù)測(cè)就能在所有模態(tài)上完成生成與理解任務(wù)，那就無需這些繁雜的模塊設(shè)計(jì)。它將圖像、文本和視頻統(tǒng)一離散化到同一個(gè)表示空間中，并從零開始，在多模態(tài)序列混合數(shù)據(jù)上聯(lián)合訓(xùn)練一個(gè)單一的 Transformer。

這樣的設(shè)計(jì)將本來需要多個(gè)子網(wǎng)絡(luò)甚至多個(gè)訓(xùn)練目標(biāo)的問題，整合成一個(gè)極簡(jiǎn)而統(tǒng)一的下一個(gè)詞元的預(yù)測(cè)任務(wù)。換言之，Emu3 并沒有為每種模態(tài)設(shè)計(jì)獨(dú)立的損失或生成機(jī)制，而是把所有模態(tài)看成一個(gè)整體序列，并讓模型以統(tǒng)一的概率分布來進(jìn)行預(yù)測(cè)。

圖 2：以 token為中心的多模態(tài)基礎(chǔ)設(shè)施及與擴(kuò)散模型和編碼器+LLM 組合范式的架構(gòu)比較。

團(tuán)隊(duì)還進(jìn)一步提出了以 token 為中心的多模態(tài)基礎(chǔ)設(shè)施愿景。在該框架下，數(shù)據(jù) token 化直接在邊緣設(shè)備上進(jìn)行，只有所得的離散 token ID 會(huì)傳輸?shù)酱笠?guī)模服務(wù)器，進(jìn)行統(tǒng)一的多模態(tài)訓(xùn)練和推斷。

評(píng)估與啟示

據(jù)各項(xiàng)實(shí)現(xiàn)的結(jié)果數(shù)據(jù)顯示，Emu3 在生成與感知任務(wù)上的整體表現(xiàn)可與多種成熟的任務(wù)專用模型相媲美。一方面，在圖像生成任務(wù)中，與依賴擴(kuò)散機(jī)制的模型相比，Emu3 能夠生成高質(zhì)量圖像，且樣式和語(yǔ)義一致性接近那些專用視覺生成架構(gòu)。

另一方面，在視覺理解與視覺問答等任務(wù)上，它也能與組合模型（例如視覺編碼 + LLM 的設(shè)計(jì)）達(dá)到相當(dāng)?shù)谋憩F(xiàn)水平。這說明這種預(yù)測(cè)模式不僅能統(tǒng)一不同模態(tài)的生成任務(wù)，還能在理解側(cè)保持強(qiáng)泛化能力。

表 1：多模態(tài)任務(wù)的評(píng)估。

區(qū)別于 Sora 的擴(kuò)散式視頻生成，Emu3采用純自回歸方式逐詞元生成視頻，能夠在給定上下文下進(jìn)行視頻延展與未來預(yù)測(cè)，并在文本引導(dǎo)下生成高保真視頻。此外，Emu3 還可拓展至視覺語(yǔ)言交錯(cuò)生成，例如圖文并茂的菜譜生成；也可拓展至視覺語(yǔ)言動(dòng)作建模，如機(jī)器人操作VLA等，進(jìn)一步體現(xiàn)了「預(yù)測(cè)下一個(gè)詞元」的通用性。

該框架的成功核心在于，Transformer 解碼器具備極強(qiáng)的序列模式捕獲能力，與統(tǒng)一 token 表示、下一個(gè)詞元目標(biāo)讓模型在跨模態(tài)訓(xùn)練中共享底層表征，增強(qiáng)不同模態(tài)之間的協(xié)同效應(yīng)。

持續(xù)引領(lǐng)大模型技術(shù)演進(jìn)

Emu3 證明了其實(shí)僅靠下一個(gè)詞元預(yù)測(cè)就能大規(guī)模統(tǒng)一多模態(tài)學(xué)習(xí)，其在感知與生成方面均達(dá)到了成熟的任務(wù)特定模型的性能，匹配旗艦系統(tǒng)，同時(shí)消除了擴(kuò)散或合成架構(gòu)的需求。

Emu 系列模型自 2022 年啟動(dòng)研發(fā)以來，圍繞「原生多模態(tài)」這一核心技術(shù)主線持續(xù)迭代。盡管如論文中所言，當(dāng)下模型還存在著譯碼策略效率不足、壓縮比與重建保真度權(quán)重平衡等問題，但其表現(xiàn)出的統(tǒng)合能力與發(fā)展?jié)撡|(zhì)，無疑可以認(rèn)為它在可擴(kuò)展和統(tǒng)一多模態(tài)智能中邁出了關(guān)鍵一步。