新智元報(bào)道

【新智元導(dǎo)讀】NUS等聯(lián)合發(fā)布音視頻智能綜述，系統(tǒng)梳理大模型時(shí)代AVI發(fā)展全貌，涵蓋感知、生成與交互三大主線，揭示從單模態(tài)到跨模態(tài)的演進(jìn)路徑，并為未來(lái)研究與應(yīng)用提供清晰方向。

最近，由新加坡國(guó)立大學(xué)（NUS）領(lǐng)銜，聯(lián)合牛津大學(xué)、多倫多大學(xué)、UTD、HKUST、QMUL、羅切斯特大學(xué)等近10家機(jī)構(gòu)共同發(fā)布了「第一份站在大基礎(chǔ)模型視角下」對(duì)音視頻智能（Audio-Visual Intelligence, AVI）做系統(tǒng)梳理的綜述。

論文地址：https://arxiv.org/abs/2605.04045

代碼鏈接：https://github.com/JavisVerse/Awesome-AVI

目主頁(yè)：https://javisverse.github.io/

整篇論文不僅復(fù)盤了過(guò)去近十年里散落在 ASR、數(shù)字人 / 說(shuō)話頭（talking head）、Foley（擬音）合成、視頻配音 / 音頻驅(qū)動(dòng)視頻生成、音視頻問(wèn)答（AVQA）、空間音頻、具身導(dǎo)航等十幾個(gè)子方向的工作，還把它們重新組織成理解世界（Understanding the World）/ 創(chuàng)造世界（Creating the World）/ 與世界交互（Interacting with the World）三條主線，更像是一份「音視頻版 GPT-4o / Sora」研發(fā)團(tuán)隊(duì)的全景速查圖。

編程范式之后

「聽(tīng)-看-說(shuō)-動(dòng)」一體化

論文從一條直觀的演化路徑切入：從L3-Net、Wav2Lip這類「對(duì)得上 / 唇形對(duì)齊」的早期 AV 工作，到 ImageBind、AudioLDM、MusicGen 的可擴(kuò)展表示，再到 MMAudio、FoleyCrafter、JavisDiT 的跨模態(tài)生成與聯(lián)合音視頻生成，最后落到 GPT-4o、Veo-3、Seedance 2.0、HappyHorse、Qwen-Omni、OpenVLA 這一類同時(shí)聽(tīng)、看、說(shuō)、生成或行動(dòng)的 omni / VLA 模型。

過(guò)去我們只讓模型「對(duì)得上音和畫」，現(xiàn)在的趨勢(shì)正在轉(zhuǎn)變——開(kāi)發(fā)者更習(xí)慣于讓一個(gè)backbone同時(shí)干完感知、生成與交互。

隨著上下文窗口越來(lái)越長(zhǎng)、工具調(diào)用與策略學(xué)習(xí)越來(lái)越成熟，這種范式正在悄悄改寫多模態(tài)系統(tǒng)的搭法。

當(dāng)一個(gè)模型能直接聽(tīng)清環(huán)境聲、看懂屏幕、說(shuō)出自然回應(yīng)、必要時(shí)還能動(dòng)手時(shí)，「音視頻智能」的起點(diǎn)就不再是「做單一任務(wù)」，而是組織感知-推理-響應(yīng)的閉環(huán)。

這類范式變化帶來(lái)的沖擊，比任何一次單點(diǎn)性能升級(jí)都更結(jié)構(gòu)性。

論文開(kāi)篇的演化樹(shù)，把這條變化路徑直接畫了出來(lái)。

統(tǒng)一任務(wù)體系

感知 / 生成 / 交互三條主線

論文首先搭建了AVI的整體任務(wù)藍(lán)圖。

它不僅比較了通用多模態(tài)大模型與音視頻專用模型的訓(xùn)練側(cè)重，也梳理了每一類任務(wù)背后的語(yǔ)料：LibriSpeech、AudioSet、VGGSound、AVQA、SoundSpaces、AVSpeech、HDTF……這些資源共同構(gòu)成了AVI模型的「音視世界知識(shí)」。

為了讓模型獲得跨模態(tài)理解能力，預(yù)訓(xùn)練中大量使用對(duì)比對(duì)齊、masked / denoising重建、token級(jí)跨模態(tài)預(yù)測(cè)等任務(wù)，讓模型能處理跨幀、跨模態(tài)的復(fù)雜依賴。

同時(shí)，從CLIP / AudioCLIP到AV-HuBERT、ImageBind，再到當(dāng)下主流的Decoder-only LLM + omni encoder與MoE架構(gòu)，模型結(jié)構(gòu)的演化也體現(xiàn)了對(duì)AV任務(wù)需求的不斷適配。

把這些內(nèi)容拼起來(lái)，你會(huì)發(fā)現(xiàn)：所謂「視視頻智能」，并不是單點(diǎn)突破，而是整個(gè)訓(xùn)練體系長(zhǎng)期協(xié)同演進(jìn)的結(jié)果。

數(shù)據(jù)集、基準(zhǔn)與評(píng)價(jià)指標(biāo)：從單段對(duì)齊到長(zhǎng)視頻工程級(jí)

AVI 的評(píng)測(cè)體系一直比較碎片化。論文系統(tǒng)整理了音視頻理解、生成、交互、具身智能等方向的代表性數(shù)據(jù)集、benchmark 與評(píng)價(jià)指標(biāo)，按粒度從片段級(jí)、單事件，到長(zhǎng)視頻級(jí)和智能體級(jí)任務(wù)串成完整序列。

LibriSpeech、AudioSet、VGGSound、AVE、MUSIC、AVQA 仍是基礎(chǔ)指標(biāo)，但它們只反映模型的「底層聽(tīng)看能力」。

在更真實(shí)的多模態(tài)語(yǔ)境中，長(zhǎng)視頻 AV 推理、跨場(chǎng)景的視頻配音 / 音頻驅(qū)動(dòng)視頻生成一致性、多說(shuō)話人對(duì)話理解、空間音頻推理、AV 具身任務(wù)才能真正體現(xiàn)模型是否「理解了世界」。

論文同時(shí)介紹了LLM-as-a-Judge、多智能體評(píng)測(cè)、執(zhí)行級(jí)校驗(yàn)、低延遲交互評(píng)測(cè)等方法，并指出FAD / FVD / CLIP / SyncNet這些代理指標(biāo)在音畫同步與音頻不可替代性維度上的局限，使評(píng)估更接近實(shí)際部署場(chǎng)景。

這一部分很清楚地呈現(xiàn)出一個(gè)結(jié)論：模型能不能做好音視頻任務(wù)，取決于它能否處理真實(shí)場(chǎng)景的復(fù)雜依賴，而不僅僅是幾個(gè)單段benchmark上的小提升。

基礎(chǔ)技術(shù)：讓模型「既會(huì)聽(tīng)看，也會(huì)生成和交互」

論文對(duì)AVI的基礎(chǔ)技術(shù)做了系統(tǒng)總結(jié)。

從音頻與視覺(jué)表示、tokenization、跨模態(tài)對(duì)齊與融合，到VAE / GAN / Diffusion / 自回歸（AR）/ Masked Autoregressive（MAR）五類生成范式，再到Encoder + LLM、LLM + Generator、統(tǒng)一感知生成模型（unified Encoder + LLM + Decoder）、Agentic系統(tǒng)與VLA模型，每一步都圍繞同一個(gè)目標(biāo)：讓模型理解世界，而不是僅「看起來(lái)會(huì)處理音視頻」。

其中一個(gè)關(guān)鍵點(diǎn)是LLM-centric的設(shè)計(jì)選擇。單純把音頻特征拼到視覺(jué)模型上遠(yuǎn)遠(yuǎn)不夠，模型必須理解模態(tài)之間的依賴、時(shí)間結(jié)構(gòu)和任務(wù)上下文，才能在真實(shí)場(chǎng)景中表現(xiàn)穩(wěn)定。

在生成能力方面，擴(kuò)散 / flow matching、masked autoregressive、以及diffusion + AR的混合架構(gòu)，也成為提升性能的新趨勢(shì)。

強(qiáng)化學(xué)習(xí)與偏好對(duì)齊部分則系統(tǒng)比較了RLHF、DPO、reward shaping在AV生成上的表現(xiàn)。論文特別提到verifier與reward生態(tài)——通過(guò)更靠近「音頻不可替代性 / 物理合理性 / 長(zhǎng)程一致性 / 音畫同步」的獎(jiǎng)勵(lì)信號(hào)，讓模型基于真實(shí)任務(wù)效用學(xué)習(xí)正確性。

這是近兩年音視頻大模型質(zhì)量躍遷最顯著的方向之一。

三條主線怎么落地：理解世界 → 創(chuàng)造世界 → 與世界交互

當(dāng)模型以「統(tǒng)一backbone」身份參與音視頻流程時(shí)，AVI 的潛力被進(jìn)一步放大。

論文從理解世界（音視頻感知、聲源定位、AVQA、跨模態(tài)檢索、推理）、創(chuàng)造世界（視頻配音、音頻驅(qū)動(dòng)視頻生成、聯(lián)合音視頻生成、音畫編輯）、與世界交互（音視頻對(duì)話、omni-modal交互、具身智能與機(jī)器人）三條線切入，為每一步構(gòu)建了對(duì)應(yīng)的方法地圖與代表模型。

在理解這條主線里，模型不再是「只看視頻」或「只聽(tīng)語(yǔ)音」，而是要在統(tǒng)一表示下做對(duì)齊、grounding與推理；AV-LLM的崛起讓long-form video understanding、AVQA等任務(wù)有了新的基線。

在生成這條主線里，論文指出當(dāng)前最大的瓶頸不是單模態(tài)畫質(zhì)或音質(zhì)，而是聯(lián)合音視頻生成中的音畫同步、跨身份一致性與長(zhǎng)時(shí)一致性。MovieGen、Veo-3、Seedance 2.0、JavisDiT，以及 HappyHorse 這類近期音視頻生成模型已經(jīng)能從文本或多模態(tài)條件生成帶原生音軌的視頻，但跨場(chǎng)景物理合理性、跨語(yǔ)義身份一致性，以及局部、可控的音畫編輯，仍然是開(kāi)放問(wèn)題。

在交互這條主線里，從級(jí)聯(lián)式ASR + LLM + TTS，到speech-native LLM（Qwen-Audio、SALMONN），再到GPT-4o / Qwen-Omni這類原生 omni-modal 實(shí)時(shí)音視頻對(duì)話——模型從「被動(dòng)執(zhí)行單輪指令」走向「主動(dòng)審視環(huán)境并實(shí)時(shí)響應(yīng)」，這是一個(gè)完整的范式躍遷。

代碼 / 工具 / 行動(dòng)在 AVI 中的新地位

論文也探討了AVI在更通用智能體生態(tài)中的新角色。

對(duì)很多智能體來(lái)說(shuō)，音視頻不只是輸入或輸出物，更是一種用于表達(dá)環(huán)境狀態(tài)、長(zhǎng)期記憶和行動(dòng)反饋的通用通道。

這意味著未來(lái)的智能體體系，可能會(huì)越來(lái)越依賴以AV為核心能力的模型。

擅長(zhǎng)音視頻的模型在規(guī)劃、工具使用、人機(jī)協(xié)作中具有天然優(yōu)勢(shì)，也更容易成為智能體系統(tǒng)的底層能力模塊。

具身這條子線尤其值得關(guān)注：以SoundSpaces 一脈為起點(diǎn)的AV導(dǎo)航，疊加 OpenVLA / π0 / GR00T這類把語(yǔ)言、視覺(jué)、動(dòng)作甚至環(huán)境聲音統(tǒng)一到一個(gè)策略里的方向，正在讓「聲音」重新成為機(jī)器人感知世界不可缺的一環(huán)。

安全治理：能力越強(qiáng)，風(fēng)險(xiǎn)越復(fù)雜

論文把音視頻大模型的安全風(fēng)險(xiǎn)拆成數(shù)據(jù)、模型與執(zhí)行三個(gè)層面：包括訓(xùn)練數(shù)據(jù)的版權(quán)、隱私與數(shù)據(jù)合規(guī)問(wèn)題、生成內(nèi)容的深偽與冒名、提示攻擊、多模態(tài)越獄、以及部署側(cè)實(shí)時(shí)音視頻流的濫用風(fēng)險(xiǎn)。

對(duì)應(yīng)的治理手段包括數(shù)據(jù)審計(jì)、安全微調(diào)、偏好對(duì)齊、紅隊(duì)測(cè)試、深偽檢測(cè)、水印與可溯源、運(yùn)行時(shí)沙箱等機(jī)制。

隨著AV模型越來(lái)越多地集成進(jìn)社交、教育、醫(yī)療、機(jī)器人場(chǎng)景，這些安全治理能力正成為基礎(chǔ)設(shè)施的一部分。

應(yīng)用正在加速落地：AIGC、數(shù)字人、XR、機(jī)器人

論文最后回到應(yīng)用層面：從短視頻AIGC、配音與Foley（擬音）合成，到數(shù)字人、對(duì)話助手、AI教學(xué)、無(wú)障礙輔助、空間音頻與Metaverse、再到具身機(jī)器人與智慧城市，AVI已經(jīng)開(kāi)始進(jìn)入大量真實(shí)場(chǎng)景的關(guān)鍵環(huán)節(jié)。

隨著omni模型與VLA框架不斷成熟，音視頻智能也正從「輔助工具」逐漸成為大模型基礎(chǔ)設(shè)施的一部分。

未來(lái)一段時(shí)間，音視頻大模型很可能繼續(xù)朝意圖驅(qū)動(dòng)、閉環(huán)交互、原生音畫同步生成的方向演化，而它在通用智能體里的角色也會(huì)越來(lái)越重要。

未來(lái)六大研究軸

論文用一張路線圖把這件事講明白：前三階段已經(jīng)把「對(duì)得上 / 感知 / 生成」的家底攢齊，當(dāng)下站在交互式omni-modal與具身模型這條前沿線上，再往后兩站，是因果—上下文AVI和可驗(yàn)證的agentic AVI。

圍繞這張路線圖，論文進(jìn)一步把AVI接下來(lái)的研究路線總結(jié)成六條主軸，覆蓋音畫同步、因果事件grounding、空間音頻推理、長(zhǎng)程上下文記憶、可控生成、安全治理、水印與數(shù)據(jù)合規(guī)等關(guān)鍵問(wèn)題：

• 因果事件-聲源grounding：建模延遲、遮擋、畫外音、多源混合下的源級(jí)、事件級(jí)與因果對(duì)齊，把音畫同步推向因果可解釋層面；

• AV世界模型：把音視頻當(dāng)作幾何、材質(zhì)、動(dòng)力學(xué)、可供性的互補(bǔ)證據(jù)，并以空間音頻推理作為關(guān)鍵能力；

• 長(zhǎng)程AV上下文記憶：構(gòu)建流式 / 情景 / 語(yǔ)義多層、可選擇、可溯源的 AV 記憶，而不是簡(jiǎn)單加長(zhǎng)上下文；

• 因果AV干預(yù)與可控生成：讓生成與編輯支持對(duì)物體、聲音、身份、情緒、空間、時(shí)間的局部、因果且同步的干預(yù)；

• Verifier與Reward生態(tài)：超越 FAD / FVD / CLIP / SyncNet 這類代理指標(biāo)，發(fā)展面向 grounding、物理合理性、音頻不可替代性與任務(wù)效用的驗(yàn)證器；

• 交互式與負(fù)責(zé)任AVI：在低延遲、隱私、版權(quán)、水印與數(shù)據(jù)合規(guī)等安全治理約束下，把AV模型變成可信賴的實(shí)時(shí)合作者。

這六條主軸和今天工業(yè)界正在做的「音視頻版GPT-4o / 音視頻版 Sora / 音視頻版Voyager」高度對(duì)應(yīng)，也是論文對(duì)未來(lái)1–3年研究方向最具體的判斷。

這篇綜述長(zhǎng)文將AVI的關(guān)鍵模塊按邏輯串聯(lián)起來(lái)：從演化時(shí)間線、任務(wù)體系、技術(shù)地基、三條主線、應(yīng)用版圖、到未來(lái)六軸，勾勒出一張完整、系統(tǒng)、可實(shí)踐的音視頻大模型地圖。

無(wú)論你關(guān)注omni模型訓(xùn)練、AV生成 / 編輯工具、AV智能體，還是想理解未來(lái)音視頻AI的演化方向，這篇文獻(xiàn)都值得完整讀一次！

編輯：LRST