這項由上海交通大學、上海創新研究院與京東共同完成的研究，以預印本形式于2026年6月1日發布在arXiv平臺，編號為arXiv:2606.02569，感興趣的讀者可通過該編號查閱完整論文。

把自己當成一個快遞分揀員。每天有成千上萬個包裹從傳送帶上經過，你的任務是記住每個包裹的內容，以便回答各種問題——這個包裹里有沒有易碎品？那個包裹是否包含食物？然而，你卻被要求對傳送帶上的每一個包裹都拍一張完整的清單照片，哪怕前一個包裹和這一個幾乎一模一樣，只是換了個標簽。這不僅浪費膠卷，還會把倉庫塞得滿滿當當，真正重要的信息反而被淹沒在一堆重復照片里。

當下的AI視頻理解系統，做的正是這件"傻事"。現有的視頻理解大模型在分析視頻時，會把視頻切成一幀一幀的圖片，然后對每一幀都進行完整的圖像分析，生成數百個"視覺標記"（可以理解為描述這一幀畫面的一份詳細檔案）。相鄰兩幀畫面之間，背景、物體、光線幾乎沒有變化，AI卻還是老老實實地把相同內容重新描述了一遍。隨著視頻變長，這些重復檔案越積越多，不僅占滿了AI的"工作記憶"，還讓響應速度越來越慢。

研究團隊的核心思路來自一個古老的郵遞員智慧：你不需要把整張地圖都背下來，只需要記住從上一個路口到這個路口"拐了什么彎、走了多遠"，就能重建出完整的路徑。視頻里相鄰幀之間的關系，正是如此——大部分時候只有局部在動，只需記錄"動了什么、怎么動的、動完之后和預期有多大差距"，就足以讓AI理解這段時間里發生了什么。

這個思路的正式名稱是"預測編碼"，其靈感同時來自人類大腦的視覺處理機制和工程領域的視頻壓縮技術（比如大家熟悉的MP4格式背后的H.264標準）。研究團隊將其工程化為一套專門為AI大模型設計的視覺接口，并將整個系統命名為**AdaCodec**。

一、問題的根源：AI看視頻為何如此"奢侈"

要真正理解AdaCodec的價值，需要先搞清楚現有系統浪費在哪里。

現代視頻理解AI（學術界稱之為"視頻多模態大語言模型"）的工作流程，大致是這樣的：先從視頻里均勻抽取若干幀畫面，比如每秒抽2幀；接著用一個圖像編碼器（可以理解為"畫面翻譯官"，學術上稱為ViT，即視覺Transformer）把每幀畫面翻譯成幾百個數字標記；最后把所有這些標記按時間順序排列，交給語言模型去理解和回答問題。

這套流程的問題在于，每一幀畫面都被當成一張全新的獨立照片來處理。以一段10分鐘的普通室內對話視頻為例，按每秒2幀計算共有1200幀，每幀生成256個視覺標記，合計30萬個標記。然而其中大量幀的內容幾乎與前一幀毫無二致——背景沒動，人物位置基本沒變，只有嘴唇在微微開合。AI卻對這些重復內容一視同仁，每幀都生成256個完整描述。

這就產生了研究團隊所說的"覆蓋范圍與細節的兩難困境"：如果稀疏采樣（少抽幾幀），就會錯過短暫發生的事件和細微變化；如果密集采樣（多抽幾幀），標記數量就會爆炸式增長，把AI的有限"工作記憶"（上下文窗口）填滿，同時還會大幅拉長響應時間。對于動輒數十分鐘乃至數小時的長視頻，這個矛盾尤為突出。

二、靈感來源：人類大腦與視頻壓縮的共同秘密

研究團隊的破局之道，其實早已被兩個完全不同的領域各自發現過。

神經科學家認為，人類視覺系統并不是簡單地把眼睛看到的畫面"錄像"下來。大腦會持續對外界進行預測，真正引起注意的是"預測失敗的部分"——也就是實際看到的東西與大腦預期之間的差異。當你坐在咖啡館里工作，背景的嘈雜聲、穩定不變的桌面和墻壁，都已經被大腦的預測機制"消化"掉了，只有突然闖進來的人或者異常的聲音，才會觸發顯著的神經響應。這種機制讓大腦能用極低的"帶寬"處理海量的感官信息。

工程領域的視頻編碼標準（如H.264、HEVC）同樣利用了這個原理，只是目的是節省存儲空間和傳輸帶寬。在標準視頻編碼中，偶爾會出現一幀"關鍵幀"（I幀，Intra-coded frame），完整記錄該時刻的畫面；隨后的若干幀則被編碼為"預測幀"（P幀，Predictive frame），只記錄"相對于上一幀，哪些區域移動了多少（運動向量）"以及"移動之后的殘余誤差（殘差）"。播放器在解碼時，用關鍵幀加上后續的運動和殘差信息，就能重建出完整的畫面序列。這種方式可以將視頻文件壓縮到原來的幾十分之一。

然而，傳統視頻編碼完全是為"人類觀看"而設計的：它要優化的是比特率和視覺重建質量，采用的是適合高幀率播放的技術參數，最終輸出的是供播放器解碼的二進制比特流。把這套東西直接喂給AI大模型，就像讓一個只懂中文的人去讀一份用速記符號寫成的報告——格式根本對不上。

正因如此，AdaCodec的核心貢獻不僅僅是"把視頻編解碼技術引入AI"，更重要的是對整套機制進行了**面向AI大模型的重新設計**。

三、AdaCodec的工作原理：一份專為AI定制的"視頻摘要協議"

以快遞分揀的比喻繼續展開。AdaCodec給AI提供的不是"每個包裹的完整清單照片"，而是一套更聰明的檔案體系：偶爾出現一份"基準檔案"（對應I幀），詳細記錄當前所有包裹的完整狀態；在此之后，只要包裹內容沒有發生重大變化，就只記錄"與上次基準檔案相比，哪些包裹換了位置（運動向量）、換了什么內容（殘差）"——這份簡短的"變動記錄"就是P幀。

具體來說，AdaCodec處理一段視頻的流程如下。

首先，它把視頻幀序列切分成若干個"圖片組"（GOP，Group of Pictures）。每個圖片組的第一幀是I幀，會被完整地用標準圖像編碼器（ViT）翻譯成256個視覺標記，就像給這個時刻的場景拍了一張詳細檔案照片。隨后的幀都是P幀，不再做完整翻譯，而是計算"與前一幀相比，每個區域移動了多少（這就是運動向量，用x和y方向的位移表示）"以及"按照運動向量做了預測之后，實際畫面與預測結果之間還有多大差距（這就是殘差，即預測誤差）"。把運動向量和殘差合并成一個5通道的張量（3個顏色通道的殘差加2個方向的運動向量），交給一個專門訓練過的小型編碼器（P幀分詞器）壓縮成16個視覺標記。256個變成16個，壓縮比高達16倍。

這里有個關鍵的工程細節。在搜索運動向量時，AdaCodec會對畫面的每個小區塊（稱為宏塊）在參考幀的一定范圍內進行搜索，找到最相似的區塊，記錄位移量，并計算殘差。衡量相似程度的指標叫做"塊預測代價"（用pcost表示），其數值越小，說明當前幀越容易被前一幀預測，兩幀之間越相似，越適合用P幀表示；數值越大，說明差異越大，越需要一個新的I幀來重新"錨定"。

切分圖片組的策略由pcost自動決定，這正是名稱中"Ada"（Adaptive，自適應）的含義所在。當某一幀的整體預測代價超過一個預設閾值時，系統就自動開啟新的圖片組，將這一幀指定為I幀。這樣，在場景變化劇烈的時刻（比如鏡頭切換、人物快速移動），系統會更頻繁地插入I幀；在畫面相對平穩的時刻（比如固定機位的講課視頻、監控畫面），則會維持更長的預測鏈，每個圖片組包含更多P幀，節省更多標記。這個閾值由訓練集統計得出，目標是讓每個圖片組的P幀中位數在8幀左右，最多允許16幀。

四、與現有視頻編碼標準的區別：為AI量身裁剪的七處改動

AdaCodec在設計上與傳統H.264/HEVC標準有七處系統性差異，每一處都是為了讓AI而非人類"看懂"這套信號。

宏塊的劃分方式是第一處差異。傳統編碼器為了壓縮效率，會根據局部紋理動態選擇不同大小的宏塊（如16×16、16×8、8×8等）。但圖像編碼器ViT在處理畫面時，是把畫面切成固定大小的補丁（patch），通常是16×16像素。如果運動向量是按照參差不齊的宏塊計算的，P幀分詞器就很難把它們與ViT的補丁網格對齊，導致信號混亂。AdaCodec統一使用與ViT補丁一一對應的16×16宏塊，保證運動向量場與分詞器的輸入格式嚴格吻合。

運動參考的選擇是第二處差異。傳統編碼器為了提升壓縮效率，有時會選擇時間上較遠的幀作為參考。但AI的視頻采樣通常是稀疏的（比如每秒只取2幀），相鄰采樣幀之間的時間間隔比高幀率視頻大得多，物體運動幅度也更大。AdaCodec規定每個P幀都只以其緊鄰的前一個采樣幀為參考，避免因參考幀太遠導致預測誤差爆炸。

搜索窗口的大小是第三處差異。正因為采樣間隔大、運動幅度大，傳統為高幀率設計的搜索范圍不夠用，AdaCodec擴大了局部搜索窗口以容納更大的位移。搜索算法本身也做了工程優化，采用六邊形搜索加局部細化的方式，在不大幅增加計算量的前提下找到近似最優的運動向量。

圖片組調度是第四處差異，也是上一節已經詳細介紹的自適應pcost觸發機制——傳統編碼器需要單獨的內容分析步驟來決定關鍵幀位置，而AdaCodec直接復用運動搜索過程中已經計算出的pcost值，不需要額外的分析遍，節省了時間。

色彩空間是第五處差異。傳統視頻編碼采用YCbCr顏色模型（將亮度和色度分開編碼，方便進行色度降采樣以節省帶寬），而圖像編碼器ViT是在RGB色彩空間上訓練的。AdaCodec直接使用RGB，避免了色彩空間轉換帶來的信息損失和額外處理。

幀類型的選擇是第六處差異。傳統編碼器支持I幀、P幀和B幀（雙向預測幀，同時參考前后兩幀）。B幀需要未來的幀作為參考，天然不支持實時流式處理，而且在AI理解任務中額外引入因果關系的混亂。AdaCodec只使用I幀和P幀，每幀都只依賴過去的信息，符合語言模型處理序列的因果慣例，也為未來的流式處理留下了可能性。

熵編碼是第七處差異，也是最直接的一處。傳統視頻編碼必須進行熵編碼，把運動向量和殘差進一步壓縮成二進制比特流。但AdaCodec的輸出不是給存儲或傳輸用的，而是直接作為AI模型的輸入，根本不需要比特流格式。省去這一步，不僅減少了計算，還消除了一層不必要的中間表示。

五、P幀分詞器：把"變化摘要"翻譯成AI能讀懂的語言

確定了P幀的輸入格式（5通道的殘差加運動向量張量）之后，還需要一個能把這個信號壓縮成少量高質量標記的編碼器。研究團隊設計了一個聰明的方案。

P幀分詞器的骨架與I幀用的圖像編碼器（ViT）完全相同，這樣就可以直接繼承ViT的預訓練權重，不必從頭訓練。改動僅在于兩點：一是把輸入層從3通道擴展為5通道，新增的兩個運動向量通道權重初始化為零（這樣在訓練開始時，模型行為與原始ViT一致，學習更穩定）；二是在補丁序列之后追加若干個可學習的"摘要標記"（類似于給每位員工安排一個"總結匯報"的特殊席位），讓這些摘要標記通過自注意力機制從所有補丁標記中提煉信息，最終只取這些摘要標記的輸出作為P幀的表示。這樣，無論輸入的補丁有多少，P幀的輸出始終是固定數量（16個）的標記。注意力掩碼的設計保證補丁標記之間的計算與原始ViT完全一致，不會干擾預訓練的特征，而摘要標記可以自由地向所有補丁學習。

為了與Qwen3-VL-8B（研究團隊選用的基礎語言大模型）的視覺接口兼容，還需要處理三個額外細節。Qwen3-VL使用了一個時序卷積（Conv3D）的輸入層，每次同時處理兩幀；AdaCodec的解決方案是把單幀復制一份，湊成兩幀的形式送入。輸出層有一個2×2的空間合并操作，把每四個相鄰的補丁標記合并成一個，最終I幀得到256個視覺標記，P幀的16個摘要標記同樣經過類似的合并整理，得到16個最終標記。此外，Qwen3-VL還有一種"DeepStack"的中間層注入機制，P幀分詞器也暴露出對應的中間層輸出，通過相同路徑注入語言模型。

六、兩階段訓練：先學"看變化"，再學"看懂視頻"

AdaCodec的訓練分為兩個階段，就像先教一個學生看地圖上的箭頭和標注，再讓他用這些知識回答關于旅途的問題。

第一階段專注于讓P幀分詞器真正理解運動和殘差信號。訓練樣本由三部分構成：一個參考幀（I幀）、若干中間P幀、以及一個目標幀。I幀和目標幀都用凍結的ViT提取特征向量，這些特征向量作為"標準答案"。P幀分詞器對中間P幀進行編碼，得到P幀標記序列；再配上I幀標記，交給一個專門的輔助預測器（一個輕量級的Transformer網絡，僅在第一階段使用，訓練完后丟棄），預測目標幀應有的視覺特征。訓練目標是讓預測出的特征與ViT提取的真實特征盡可能接近，同時使用L1距離和余弦相似度兩個指標。通過這個過程，P幀分詞器學會了如何用運動和殘差信號來表示"時間上的變化"，并且使其語義與標準圖像編碼器的特征空間對齊。

第二階段是標準的多模態指令微調，但固定住所有視覺側的模塊（I幀編碼器和P幀分詞器都不再更新），只更新語言模型部分。訓練時從完整視頻中均勻采樣若干個圖片組，按時間順序排列，組成"視覺代碼序列"，與文字指令一起輸入模型，用標準的自回歸下一詞預測損失優化。訓練數據使用了31個公開視頻問答和描述數據集的混合，共包含390余萬條訓練樣本，涵蓋活動問答、自我中心視頻、電影描述、物理推理等多種類型。第二階段分兩步：先用64k視覺標記預算訓練4萬步，再用224k預算訓練5000步，讓模型同時具備處理較短和較長視頻的能力。整個訓練過程在64塊NVIDIA H800 GPU上運行，總計耗時約12天。

七、實驗結果：少用七分之一的"記憶"，卻能看懂更多

研究團隊在11個公開基準測試上系統評測了AdaCodec，涵蓋長視頻理解、時序推理和通用視頻理解三大類。基線是相同語言模型（Qwen3-VL-8B）的標準逐幀RGB輸入方式，視覺標記預算設為224k。

長視頻理解方面，測試了三個基準：MLVU（包含電影、監控、自我中心視頻等多種類型的長視頻多任務評測）、LongVideoBench（長達1小時的多模態視頻問答）和LVBench（以小時級長視頻為主的極端長視頻理解基準）。在僅使用32k視覺標記（基線224k的七分之一）的情況下，AdaCodec的成績分別為62.7、63.2和58.2，全部超過基線（62.2、62.4和58.0）。將標記預算提升至與基線匹配的224k后，成績進一步升至65.3、67.8和58.4，比基線高出3.1、5.4和0.4個百分點，在所有對比的開源模型中位列第一。

時序推理方面，三個基準分別是TempCompass（速度、方向等時序屬性的感知）、MotionBench（細粒度運動理解）和TOMATO（動作計數、旋轉方向、速度頻率等視覺時序推理）。七分之一預算下，三項成績分別為75.8、58.8和39.8，分別比基線（74.3、56.9、35.7）高出1.5、1.9和4.1個百分點。匹配預算下進一步提升至75.9、59.9和40.0。TOMATO上超越基線4.3個百分點的提升尤為突出，因為這個測試專門設計為必須綜合多幀信息才能回答，不能靠單幀截圖或語言先驗猜測——這直接驗證了P幀標記確實保留了幀間變化的有效信號。

通用視頻理解方面，五個基準分別是Video-MME、MVBench、NExT-QA、PerceptionTest和EgoSchema。七分之一預算下，AdaCodec在MVBench（75.3 vs 68.7，+6.6）、PerceptionTest（75.1 vs 72.7，+2.4）和EgoSchema（70.2 vs 69.8，+0.4）上領先，在Video-MME（75.0 vs 75.2，-0.2）和NExT-QA（83.1 vs 83.4，-0.3）上略低。將幀率從2幀/秒提升至16幀/秒（使總標記量與基線大致相當）后，五項全部領先，MVBench提升7.9個百分點（76.6 vs 68.7），PerceptionTest提升7.8個百分點（80.5 vs 72.7），Video-MME、NExT-QA、EgoSchema也分別提升0.3、0.8和0.6個百分點。

系統延遲方面，在五個通用基準的11,347個視頻上測量的結果尤為直觀。AdaCodec平均每視頻使用8,550個視覺標記，基線為55,893個，減少了84.7%。"首字延遲"（TTFT，從開始處理到輸出第一個字符的時間）從9.26秒降至1.62秒，即使把視頻預處理（在普通16核消費級CPU上運行，耗時0.12秒）也算入其中，延遲也只有1.74秒，仍是基線的5.3倍速。端到端總延遲從11.18秒降至3.20秒，降幅超過70%。GPU顯存方面，AdaCodec因為多了一個P幀分詞器（約5.76億參數，占基礎模型8.14億參數的7%），峰值顯存僅增加1.9GB（+5.5%），代價極小。

八、為什么是預測編碼而不是別的壓縮方法

研究團隊設計了一組細致的對照實驗，專門驗證預測編碼本身（而不僅僅是"更少的標記"）才是核心。

實驗固定了圖片組結構和I幀編碼方式不變，只改變P幀的輸入表示。對照組包括：完全省略P幀只保留I幀（I-only）、用完整RGB圖像作為P幀輸入（Per-frame RGB）、用低分辨率RGB縮略圖（Thumbnail P，未訓練）作為P幀輸入、以及用低分辨率RGB縮略圖但經過與AdaCodec相同的訓練流程（Thumbnail P，已訓練）。

與只用I幀相比，AdaCodec的P幀標記為長視頻、時序和通用三類帶來了+11.1、+9.7和+7.5的提升，說明幀間變化信號對理解至關重要。與完整RGB P幀相比，AdaCodec雖然每幀只用16個標記（完整RGB用256個），卻仍然在三類上分別高出5.2、2.6和1.7個百分點。這個對比說明增益不是來自"看到更多幀"，而是來自"用更合適的方式表示幀間信息"——完整RGB P幀序列甚至超出了Qwen3-VL-8B的原生上下文窗口，需要額外的長上下文擴展技術（YaRN）才能運行，但效果依然不如AdaCodec。與已訓練的低分辨率縮略圖P幀相比，AdaCodec在三類上仍分別領先2.4、3.8和2.5個百分點——低分辨率RGB保留了粗略的空間信息，但無法顯式表示幀間運動方向和殘差，這個差距直接量化了預測編碼表示的獨特價值。

九、自適應圖片組在不同視頻類型上的行為差異

AdaCodec的pcost自適應機制并非對所有視頻都產生相同的圖片組長度。以MLVU測試集為例，異常檢測類別（主要來源于固定機位監控視頻，場景變化極為緩慢）的平均圖片組長度高達16.69幀，接近設定的上限17；教程類視頻（相對穩定的拍攝環境和分步驟結構）平均長度為12.22幀；自我中心視頻（第一人稱拍攝，頻繁的視角變化和肢體運動）平均只有9.07幀；其余類別平均為10.52幀。

這種差異直接轉化為準確率上的差異。在異常檢測子類別上，AdaCodec得分71.8，而基線只有51.2，差距高達20.6分。原因在于監控視頻通常需要覆蓋很長的時間段才能發現異常事件，而AdaCodec在這類視頻上的圖片組極長，意味著在相同的標記預算內，它能覆蓋遠比基線更長的時間段，讓AI"看到"更多的時間范圍，從而更容易發現偶發的異常。

從視頻時間線上可以直觀看到這種差異：在一個逐漸變化的監控視頻中，pcost曲線長時間保持低平，偶爾出現幾次脈沖式上升才觸發新I幀；而在一個人物動作頻繁的對話視頻中，pcost頻繁超過閾值，I幀不斷插入，標記增長也相對更快。但即便如此，AdaCodec的累計標記數量始終遠低于逐幀RGB方式，兩者在相同時間跨度內的標記差距隨時間推移越拉越大。

十、與同類研究的比較：相近而不相同

同期有兩項同樣借鑒視頻編碼思路的研究值得關注，以便更清楚地定位AdaCodec的獨特性。

CoPE-VideoLM（2026年2月發布）的思路是從現成的標準編碼視頻流中提取編解碼原語（如運動向量、塊類型等），然后訓練模型學會消費這些信號，與語言模型表示對齊。ReMoRa（同期發布，已被CVPR 2026接收）則專注于精煉標準編碼產生的噪聲運動表示，用于長視頻理解。這兩項工作的共同之處在于：它們都把標準編解碼器的輸出視為固定的輸入，學習如何利用它，而不改變編解碼器本身。

AdaCodec的區別在于，它從頭到尾重新設計了編碼機制本身，讓圖片組劃分、宏塊大小、運動參考選擇、搜索窗口大小等每一個參數都服務于下游語言模型的理解需求，而非人類觀看的需求。這種"以AI為目標的編解碼器設計"思路，與上述工作構成了互補關系，彼此可以結合，但出發點不同。

說到底，AdaCodec做的事情，本質上是一次關于"信息傳遞效率"的重新思考。AI看視頻，過去像是一個速記員把每句話都原封不動地抄下來；現在像是一個聰明的編輯，把沒變化的部分一句帶過，重點記錄"哪里變了、怎么變的"。這不僅讓AI看視頻更快、更省資源，還讓它在相同的"記憶容量"里能回顧更長的時間段，反而看得更準。

從實際使用角度來說，這意味著未來當你用AI助手分析一段會議錄像、一段運動訓練視頻、或者一段長達幾小時的紀錄片時，等待時間可能從十幾秒壓縮到幾秒以內，而準確性不降反升。對于需要實時響應的應用場景（比如機器人視覺理解、自動監控分析），這5倍以上的速度提升具有相當直接的工程價值。

當然，這項研究也有明確指出的局限：目前輸入分辨率是固定的，每個P幀都分配相同數量的標記（不論這幀運動是否復雜），而且還沒有在真正的實時流式場景下驗證過。這些都是未來可以繼續完善的方向。對于想深入了解技術細節的讀者，可以通過arXiv編號2606.02569查閱完整論文。

Q&A

Q1：AdaCodec的"P幀"和普通視頻壓縮里的P幀有什么不同？

A：兩者都記錄運動向量和殘差，但普通視頻壓縮的P幀是為人類觀看而設計的，采用可變大小宏塊、YCbCr顏色空間，輸出二進制比特流。AdaCodec的P幀專為AI語言模型設計：宏塊與ViT補丁網格對齊、使用RGB顏色空間、不做熵編碼，最終輸出的是16個可被語言模型直接讀取的向量標記，而非播放器能解碼的比特流。

Q2：AdaCodec把視覺標記減少到七分之一，為什么理解準確率反而還提高了？

A：關鍵在于減少的是"重復內容"，而不是"有效信息"。在相同的標記預算下，AdaCodec可以覆蓋更長的視頻時間段（相當于從2幀/秒提升至16幀/秒），而多出來的幀以極少的P幀標記表示幀間變化，沒有額外的冗余。對于長視頻任務來說，更長的時間覆蓋意味著更多的時序證據，準確率自然提升。

Q3：AdaCodec只能用在Qwen3-VL-8B這一個模型上嗎？

A：不是。論文明確指出P幀分詞器的架構可以適配任何ViT風格的視覺編碼器，只需要把輸入層從3通道擴展到5通道并做相應的接口適配。Qwen3-VL-8B是本研究選用的基礎模型，主要因為它代表了當前主流的開源視頻語言模型架構。研究團隊也表示將開放源代碼和模型權重，供其他研究者在不同基礎模型上復用。