這項由阿布扎比穆罕默德·本·扎耶德人工智能大學領(lǐng)導(dǎo)的研究發(fā)表于2026年的計算機視覺頂級會議CVPR，論文編號為arXiv:2604.03231v1，有興趣深入了解的讀者可以通過該編號查詢完整論文。

一、當前AI視覺識別的困境：就像只有一只眼睛的巨人

當下的人工智能視覺系統(tǒng)面臨著一個根本性問題，就好比讓一個只有一只眼睛的巨人同時完成兩項完全不同的任務(wù)?，F(xiàn)在大部分AI視覺系統(tǒng)都依賴單一的視覺編碼器，通常是CLIP這樣的模型，它就像一只訓(xùn)練有素但功能單一的眼睛。

這種單眼視覺系統(tǒng)雖然在理解圖片內(nèi)容方面表現(xiàn)不錯，比如能告訴你圖片里有什么物體，但在精確定位這些物體的具體位置時就顯得力不從心了。就像一個人能認出遠處是一輛紅色汽車，卻無法準確指出這輛車停在停車場的哪個具體位置。

研究團隊發(fā)現(xiàn)，這個問題的根源在于現(xiàn)有系統(tǒng)試圖用同一套視覺處理機制來解決兩個本質(zhì)不同的問題。理解圖片內(nèi)容需要的是全局語義信息，就像欣賞一幅畫時需要整體把握畫面意境；而精確定位則需要細致的空間幾何信息，就像用放大鏡仔細觀察畫作中每個細節(jié)的確切位置。

更令人頭疼的是，現(xiàn)有系統(tǒng)在處理需要精確坐標定位的任務(wù)時表現(xiàn)尤其糟糕。比如當你問AI"請指出圖片中那個透明鼻托的確切位置"時，很多先進的AI模型要么完全無法回應(yīng)，要么給出的坐標位置相去甚遠。實驗數(shù)據(jù)顯示，在需要3像素精度的指向任務(wù)中，傳統(tǒng)單編碼器模型的準確率普遍較低，這就像讓一個近視眼的人在沒有眼鏡的情況下投飛鏢一樣困難。

二、雙視覺系統(tǒng)的靈感：模仿人類的立體視覺機制

阿布扎比AI大學的研究團隊從人類視覺系統(tǒng)中獲得了靈感。人類之所以能夠同時理解場景內(nèi)容和精確定位物體，是因為我們的視覺系統(tǒng)實際上是一個復(fù)雜的多層次處理網(wǎng)絡(luò)，不同的神經(jīng)通路負責處理不同類型的視覺信息。

基于這個洞察，研究團隊提出了CoME-VL（互補多編碼器視覺語言）系統(tǒng)。這個系統(tǒng)的核心思想是使用兩個專門化的"眼睛"來分別處理不同類型的視覺任務(wù)，就像人類左右腦分工合作一樣。

第一個"眼睛"是SigLIP編碼器，它專門負責理解圖像的語義內(nèi)容。這個編碼器就像一個博學的藝術(shù)評論家，能夠深刻理解圖片想要表達的含義、情感和概念。它通過對比學習的方式訓(xùn)練，擅長將圖像與文字描述進行匹配，能夠回答"這是什么"的問題。

第二個"眼睛"是DINOv3編碼器，它專門負責精確的空間定位。這個編碼器就像一個精密的測量師，能夠準確識別物體的邊界、形狀和相對位置關(guān)系。它通過自監(jiān)督學習訓(xùn)練，不需要人工標注就能學會識別物體的幾何特征和空間結(jié)構(gòu)。

研究團隊通過大量實驗發(fā)現(xiàn)，這兩種編碼器確實表現(xiàn)出了互補性。SigLIP編碼器在圖像的早期處理層就能捕獲豐富的語義信息，隨著處理層數(shù)加深，它越來越專注于識別有助于語義理解的關(guān)鍵特征。而DINOv3編碼器則呈現(xiàn)出相反的模式，它在深層網(wǎng)絡(luò)中表現(xiàn)出更強的空間定位能力，能夠生成更加精確和一致的空間注意力圖。

三、熵值引導(dǎo)的智能層選擇：讓每一層都發(fā)揮最佳作用

在確定了雙編碼器架構(gòu)后，研究團隊面臨著一個新的挑戰(zhàn)：如何從每個編碼器的眾多處理層中選出最有價值的部分？這就像在一個擁有數(shù)十個專業(yè)廚師的廚房里，決定讓哪幾位廚師參與制作一道復(fù)雜的菜肴。

研究團隊引入了一個巧妙的解決方案——熵值引導(dǎo)的層選擇機制。熵值在這里可以理解為信息的"純凈度"指標。高熵值意味著信息分布較為分散，包含更多樣化的特征；低熵值則意味著信息更加集中和精確。

通過分析每一層的熵值變化，研究團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象。SigLIP編碼器在所有層都保持相對較高的熵值，這意味著它在各個處理階段都能提供豐富的語義信息。因此，系統(tǒng)選擇使用SigLIP的所有層（第0層到第27層）來獲得全面的語義理解。

相比之下，DINOv3編碼器的熵值隨著層數(shù)加深而顯著降低，在第10層到第23層之間達到最低點。這個低熵區(qū)域正是空間定位信息最為集中和可靠的區(qū)域。研究團隊因此決定只使用DINOv3的這個特定層段，避免了早期層中噪聲較多的信息干擾。

這種基于熵值的選擇策略不是隨意的，而是有著深刻的信息論基礎(chǔ)。當系統(tǒng)需要進行語義理解時，更多樣化的特征（高熵）能夠提供更全面的上下文信息。而當系統(tǒng)需要進行精確定位時，集中和一致的特征（低熵）能夠提供更可靠的空間線索。

四、正交化特征融合：避免信息冗余的巧妙設(shè)計

在獲得了兩個編碼器的最佳層選擇后，如何將這些不同來源的視覺信息有效融合成為了下一個關(guān)鍵問題。這就像將兩種不同樂器的音色完美融合，既要保持各自的特色，又要避免產(chǎn)生不和諧的共鳴。

傳統(tǒng)的特征融合方法往往簡單地將不同層的信息相加或拼接，但這種做法存在嚴重的信息冗余問題。相鄰的網(wǎng)絡(luò)層往往編碼了高度相似的信息，直接融合會導(dǎo)致某些特征被過度強調(diào)，而其他重要特征則可能被掩蓋。

為了解決這個問題，研究團隊設(shè)計了正交化層（Orthogonal Layer）技術(shù)。這個技術(shù)的核心思想是確保不同層的特征在融合前先經(jīng)過一個特殊的變換，使得它們在數(shù)學意義上變得"正交"，也就是說，它們之間的相關(guān)性被最小化，每一層都能貢獻獨特的信息。

可以把正交化層想象成一個智能的信息過濾器。當多個信息源提供類似信息時，這個過濾器會自動調(diào)整每個信息源的權(quán)重，確保最終融合的結(jié)果既包含了所有重要信息，又避免了重復(fù)和冗余。這種處理方式不僅提高了信息的利用效率，還顯著增強了系統(tǒng)的表達能力。

在實際實現(xiàn)中，正交化層使用了特殊的數(shù)學約束來保證變換矩陣的正交性。這種約束確保了特征變換過程中信息不會丟失或扭曲，同時最大化了不同特征之間的獨立性。實驗結(jié)果顯示，加入正交化層后，系統(tǒng)在各項任務(wù)上的表現(xiàn)都有了顯著提升。

五、RoPE增強的跨注意力對齊：解決空間對應(yīng)難題

當兩個不同的視覺編碼器產(chǎn)生特征時，它們往往具有不同的空間分辨率和token網(wǎng)格結(jié)構(gòu)。SigLIP通常產(chǎn)生24×24的token網(wǎng)格，而DINOv3可能產(chǎn)生14×14的網(wǎng)格。這就像試圖將兩幅不同尺寸的拼圖完美拼接在一起，存在天然的空間對應(yīng)難題。

傳統(tǒng)的解決方案是直接將不同編碼器的token連接起來，然后交給語言模型處理。但這種方法存在兩個嚴重問題：首先，它會顯著增加語言模型需要處理的token數(shù)量，導(dǎo)致計算成本急劇上升；其次，簡單的連接無法保證來自不同編碼器的token之間建立正確的空間對應(yīng)關(guān)系。

研究團隊提出了RoPE增強的跨注意力對齊機制來解決這個問題。RoPE（Rotary Position Embedding）是一種先進的位置編碼技術(shù)，它能夠?qū)⑾鄬ξ恢眯畔⒅苯泳幋a到注意力計算中。簡單來說，RoPE就像給每個token貼上了一個包含精確空間坐標的標簽。

在CoME-VL系統(tǒng)中，SigLIP的token作為查詢（Query），DINOv3的token作為鍵值（Key-Value）。當計算跨注意力時，RoPE確保了空間上相近的token之間會產(chǎn)生更強的注意力連接，而空間上相遠的token之間的連接則會被適當抑制。這樣，即使兩個編碼器的token網(wǎng)格大小不同，系統(tǒng)也能建立準確的空間對應(yīng)關(guān)系。

這種設(shè)計的巧妙之處在于，它不僅解決了空間對齊問題，還顯著提高了計算效率。通過跨注意力機制，系統(tǒng)輸出的token數(shù)量保持與SigLIP編碼器一致，避免了token數(shù)量的爆炸式增長。實驗數(shù)據(jù)顯示，CoME-VL的推理時間僅比單編碼器基準模型增加了0.26秒（從1.26秒增加到1.52秒），而性能提升卻是顯著的。

六、門控殘差連接：確保訓(xùn)練穩(wěn)定性

在多編碼器融合系統(tǒng)中，訓(xùn)練穩(wěn)定性是一個至關(guān)重要的考慮因素。當兩個不同的信息流需要融合時，如果處理不當，可能會導(dǎo)致訓(xùn)練過程中的梯度爆炸或消失，就像兩股不同溫度的水流突然匯合時可能產(chǎn)生的湍流。

為了確保訓(xùn)練過程的穩(wěn)定性，研究團隊采用了門控殘差連接策略。這個策略的核心思想是在融合DINOv3信息時采用漸進式的方式。系統(tǒng)首先保留原有的SigLIP特征作為基礎(chǔ)，然后通過一個可學習的門控參數(shù)逐漸引入DINOv3的信息。

門控參數(shù)在訓(xùn)練開始時被初始化為零，這意味著系統(tǒng)最初只依賴SigLIP編碼器的信息。隨著訓(xùn)練的進行，如果DINOv3的信息確實有助于改善性能，門控參數(shù)會逐漸增大，允許更多的DINOv3信息參與到最終的特征表示中。這種設(shè)計確保了訓(xùn)練過程的平滑性，避免了因為突然引入大量新信息而導(dǎo)致的訓(xùn)練不穩(wěn)定。

同時，門控機制還具有自適應(yīng)性。在不同的任務(wù)或不同的輸入情況下，系統(tǒng)會自動調(diào)整兩個編碼器信息的混合比例。當需要更多語義理解時，系統(tǒng)會更多地依賴SigLIP的信息；當需要更精確的定位時，系統(tǒng)會增加DINOv3信息的權(quán)重。

七、實驗驗證：全方位性能提升的令人矚目表現(xiàn)

研究團隊在多個具有挑戰(zhàn)性的視覺語言基準測試上對CoME-VL進行了全面評估，結(jié)果展現(xiàn)出了令人印象深刻的性能提升。這些測試涵蓋了從基礎(chǔ)的圖像理解到精確的物體定位等各個方面。

在PixMo基準測試中，CoME-VL在所有測試類別上都顯著超越了基準模型Molmo。在圖表理解任務(wù)中，準確率從52.39%提升到57.24%，提升了4.85個百分點。在文檔理解方面，從62.41%提升到66.94%。在表格分析任務(wù)中，從66.25%提升到70.75%。這些提升看似不大，但在AI領(lǐng)域，幾個百分點的改進往往代表著系統(tǒng)能力的顯著躍升。

更加令人矚目的是CoME-VL在精確定位任務(wù)上的表現(xiàn)。在計數(shù)任務(wù)中，準確率從83.31%提升到87.83%，提升了4.52個百分點。而在最具挑戰(zhàn)性的指向任務(wù)中，CoME-VL實現(xiàn)了突破性進展。在3像素精度要求下，準確率達到58.56%，在5像素精度要求下達到75.94%。這些數(shù)字的意義在于，CoME-VL成為了首個能夠在如此嚴格精度要求下穩(wěn)定工作的視覺語言模型。

在專門的物體檢測基準RefCOCO上，CoME-VL同樣表現(xiàn)優(yōu)異。在驗證集上達到92.57%的準確率，在測試集A上達到95.36%，在測試集B上達到90.51%，全面超越了包括Qwen-VL在內(nèi)的強基準模型。

為了驗證不同組件的貢獻，研究團隊還進行了詳細的消融實驗。結(jié)果顯示，RoPE增強的對齊機制平均帶來約2-3個百分點的性能提升，正交化層融合貢獻了額外的1-2個百分點提升。當這些技術(shù)組件協(xié)同工作時，整體效果超過了各部分簡單相加的結(jié)果，展現(xiàn)出了良好的協(xié)同效應(yīng)。

八、定性分析：從模糊回答到精確定位的質(zhì)的飛躍

除了量化的性能指標，研究團隊還通過具體的案例展示了CoME-VL在實際應(yīng)用中的優(yōu)勢。這些案例清楚地展現(xiàn)了雙編碼器架構(gòu)如何解決傳統(tǒng)單編碼器系統(tǒng)的局限性。

在一個典型的指向任務(wù)示例中，當被要求"定位透明鼻托"時，傳統(tǒng)的QWEN2-VL模型只能給出模糊的描述性回答，比如"圖像顯示了一副未來感的矩形眼鏡，連接兩個鏡片的透明框架結(jié)構(gòu)"，但無法提供具體的坐標位置。LLaVA-1.5模型雖然能夠識別出鼻托的存在，但給出的坐標信息嚴重偏離實際位置。

相比之下，CoME-VL不僅能夠準確識別目標物體，還能提供精確的坐標定位。在同一個案例中，CoME-VL給出了坐標(38.5, 52.8)，與真實位置的誤差在可接受的范圍內(nèi)，同時還能提供清晰的物體描述。

這種從描述性回答到精確定位的轉(zhuǎn)變代表了視覺語言模型能力的質(zhì)的飛躍。傳統(tǒng)模型就像一個只能籠統(tǒng)描述場景的觀察者，而CoME-VL則像一個既能理解場景含義又能精確指出細節(jié)位置的專業(yè)分析師。

在更復(fù)雜的場景中，比如包含多個對象的圖像，CoME-VL展現(xiàn)出了卓越的細節(jié)處理能力。當處理一張包含多人的海灘照片時，系統(tǒng)能夠準確計數(shù)人數(shù)，同時精確定位每個人的位置。當被問及"照片中有多少人"時，系統(tǒng)能夠給出準確的數(shù)字"8"，并且在需要時還能指出特定人物的精確坐標。

九、技術(shù)創(chuàng)新的深層意義：開啟多模態(tài)AI新紀元

CoME-VL的技術(shù)創(chuàng)新不僅僅是性能數(shù)字上的提升，更代表了多模態(tài)人工智能發(fā)展的一個重要里程碑。這項研究從根本上改變了我們對視覺語言模型架構(gòu)設(shè)計的認知。

首先，這項研究證明了專業(yè)化分工在AI系統(tǒng)中的重要價值。就像人類社會中不同職業(yè)的專業(yè)分工能夠提高整體效率一樣，讓不同的AI組件專注于各自最擅長的任務(wù)，然后通過巧妙的協(xié)調(diào)機制整合它們的能力，能夠?qū)崿F(xiàn)單一系統(tǒng)難以達到的性能水平。

其次，CoME-VL展示了如何在保持計算效率的同時顯著提升系統(tǒng)能力。通過精心設(shè)計的架構(gòu)，系統(tǒng)在增加有限計算成本的情況下實現(xiàn)了大幅的性能提升。這種設(shè)計思路對于AI技術(shù)的實際應(yīng)用具有重要意義，因為它證明了我們不需要簡單地通過增加模型規(guī)模來提升性能，而是可以通過更智能的架構(gòu)設(shè)計來實現(xiàn)突破。

更重要的是，這項研究為未來的多模態(tài)AI系統(tǒng)設(shè)計提供了新的范式。它表明，與其試圖用單一的通用模型處理所有任務(wù)，不如采用專業(yè)化模塊協(xié)同工作的方式。這種思路可能會影響未來AI系統(tǒng)的整體架構(gòu)設(shè)計，從單一龐大的模型轉(zhuǎn)向協(xié)調(diào)良好的專業(yè)化模塊集合。

從應(yīng)用角度來看，CoME-VL的精確定位能力為許多實際應(yīng)用場景打開了新的可能性。在醫(yī)療圖像分析中，系統(tǒng)能夠不僅識別病變區(qū)域，還能精確標注其位置。在自動駕駛領(lǐng)域，系統(tǒng)能夠同時理解交通場景并精確定位各種交通要素。在工業(yè)質(zhì)檢中，系統(tǒng)能夠發(fā)現(xiàn)缺陷并準確定位其具體位置。

十、局限性分析與未來發(fā)展方向

盡管CoME-VL取得了顯著的成果，但研究團隊也誠實地指出了當前系統(tǒng)的一些局限性。最主要的限制是計算開銷的增加。相比單編碼器基準模型，CoME-VL的推理時間增加了約20%，雖然這個增加幅度相對溫和，但在大規(guī)模部署時仍然是一個需要考慮的因素。

另一個限制是系統(tǒng)架構(gòu)的復(fù)雜性增加。雙編碼器系統(tǒng)需要更仔細的超參數(shù)調(diào)優(yōu)和訓(xùn)練策略設(shè)計，這增加了系統(tǒng)開發(fā)和維護的復(fù)雜度。對于希望快速部署AI解決方案的用戶來說，這可能會帶來額外的技術(shù)門檻。

此外，當前的系統(tǒng)主要針對靜態(tài)圖像設(shè)計，對于視頻等動態(tài)內(nèi)容的處理能力還有待進一步驗證和優(yōu)化。視頻內(nèi)容不僅包含空間信息，還包含時間維度的信息，如何在保持精確定位能力的同時處理時間序列信息，是一個值得探索的方向。

展望未來，這項研究為多個發(fā)展方向奠定了基礎(chǔ)。首先是計算效率的進一步優(yōu)化，研究團隊正在探索如何通過模型壓縮、知識蒸餾等技術(shù)減少計算開銷。其次是擴展到更多模態(tài)的信息處理，比如加入音頻信息來實現(xiàn)更全面的多模態(tài)理解。

另一個令人興奮的方向是將這種專業(yè)化分工的思路擴展到更多的任務(wù)類型。除了語義理解和空間定位，未來的系統(tǒng)可能會包含專門處理時間信息、情感信息、因果關(guān)系等不同類型信息的專業(yè)化模塊。

說到底，CoME-VL這項研究最大的價值可能不在于具體的技術(shù)細節(jié)，而在于它所代表的設(shè)計哲學轉(zhuǎn)變。從追求單一模型的萬能性轉(zhuǎn)向?qū)I(yè)化模塊的協(xié)同合作，這種思路變化可能會深刻影響未來AI系統(tǒng)的發(fā)展方向。正如人類社會從萬金油式的通才轉(zhuǎn)向?qū)I(yè)分工的合作模式一樣，AI系統(tǒng)也許正在經(jīng)歷類似的進化過程。

對于普通用戶來說，CoME-VL的成功意味著我們離真正實用的AI助手又近了一步。能夠同時理解圖像內(nèi)容并精確定位物體位置的AI系統(tǒng)，將為從醫(yī)療診斷到智能家居等各個領(lǐng)域帶來實質(zhì)性的改進。當你的手機相機不僅能告訴你畫面中有什么，還能精確指出每樣物品的位置時，許多原本需要人工完成的任務(wù)都將變得自動化和智能化。

雖然距離完美的AI視覺系統(tǒng)還有很長的路要走，但CoME-VL已經(jīng)為我們展示了正確的前進方向。通過巧妙的架構(gòu)設(shè)計和精心的工程實現(xiàn)，我們可以讓AI系統(tǒng)在保持理解能力的同時獲得精確的定位能力，這為構(gòu)建更加智能和實用的AI應(yīng)用奠定了堅實基礎(chǔ)。

Q&A

Q1：CoME-VL是什么？

A：CoME-VL是阿布扎比AI大學開發(fā)的新型視覺語言模型，它使用兩個專門化的"眼睛"—SigLIP編碼器負責理解圖像內(nèi)容，DINOv3編碼器負責精確定位，就像人類立體視覺一樣協(xié)同工作。

Q2：CoME-VL比傳統(tǒng)AI視覺系統(tǒng)強在哪里？

A：傳統(tǒng)系統(tǒng)只能模糊描述圖像內(nèi)容，CoME-VL能同時理解語義并精確定位。比如指向任務(wù)中，傳統(tǒng)系統(tǒng)要么無法回應(yīng)要么位置偏差很大，CoME-VL能給出精確坐標，在3像素精度下準確率達58.56%。

Q3：CoME-VL會增加計算成本嗎？

A：會有適度增加但仍然高效。推理時間僅從1.26秒增加到1.52秒，增幅約20%，但性能提升顯著。通過RoPE跨注意力機制避免了token數(shù)量爆炸，比簡單拼接方法更節(jié)省計算資源。