這項由加州大學戴維斯分校主導的研究，于2026年6月以預印本形式發布在arXiv平臺，編號為arXiv:2606.05833。研究提出了一個名為GeoVR的新框架，核心目標只有一個：讓當前最先進的多模態大語言模型真正"看懂"三維空間，而且只用普通的視頻素材就能做到，不依賴任何昂貴的3D標注數據。

**一道裂縫藏在最先進的AI眼里**

當你站在一個房間里，你能立刻判斷沙發離你多遠、柜子有多高、走廊有多深。這件事對人類來說輕而易舉，但對目前最頂尖的多模態大語言模型而言，卻是一道難以跨越的裂縫。

所謂多模態大語言模型，就是那種既能讀圖又能聊天的AI系統，比如GPT-4o、Gemini這類產品。它們在回答圖片相關問題、描述場景、做圖文推理等任務上表現驚艷。然而，一旦問題涉及真實的三維空間關系——"這張桌子離鏡頭有多遠"、"這扇門比窗戶高多少"、"走過這條走廊再右轉就能到達目標嗎"——它們就會頻繁出錯，甚至給出令人啼笑皆非的答案。

這背后有一個根本原因：這些模型從頭到尾都在二維圖像和文字的世界里長大。訓練它們的數據是大量的圖片和文本對，監督信號也只有語言——"這是貓"、"這是沙發"、"這里有一棵樹"。模型學會了辨認物體、理解語義，卻從未被要求理解"這只貓距離我兩米"、"這棵樹比樓房矮"這類帶有真實物理尺度的空間信息。換句話說，它們的內部表示（可以理解為大腦里存儲認知的方式）只是一張扁平的語義地圖，而非一個有深度、有距離感的立體模型。

加州大學戴維斯分校的研究團隊用一個非常直觀的實驗揭示了這一問題。他們把同一段視頻分別輸入給一個頂級的多模態大語言模型（Qwen3-VL）和一個專為三維重建設計的基礎模型（VGGT），然后把各自提取到的內部特征可視化出來——就像給大腦拍了一張"思維彩色照片"。結果非常鮮明：VGGT的"照片"里，同一個物體在不同角度下的顏色保持一致，物體邊界清晰，整個場景像一個有結構的立體模型；而Qwen3-VL的"照片"則像被潑了一桶隨機顏料，同一個物體在不同幀里顏色完全不同，邊界模糊，毫無幾何規律可言。這說明語言驅動的訓練讓模型學會了認識物體，卻沒有讓它真正理解這些物體在三維空間里的位置關系。

**現有方案的兩條老路，都有各自的硬傷**

面對這個問題，研究界此前已經摸索出兩條路，但兩條路都有明顯的局限。

第一條路是直接喂給模型三維數據。也就是把點云（一種用大量三維坐標點描述物體形狀的數據格式，可以理解為用密密麻麻的空間坐標點描繪出一個立體雕塑）、三維網格等真實的立體信息輸入給模型，讓它從中學習空間關系。代表性工作包括PointLLM、3D-LLM、SpatialLM等。這條路的問題在于：高質量的三維標注數據極其稀缺且昂貴，采集一個室內場景的完整點云需要專業設備和大量人工。數據量的瓶頸嚴重限制了模型的泛化能力，而且學了三維數據之后，模型在普通二維圖像理解任務上的表現往往會退步。

第二條路是"外掛插件"式的融合。思路是保留原來的多模態大語言模型不動，同時接入一個專門的三維基礎模型（比如VGGT、DepthAnything等），讓這個三維模型實時提取空間特征，然后把這些特征"粘貼"到原模型的二維特征上。代表性工作有VG-LLM、Spatial-MLLM（通過逐元素相加融合）、VLM-3R、SpaceMind（通過注意力機制融合）等。這條路的問題同樣突出：每次推理（也就是模型回答問題的時候）都需要同時運行兩個大模型，計算成本翻倍，推理速度大幅下降。更根本的問題是，這種融合方式只是在表面上把兩種特征混在一起，三維模型的幾何理解并沒有真正滲入多模態大語言模型的內部表示里，只是在最外層打了個補丁。

**GeoVR的核心哲學：用視頻"重塑大腦"**

加州大學戴維斯分校的研究團隊提出的GeoVR走的是第三條路，核心理念是：不借助昂貴的三維標注數據，也不在推理時外掛三維模型，而是在訓練階段通過一套精心設計的幾何學習任務，從根本上改變多模態大語言模型內部的表示方式。

打個比方：前兩條路分別是"給學生專門的立體圖紙練習"和"考試時允許攜帶3D眼鏡作弊"，而GeoVR的做法是在日常訓練里加入大量空間推理練習，讓學生的大腦本身就發展出立體感知能力，考試時不需要任何輔助工具。

具體來說，GeoVR使用普通的視頻序列作為訓練素材——就是手機拍攝的室內視頻，沒有任何三維標注。在訓練過程中，它額外引入一個凍結的（不更新參數的）三維基礎模型作為"老師"。這位老師的職責不是在推理時幫忙，而是在訓練時提供幾何知識的參考答案。訓練完成后，老師退場，學生獨立上陣。

**四道幾何題，重塑模型的空間大腦**

GeoVR在訓練階段給多模態大語言模型布置了四道幾何題，每道題都從不同角度逼迫模型發展出真正的空間感知能力。這四道題緊密配合，缺一不可。

第一道題叫做"攝像機姿態估計"。當你拿著手機繞著客廳走一圈拍視頻，手機的位置和朝向每一幀都在變化——向左轉了多少度、向前移動了多少厘米、俯仰角度變了多少。這些信息在專業上稱為"攝像機位姿"，包含了拍攝者的空間運動軌跡。GeoVR要求模型從視頻中預測出每一幀的攝像機姿態，具體來說是一個9維的數值向量：3個數描述位置平移、4個數描述旋轉方向（用四元數表示，這是描述三維旋轉的一種數學工具）、2個數描述視野角度。

為了讓模型完成這道題，研究團隊設計了一個專門的"攝像機令牌"——可以理解為在每一幀圖像的特征序列末尾塞入一個特殊的記憶槽，這個記憶槽會通過模型內部的注意力機制從周圍所有幀的視覺信息中匯聚空間線索，最終輸出攝像機姿態預測。訓練時用三維教師模型預測的姿態作為參考答案，用加權L1損失（一種衡量預測值與真實值之間差距的數學工具）來督促模型的預測越來越準。這道題的效果是：模型開始理解"觀察者在移動"這件事，從而發展出對多視角一致性的感知。

第二道題叫做"深度圖預測"。深度圖就是給圖像的每一個像素都貼上一個距離標簽——這個像素對應的物體距離攝像機多少米。對人類來說，這種感知是本能的（你不需要計算就知道遠處的山比近處的椅子更遠），但對只在二維圖像里生活的模型來說，這需要從像素顏色和紋理中推斷出真實的物理距離，是一項相當有挑戰性的任務。

GeoVR從模型內部的多個層次提取特征——淺層特征捕捉邊緣和紋理細節，深層特征包含語義理解，兩者共同輸入一個輕量化的DPT頭（一種專為密集預測設計的網絡結構，擅長把多尺度特征整合成高分辨率的輸出圖）。這個頭部網絡同時輸出深度圖和置信圖，置信圖告訴模型"我對哪個像素的深度估計更有把握"。損失函數結合了絕對誤差和梯度誤差（梯度可以理解為深度的變化速率，捕捉物體邊界處的深度跳變），并用置信圖動態調整各像素的權重。這道題的效果是：模型開始把每個視覺位置與真實的物理距離關聯起來，理解遮擋和空間布局。

第三道題叫做"公制尺度校準"。前兩道題解決的是"相對"關系：A比B遠、這里有個臺階。但現實問題往往需要"絕對"尺度：這張桌子有多少厘米高、這個房間有多少平方米。單靠相對深度圖，模型只知道某個物體是另一個物體的兩倍遠，卻不知道具體是1米還是10米。

為了解決這個問題，GeoVR引入了一個全局的"尺度令牌"。這是一個附加在整個視頻特征序列末尾的特殊標記，通過模型的全局注意力機制匯聚整段視頻里的所有空間線索，最終預測一個正實數——這個數就是把相對深度換算成真實物理距離的縮放系數。為了保證數值穩定（室內場景的尺度可能從厘米到幾十米不等，數值范圍極大），損失函數在對數空間里計算，可以理解為先把大數字"壓縮"再比較差距，確保各種規模的場景都能得到均衡的訓練信號。這道題的效果是：模型獲得了對真實物理尺度的感知能力，能夠在絕對意義上理解空間大小。

第四道題叫做"多尺度幾何表示對齊"。前三道題都是顯式的、有具體數值的預測任務。這道題則更像是一種"思維方式"的傳授：直接讓模型的內部特征在空間上向三維教師模型靠攏。研究團隊從三維教師模型（VGGT）的第5、12、18、24層分別提取中間特征，作為"幾何知識的樣本"，然后要求多模態大語言模型在對應深度的層次上，讓自己的特征盡可能接近這些樣本。

由于兩個模型的圖像分辨率處理方式不同（產生的特征圖大小不一樣），研究團隊設計了一個投影函數：先把多模態大語言模型的特征從一維序列恢復成二維空間網格，通過雙線性插值（一種平滑縮放圖像的數學方法）對齊到三維模型的特征尺寸，再用一個小型MLP（多層感知機，可以理解為幾層簡單的全連接網絡）調整特征維度，最后用余弦相似度來衡量兩個特征向量的"方向一致程度"并最小化差距。這道題覆蓋了模型的淺層到深層，確保幾何知識在各個抽象層次上都得到滲透，而非只在某一個層次上發生表面對齊。

這四道題在訓練時同時進行，與原來的語言預測任務共同優化，用超參數控制各自的權重比例。訓練結束后，承擔這四道題的所有額外網絡頭、三維教師模型全部丟棄，只留下被改造過內部結構的多模態大語言模型本身。

**數據從哪里來：視頻就是免費的幾何教材**

一個關鍵問題是：四道幾何題的"參考答案"從哪里獲得？總不能人工標注每一幀視頻的深度和攝像機姿態吧——那樣又回到了依賴昂貴標注的老路。

GeoVR的解決方案是把三維基礎模型（VGGT）當作一個零樣本的自動標注工具。VGGT經過大規模預訓練，只需輸入普通視頻幀，就能直接輸出攝像機姿態、深度圖等幾何信息，不需要任何額外標注。對于公制尺度，則借助另一個專門的公制深度模型（DepthAnything3的公制版本）來對齊相對深度圖，推導出全局尺度因子。

這樣一來，GeoVR的訓練數據完全是"自給自足"的：任意一段普通視頻進來，三維教師模型自動生成參考答案，多模態大語言模型在這些答案的督導下完成四道幾何題的訓練。整個流程不需要任何人工三維標注，可以輕松擴展到海量的網絡視頻數據。研究團隊實際使用的訓練數據是VSI-590K和VLM-3R兩個數據集的混合，共約數十萬條視頻樣本，訓練一輪即可。

**實驗成績：2B模型力壓8B競品，甚至超越GPT-5**

衡量空間理解能力，研究團隊使用了VSI-Bench這個專門的空間推理測試基準。這個測試集來自真實的室內掃描視頻，包含五千多道題，分成兩大類：需要給出具體數字的"數值答案題"（比如"這張椅子離門有多少米"）和需要在選項中選擇的"選擇題"（比如"哪個方向是臥室"）。八種具體任務涵蓋了物體計數、絕對距離、物體尺寸、房間大小、相對距離、相對方向、路徑規劃和出現順序。

GeoVR基于一個20億參數規模的基礎模型（Qwen3-VL-2B-Instruct）微調而來，最終在VSI-Bench的綜合得分上達到69.1分。這個成績意味著什么？對比一下就清楚了。原始的Qwen3-VL-2B基礎模型得50.3分，GeoVR提升了整整18.8分，提升幅度接近40%。GPT-5在這個測試上得55分，被GeoVR以14分的優勢甩在身后。Gemini 2.5 Pro得53.5分，同樣遠落后于GeoVR。在開源的專用空間智能模型中，SpaceMind-8B得69.6分、VLM-3R-7B得60.9分——注意，這兩個模型的參數量是GeoVR的四倍，而且在推理時都需要外掛三維模型，帶來大量額外計算。GeoVR以五分之一不到的參數量（2B對比8B）、零額外推理開銷，取得了與最強競品相當甚至更優的成績。

具體拆解各項任務，GeoVR在幾個關鍵指標上表現尤為突出。絕對距離任務得54.5分，高于大多數競品；房間大小任務得72.3分，處于同檔位最高水平；出現順序任務得86.7分，在所有對比模型中幾乎排名第一。這些任務恰好是最需要真實三維感知能力的方向，與GeoVR的設計目標高度吻合。

**深挖實驗：每道幾何題究竟貢獻了什么**

研究團隊還做了一系列消融實驗，逐一驗證四道幾何題各自的貢獻（消融實驗可以理解為"一道一道摘掉零件，看整體性能如何變化"）。

僅使用語言預測任務作為基線，得分為56.7。單獨加入攝像機姿態估計任務，得分跳到59.8，相對方向這項指標從57.7飆升到66.9——這很直觀，因為理解攝像機在移動直接幫助模型判斷方向關系。單獨加入深度預測任務，得分同樣到59.7，房間大小這項指標從48.8躍升到62.5——因為理解深度直接幫助模型感知房間的空間尺度。兩者合并，得分升到60.3，說明兩道題注入的是互補而非重疊的空間知識。再加入尺度校準，得分到60.9，驗證了"知道多遠"和"知道多遠的絕對數值"是兩種不同層次的空間感知。最終把幾何表示對齊也加進來，四道題全部激活，得分達到62.1，是所有組合里的最高點。值得注意的是，單獨使用幾何表示對齊的得分只有57.5，說明這道題如果脫離了前三道顯式幾何任務的物理錨定，效果會大打折扣——四者協同才能真正重塑模型的空間認知。

在選擇哪個三維模型作為教師方面，研究團隊對比了VGGT、VGGT-Ω（VGGT的改進版）和DepthAnything3。出乎意料的是，標準版VGGT（62.1分）反而比改進版VGGT-Ω（60.7分）表現更好。原因在于VGGT-Ω為了降低計算成本，把一部分全局注意力替換成了"寄存器注意力"（一種更聚合的注意力機制），這雖然節省了計算，卻損失了密集圖像特征里的精細空間對應關系，作為老師時傳授的幾何知識就沒那么精準了。DepthAnything3（58.7分）表現最弱，可能因為其架構主要優化深度估計，對攝像機姿態和多視角一致性的建模不如VGGT全面。

在特征對齊的層次選擇上，研究團隊發現均勻覆蓋整個網絡深度（第5、12、18、24層全部對齊）的策略（59.67分）明顯優于只對齊單個層次（單層對齊約57-58分）或只對齊兩個不均衡層次（56-57分）的策略。這說明幾何知識需要在淺層到深層的所有尺度上都得到滲透，只做表面對齊是不夠的。

在深度預測網絡結構的選擇上，研究團隊對比了三種設計：純MLP頭（參數量1360萬）、標準DPT頭（參數量3270萬）和融合了卷積與MLP的混合Dense頭（參數量3230萬）。Dense頭在使用L1損失時性能最好，達到60.30分。這反映了空間推理任務更需要絕對精度而非相對尺度的不變性，所以優先選擇了對絕對誤差更敏感的L1損失，而非對尺度變化更寬容的SILog損失。

**特征可視化：用"思維彩照"看清改造效果**

研究團隊最后用兩種直觀的可視化方式證明了GeoVR確實在模型內部發生了真正的改變。一種是PCA投影（可以理解為把高維的內部特征"壓縮"成可以用顏色顯示的三維數據），結果顯示，經過GeoVR改造的模型，同一個物體在不同角度下呈現出一致的顏色，物體邊界清晰，整體色彩分布規律，與VGGT的幾何特征高度相似；而原始Qwen3-VL的特征則色彩混亂、邊界模糊，完全看不出幾何規律。另一種是直接用GeoVR預測出的深度圖和攝像機姿態，把視頻里的像素投影回三維空間，重建出點云。結果顯示，GeoVR重建出的三維點云雖然比VGGT專業模型略顯粗糙，但基本的空間結構和房間布局是清晰可辨的——這是一個只做過二維視頻訓練、完全沒有接觸過三維重建任務的模型做到的事情。

說到底，GeoVR做的事情可以用一句話概括：把三維世界的幾何智慧，以一種訓練時借力、推理時自立的方式，悄悄注入了多模態大語言模型的思維方式里。它不需要你去采集昂貴的點云數據，不需要推理時扛著兩個大模型跑，只需要一段普通的室內視頻，加上四道精心設計的幾何練習題，就讓模型從根本上學會了用立體的眼光看世界。

這意味著，未來的家用機器人在幫你整理房間時，不再需要昂貴的激光雷達就能判斷椅子的位置；輔助視障人士的AI眼鏡可以更準確地告知"前方臺階距您1.2米"；工廠里的AI質檢系統可以更可靠地判斷零件尺寸是否符合規格。這些應用的背后，都需要AI真正理解空間——而GeoVR提供了一條成本可控、效果出色的實現路徑。

研究團隊表示，未來計劃把GeoVR的框架擴展到更大規模的模型和更多類型的數據上，并探索其在更復雜的空間智能任務中的潛力。有興趣深入了解技術細節的讀者，可以通過編號arXiv:2606.05833查閱完整論文，代碼也將在GitHub上的WHB139426/GeoVR-MLLM倉庫公開。

Q&A

Q1：GeoVR框架訓練完成后，推理階段需要額外的三維模型參與嗎？

A：不需要。GeoVR的三維教師模型（如VGGT）和所有輔助的幾何預測網絡頭，只在訓練階段發揮作用，用來提供參考答案和監督信號。訓練結束后，這些額外組件全部丟棄，推理時只運行被改造過的多模態大語言模型本身，沒有任何額外計算開銷，也不需要真實的三維數據輸入。

Q2：GeoVR的四道幾何任務分別解決了什么問題？

A：四道任務各自補足空間感知的不同維度。攝像機姿態估計幫助模型理解多視角下的視點變化；深度圖預測讓模型感知每個像素的物理距離；公制尺度校準把相對距離轉換為真實的絕對物理尺寸；多尺度幾何表示對齊則通過特征層面的知識蒸餾，讓模型的內部思維方式在淺層到深層都接近專業三維模型的幾何理解方式。四者協同效果最好，單獨使用任意一道任務的提升效果均有限。

Q3：VSI-Bench上GeoVR得分69.1意味著什么水平？

A：這個得分讓GeoVR超越了GPT-5（55分）、Gemini 2.5 Pro（53.5分）等頂級商業大模型，也超越了Cambrian-S-7B（67.5分）、VLM-3R-7B（60.9分）等參數量更大的開源專用空間模型，與SpaceMind-8B（69.6分）基本持平。GeoVR僅使用20億參數，是許多競品的四分之一規模，且推理時無需外掛三維模型，性價比在當前同類方案中處于最高水平。