機器之心發布

在邁向通用人工智能（AGI）的過程中，世界模型被視為讓機器理解物理規律、實現空間智能的關鍵。而高效、魯棒和精準的三維感知能力，被廣泛認為是世界模型的首要前提。通常來說，一個成熟的世界模型需要具備三大核心能力：對長時空序列的持續記憶、對復雜動力學的因果解耦、以及對高清物理細節的精細感知。近期，魔芯科技（KOKONI 3D）聯合同濟大學（祝瀾耘教授團隊）等多個科研團隊，基于視覺幾何 Transformer（VGGT）架構連續發布四項成果。該系列工作系統性地突破了三維感知在流式處理、動態魯棒性和精細感知上的瓶頸，實現了從基礎圖像重建到高保真 4D 世界模型的跨越。

一、三維感知的核心約束：長時序、強動態與高精度的系統性瓶頸

在真實工業級場景中，三維感知模型面臨的挑戰不僅在于精度本身。當輸入分辨率提升、場景引入動態變化、數據形式擴展為視頻流時，傳統架構的算力、算法與內存資源將同時承壓。具體而言，存在三大核心難題：

1.無限序列與有限內存的沖突： 現有的流式重建方法在處理長視頻流輸入時，模型的 KV 緩存會隨輸入幀數呈線性增長，隨著時間推移而引發顯存溢出。這意味著，即便單幀重建精度再高，模型也無法在有限顯存下完成對無限長序列的持續推理，長視頻理解的 “記憶瓶頸” 由此形成。

2.動與靜的糾纏： 在動態場景中，移動的物體會對相機位姿估計產生嚴重干擾。傳統模型難以區分 “相機自身的運動” 與 “場景中物體的獨立運動”，導致兩套運動信號相互污染。其后果是，靜態背景被錯誤地扭曲變形，動態物體的結構出現坍塌或 “鬼影”，整個重建結果的幾何一致性被徹底破壞。

3.算力與精度的矛盾：高分辨率特征承載著豐富的物理細節（如細薄結構、紋理邊緣），但特征維度的提升會引發 Token 數量的顯著增長。當模型致力于捕獲更精細的幾何表征時，顯存占用迅速攀升直至溢出。這使得模型在精度追求與算力約束之間面臨兩難：若降低特征分辨率則細節丟失，若維持高分辨表達則顯存難以為繼。

二、 三維感知能力的系統性重構：長效記憶、因果解耦與高保真感知

針對上述三大技術瓶頸，魔芯科技聯合同濟大學（祝瀾耘教授團隊）等機構，基于 VGGT 架構提出了三項系統性創新：長效時空記憶、動力學解耦與高保真感知，分別從序列、動態、分辨率三個維度切入，逐一攻克三維感知的核心難題，全方位支撐空間智能世界模型的構建。

1、流式序列重建：賦予世界模型 “長效時空記憶”

• 論文鏈接：https://arxiv.org/abs/2604.15237

一個實用的世界模型不能只具備 “瞬時感知”，必須能像生物一樣持續處理無限流式信息并保持長久記憶。然而，當處理長視頻流時，網絡的 KV Cache 會隨幀數線性增長，迅速榨干顯存。針對這一痛點，魔芯團隊提出 StreamCacheVGGT，使用創新的記憶管理機制，在 O (1) 恒定顯存開銷下，實現了對無限長序列的高保真重建。

圖： StreamCacheVGGT 展示 O(1) 恒定顯存下的長效流式重建架構

該方法并非簡單壓縮或裁剪緩存，而是引入 “選擇性記憶” 的策略。通過跨層一致性評分（CLCES），模型能夠追蹤 Token 在不同 Transformer 層級中的穩定性表現，從而優先保留具有長期幾何意義的特征，同時抑制短期噪聲的干擾。

圖： 跨層一致性評分

在此基礎上，混合緩存壓縮機制創新 “三級分診” 策略。對于中等價值的信息，通過動態性地歸屬合并進行壓縮存儲而非生硬剔除。這種機制有效保存了低頻結構先驗，防止世界模型在長距離任務中出現幾何坍塌。

圖： 混合緩存壓縮

在 500 幀以上的 KITTI 長序列測試中，StreamCacheVGGT 在嚴格的 O (1）顯存限制下，將深度誤差 Abs Rel 降低至 0.123。相比傳統 “純剔除” 方案，其重建點云的表面完整度與局部細節顯著提升。而在多項可視化結果中，StreamCacheVGGT 也表現出了相比現有方法更完整、清晰且噪聲更少的重建效果。

2、4D 動態重建：解耦動力學規律，理解動態世界的 “因果”

• 論文鏈接：https://arxiv.org/pdf/2604.09366

• 論文鏈接：https://arxiv.org/pdf/2605.12027

真實世界是動靜結合的，能夠分離 “自我運動” 與 “物體運動” 是世界模型理解物理因果的核心。魔芯科技從漸進式解耦與不確定性建模兩個角度切入，顯著提升了動態場景下的重建穩定性。

在運動建模方面，團隊提出漸進式解耦策略，通過 “先穩定相機，再恢復動態” 的建模路徑，將相機位姿估計與場景幾何重建逐步分離。借助動態掩碼機制，模型能夠在初始階段屏蔽動態物體對位姿估計的干擾，從而建立更加穩定的參考系，隨后再對動態區域進行精細建模，實現動靜分離的重建效果。

為應對復雜視覺環境中的噪聲干擾，模型引入基于不確定性的建模方法來解構子空間投影，對多頭注意力進行自適應加權。這使模型能夠在信息混雜的場景中識別更具可靠性的運動信號，從而在劇烈動態變化下依然維持幾何結構的穩定輸出。

兩項成果在多項公開數據集上表現優異。在 DyCheck 動態幾何基準上，Accuracy Mean 指標提升了 15.4%；定性分析也顯示，該方法能有效抑制動態噪聲，恢復完整準確的物體結構，消除了動態場景中常見的 “鬼影” 現象。

3、 高保真感知：精細特征驅動高清幾何重建

• 論文鏈接:https://arxiv.org/pdf/2603.27222

對環境幾何細節的掌握程度是影響世界模型預測精度的關鍵因素。為此，魔芯科研團隊提出 HD-VGGT 解決了前饋式模型在處理高清輸入時的算力與精度的平衡問題：

層次化細節注入： 采用雙分支架構，在保持低分辨率全局一致性的基礎上，通過可學習特征上采樣將高清圖像中的高頻物理細節（如細薄燈桿、墻面紋理）精準注入幾何特征。

特征調制： 針對鏡面反射、弱紋理等視覺歧義區域，HD-VGGT 引入特征調制機制，自動識別并抑制不穩定的特征 Token，確保模型在復雜光照條件下依然能夠輸出規整、邊界銳利的高精度點云。

在實驗結果層面，HD-VGGT 在多項公開數據集上取得領先結果，特別是在 RealEstate10K 數據集上 AUC@30 達到 87.01%，刷新該數據集的記錄。此外，在深度估計任務上的多項定性結果也表明 HD-VGGT 能清晰還原燈桿、椅腿等細薄結構，解決傳統模型在高清輸入下的過平滑與偽影問題。

魔芯科技研究團隊負責人表示： “我們不僅是在做 3D/4D 重建，我們是在為機器視覺構建一套健壯的‘空間底層協議’。通過 VGGT 系列技術，我們賦予了模型精細的觸感（HD）、動態的洞察（4D）和持久的記憶（Streaming），這正是通往具備物理常識的高階世界模型的必經之路。”

此外，研究團隊在 4D 基座模型上更是取得了關鍵進展，證明了 3D/4D 場景建模同樣遵循 Scaling Law。通過將訓練數據規模擴展至百萬級以上，并將模型參數量提升至百億級別，我們實現了重建誤差的顯著下降，并獲得了穩定、長時一致的空間建模能力。

圖：實驗結果，隨著數據量的增加（左圖）和模型尺寸提升（右圖），模型精度持續提高（誤差降低）

基于堅實的技術進展，魔芯科技也取得了資本市場的進一步認可與支持，本輪獲得由富瀚微股份、聯融志道（聯想控股旗下基金）、浙創投的聯合投資，并且老股東持續跟投。據悉，魔芯科技后續將繼續加大對空間智能與世界模型技術的投入，重點推進三維 / 四維重建、空間理解、長視頻推理與交互式建模等核心能力的研發與落地。我們的目標始終是讓 AI 真正理解、生成并能與物理世界交互，為各產業場景提供關鍵支撐。