文/熊逾格

編輯/子夜

3月17日，NVIDIA GTC 2026大會，理想汽車基座模型負責人詹錕發(fā)表演講，發(fā)布了下一代自動駕駛基礎(chǔ)模型MindVLA-o1。

18日，理想汽車董事長兼CEO李想在B站發(fā)布了其與基座模型負責人詹錕的對話，對MindVLA-o1進行了進一步的解讀。

這是一個將視覺、語言與行動統(tǒng)一進同一架構(gòu)的原生多模態(tài)模型，采用多模態(tài)MoE Transformer架構(gòu)，融合3D視覺編碼、世界模型與推理能力。

理想給出MindVLA-o1的能力：讓自動駕駛看得更遠、想得更深、行得更穩(wěn)、進化更快、部署更高效。

作為一個VLA（Vision-Language-Action Model）模型，MindVLA-o1帶來的想象空間格外大。

“當視覺、語言和行動統(tǒng)一到一個模型中時，它不再只是自動駕駛模型，而是在逐漸演化為面向物理世界的通用智能體。基于同一套VLA模型，不僅可以控制車輛，也能夠擴展到機器人。”詹錕在GTC上總結(jié)。

聚光燈下，理想朝著具身智能企業(yè)又邁進了一步。

1、感知、思考與行為，通往物理AI的三把鑰匙

要理解MindVLA-o1，需要先理解當下自動駕駛主流技術(shù)的問題。

最初，智駕技術(shù)的邏輯相當“樸素”。工程師給駕駛系統(tǒng)寫清楚規(guī)則，遇到不同的路況執(zhí)行不同規(guī)則，再配上一張把每條路都畫清楚的高精地圖——但規(guī)則無窮無盡，永遠會有下一個“例外”。

2021年前后，自動駕駛行業(yè)第一場技術(shù)轉(zhuǎn)型開始：工程師直接把大量人類駕駛數(shù)據(jù)喂給模型，讓模型自己學習。端到端模型輸入視覺信號，輸出實際操作，直接學習人類駕駛行為。

這恰好也符合行業(yè)的直覺，越多的駕駛數(shù)據(jù)，效果越好，數(shù)據(jù)價值得到強調(diào)。

正是從這一年，理想開始自研輔助駕駛，并在2024年轉(zhuǎn)向端到端模型，但這條路走到2025年，理想發(fā)現(xiàn)，當訓練數(shù)據(jù)到達更大規(guī)模，天花板逐漸浮現(xiàn)。

理想透露，當訓練數(shù)據(jù)積累到1000萬條Clips之后，公司研發(fā)團隊等了5個月，模型平均接管里程只增長了2倍左右，遠低于預期。

李想曾對端到端模型打了個不客氣的比喻：“猴子開車”——端到端的本質(zhì)是模仿學習，模型能學會開車的動作，但永遠不理解物理世界。

沒有因果推理，模型無法理解違反常理的行為；沒有深度思考，只憑模式匹配無法進行復雜決策；安全意識不足，遇到復雜場景無法進行預防性判斷。

“今天無論是具身的AI在工作，在訓練，都是看著2D視頻。但這并不是人類在物理世界真正的工作方式。”李想解釋，“大部分搞模型的，都想直接做成年以后要做的事，拼命訓練。但0-6歲孩子最重要的訓練空間、訓練能力，根本沒解決。”

人類在童年建立起對世界認知，在三維空間跌倒再爬起，通過真實的感知和反饋，校準對距離和速度的判斷。而AI跳過了這個階段，無論如何學不會理解“開車”。

這是VLA出現(xiàn)的背景。感知、思考與行為，從架構(gòu)設(shè)計之初，三種模態(tài)就被放入同一表示空間中進行統(tǒng)一訓練。

2025年8月，理想隨理想i8交付推出全球首個量產(chǎn)上車的VLA司機大模型。而MindVLA-o1是在其基礎(chǔ)上的最新成果。

MindVLA-o1核心設(shè)計 ，圖源GTC演講

這一次更新，整個架構(gòu)基于MoE（混合專家架構(gòu)），在擴大模型容量的同時控制激活參數(shù)規(guī)模，被重新設(shè)計為三層：

首先是感知層。

理想設(shè)計了自監(jiān)督的3D ViT（3D Vision Transformer，三維視覺轉(zhuǎn)換器）視覺編碼器。訓練時同時引入視覺與LiDAR（激光探測與測距）兩路數(shù)據(jù)——前者提供豐富的語義信息，后者提供準確的三維幾何結(jié)構(gòu)，讓模型在同一表示空間中同時學習幾何與語義。

自監(jiān)督3D視覺編碼器架構(gòu)，圖源GTC演講

為進一步提升場景理解能力，訓練中還引入了前饋式3DGS（3D Gaussian Splatting，三維高斯?jié)姙R）場景表示：系統(tǒng)將場景分解為靜態(tài)環(huán)境與動態(tài)物體分別建模，以“下一狀態(tài)預測”作為自監(jiān)督信號，驅(qū)動模型同時學習深度信息、語義結(jié)構(gòu)與物體運動。

最終得到的3D ViT表示融合了空間結(jié)構(gòu)與時間上下文信息，為后續(xù)的思考與行動層提供高質(zhì)量的三維世界表示。

針對3D感知，訓練數(shù)據(jù)配比也完成重構(gòu)，大量融入3D數(shù)據(jù)和自動駕駛圖文數(shù)據(jù)，主動壓縮文史類數(shù)據(jù)比例，并加入未來幀預測生成和稠密深度預測任務，專門激發(fā)模型對3D空間的理解與推理能力。

其次是思考層。

思考層由三個相互配合的機制構(gòu)成：顯式推理、未來預測和快慢思考協(xié)同。

語言模型引入了 System-2式（慢思考系統(tǒng)）的顯式推理機制——區(qū)別于直覺式的快速反應，模型能在復雜場景中進行更深入的分析與決策。

在此基礎(chǔ)上，模型還內(nèi)嵌了Predictive Latent World Model（預測式隱世界模型），讓自動駕駛不只理解“當前發(fā)生了什么”，還能模擬“接下來會發(fā)生什么”。

由于直接生成未來圖像的計算成本過高，理想選擇在Latent Space（隱空間）中完成預測：系統(tǒng)首先將當前視覺輸入編碼為一組Latent Tokens（隱變量令牌），作為場景的緊湊表示，再由世界模型基于這些令牌推演未來狀態(tài)。

預測式隱世界模型架構(gòu)，圖源GTC演講

這套世界模型經(jīng)歷了三階段訓練：第一階段用海量視頻打底，讓模型學會在隱空間里表征未來；第二階段在MindVLA-o1框架內(nèi)強化未來推演能力；第三階段則將世界模型、多模態(tài)推理與駕駛行為三者拉到同一目標下聯(lián)合優(yōu)化。

快慢思考機制也被整合進同一模型：簡單場景下，模型直接輸出Action Token（動作令牌），不走推理鏈；復雜場景下，先經(jīng)過一段固定簡短的CoT（思維鏈）模板，再輸出動作。

在效率設(shè)計上，針對思維鏈采用小詞表加投機推理大幅提速；動作令牌在同一Transformer內(nèi)以雙向注意力機制一次性并行輸出，思維鏈推理則在因果注意力機制下逐字解碼，兩者并存于同一模型中。

最后是行動層。

行動層采用三層遞進設(shè)計：Action Expert（動作專家模塊）負責生成軌跡，Parallel Decoding（并行解碼）保證輸出速度，Discrete Diffusion Refinement（離散擴散優(yōu)化）負責精修質(zhì)量。

統(tǒng)一行為生成架構(gòu)，圖源GTC演講

具體來看，Action Expert從3D場景特征、導航目標、駕駛指令中提取關(guān)鍵信息，結(jié)合多模態(tài)推理生成初始駕駛軌跡。軌跡生成后，Parallel Decoding讓所有軌跡點同時輸出，而非逐點生成，在長序列軌跡預測場景中，效率優(yōu)勢尤為突出。

Discrete Diffusion Refinement隨后對并行生成的軌跡進行多輪迭代優(yōu)化，類似逐步去噪，最終使軌跡在空間上連續(xù)、時間上穩(wěn)定，并滿足車輛動力學約束——整個Diffusion（擴散）過程通過ODE（常微分方程）采樣器壓縮至2-3步完成。

Diffusion模型還同時預測自車與周圍車輛、行人的軌跡，通過聯(lián)合建模提升復雜交通場景中的博弈能力。對于仍存在偏差的長尾工況，則通過RLHF（基于人類反饋的強化學習）加以修正：篩選大量接管數(shù)據(jù)建立人類偏好數(shù)據(jù)集，微調(diào)模型的采樣過程，使其逐步對齊人類駕駛行為，安全下限隨偏好數(shù)據(jù)的積累持續(xù)提升。

從看得到，到想得到，再到做得到，這是一場從感知層開始的重建，最終落地于行動層的執(zhí)行，形成一個完整的閉環(huán)。但對于實際應用來說，這還遠遠不是終點。

2、從學術(shù)到落地，理想如何跑通？

一套方案能夠在實驗室里跑通，和能裝進量產(chǎn)車里落地，是兩件完全不同的事。

MindVLA-o1面對的第一個挑戰(zhàn)，是難以避免的算力難題。

模型搭載的3D ViT編碼器，復雜度遠遠超過主流的“2D方案”，對端側(cè)算力提出更高的要求。

李想與詹錕談論馬赫100芯片，圖源GTC演講

理想的解法是一顆自研芯片“馬赫100”。

它是中國首個采用數(shù)據(jù)流原生架構(gòu)的車規(guī)級5納米芯片，天然適配AI推理計算。在標準的大規(guī)模矩陣乘計算任務上，馬赫100性能較上一代提升約3倍；兩顆馬赫100實際運行VLA大模型時的有效算力，是英偉達Thor-U的5到6倍。

在馬赫100上，理想成功部署參數(shù)規(guī)模達上一代6倍、計算量提升10倍的VLA模型，實現(xiàn)運行幀率更高，推理速度更快，從傳感器輸入到車輛執(zhí)行輸出，整體延時僅200到300毫秒。

此外，馬赫100還取消了上一代XCU控制器，聯(lián)合星環(huán)OS整合替代，單顆BOM成本大幅低于外購方案。

解決了算力難題，訓練成本問題成了第二個“攔路虎”。

3D ViT要大規(guī)模預訓練，強化學習要在仿真環(huán)境里反復迭代。傳統(tǒng)的逐步優(yōu)化式重建太慢，無法支撐大規(guī)模并行訓練。

為此，理想與NVIDIA團隊共建了3D Gaussian Splatting渲染引擎及分布式訓練框架，渲染速度提升近2倍，整體訓練成本降低約75%。

在這個過程中，理想的世界模擬器也升級為前饋式場景重建，可以瞬時生成大規(guī)模高保真駕駛場景，模擬環(huán)境還能擴展、編輯和生成新場景，不只是復現(xiàn)真實世界。

最后的難題，落在車端的部署。

高精度的模型跑不進車端，能跑進去的精度又不夠。為了讓模型匹配車端，傳統(tǒng)做法是大量實驗反復調(diào)整模型結(jié)構(gòu)，但這通常需要數(shù)月時間。

為了達到更高的效率，理想一方面在模型上通過Sparse Attention（稀疏注意力）機制，進一步提升稀疏化率，保障端側(cè)實時推理效率。

另一方面提出了軟硬件協(xié)同設(shè)計定律：

結(jié)合Roofline模型刻畫硬件計算能力和內(nèi)存帶寬的限制，在模型性能與硬件約束之間建立統(tǒng)一的分析框架，在約2000種架構(gòu)配置里尋找精度與推理延遲的最優(yōu)解。

經(jīng)過實驗得出的最終結(jié)論相當“反直覺”：算力受限的條件下，“更寬更淺”的模型比“更深”的模型更高效。

憑借這一成果，理想將架構(gòu)探索時間從數(shù)月縮短至幾天。

三道大山一一翻過去，VLA模型帶來的變化肉眼可見。

例如，今年1月理想更新的OTA 8.2車機系統(tǒng)，在世界模型中加入了毫秒級方向盤和電門動作數(shù)據(jù)，讓VLA進行行為強化學習——橫縱向控制不再機械跟隨預設(shè)參數(shù)，基于對當前場景的綜合理解動態(tài)輸出。

在人車混行路段、小路通行、窄路會車等七個典型城區(qū)場景里，它的表現(xiàn)格外突出：例如，在人車混行路段，車輛實時預測行人和非機動車的運動意圖，橫向避讓與縱向調(diào)速同步規(guī)劃；在小路通行時，加減速更細膩，動靜態(tài)障礙物都能合理避讓；在窄路會車，車速和橫向位置自動調(diào)整，縱向減速平穩(wěn)沒有頓挫。

MindVLA-o1模型通過自研語言指令理解環(huán)境語義，圖源GTC演講

在一般場景下，VLA能力也有更多變化。例如，語言指令可以直接改變駕駛行為，“開快點，我趕時間”這類說法，模型能夠理解并執(zhí)行了。

據(jù)理想透露，截至2025年底，VLA月使用率80%，VLA指令使用次數(shù)1225.4萬次。用戶最常用的三個指令是左右變道、直行、加減速。

最終，降本、加速、算力，三點合力使得MindVLA-o1模型具備量產(chǎn)條件，而不是停留在紙面。

3、結(jié)語

在GTC上，MindVLA-o1的一個演示片段，無關(guān)自動駕駛，而是駕馭一條機械臂，輕輕拿起一瓶養(yǎng)樂多，倒進桌上的杯子里。

MindVLA-o1模型的三個不同演示場景，圖源GTC演講

為什么一個為自動駕駛設(shè)計的模型，能夠操作機械臂？

理想的解釋是，同一套VLA模型可以驅(qū)動不同形態(tài)的物理智能體，自動駕駛與機器人控制共用同一套模型與數(shù)據(jù)體系。不同執(zhí)行器，本質(zhì)上對這套模型來說卻是同一類問題——理解環(huán)境、推理意圖、生成動作序列。

截至2025年11月，理想一共累計近15億公里的駕駛數(shù)據(jù)。

如果我們進一步深思，就會發(fā)現(xiàn)這樣的邏輯：理想正在用大規(guī)模的駕駛數(shù)據(jù)，做通用物理AI的預訓練。

短短數(shù)年，當人們再次審視理想這家公司，不難發(fā)現(xiàn)它已經(jīng)在通往具身智能的路上走了相當遠。

2025年，理想研發(fā)投入113億元，AI相關(guān)占比50%；2026年1月，理想將研發(fā)團隊按“造硅基人”的邏輯重構(gòu)為四大體系——臟器、腦、軟件、硬件；2026年Q2，馬赫100將完成量產(chǎn)上車。

“人工智能就是在造人。Agent是數(shù)字化的人，具身是物理化的人，只是它是硅基的人，不是我們碳基的。”李想稱，L4自動駕駛的汽車，會是生活中一個最重要的硅基人。

他表示，未來3到5年中高端汽車的競爭，本質(zhì)上是具身智能的競爭。過去，從功能機到智能手機的演進，來自芯片和操作系統(tǒng)的改變，而在具身智能時代，改變對應的是芯片和模型的Co-Design。

這份認知驅(qū)動著理想，從2022年自研芯片，到2023年構(gòu)建基座模型，一步步將能力向底層收攏。

如今，理想已經(jīng)搭建起一套從算力、感知到?jīng)Q策的完整體系，其定位也從“造車公司”，轉(zhuǎn)向“以汽車為載體的物理AI公司”。汽車不再只是產(chǎn)品，而是規(guī)模化落地與持續(xù)訓練的現(xiàn)實世界接口。

因此，MindVLA-o1的意義，遠不止性能提升。它標志著一種范式的轉(zhuǎn)變：模型開始真正進入三維世界，從對輸入的被動響應，轉(zhuǎn)向?qū)Νh(huán)境的主動建模與推演。

自動駕駛的邊界正在變得模糊，跨越界線，理想的物理AI之路，或許才剛剛開始。

（本文頭圖來源于理想汽車官網(wǎng)。）