文/熊逾格

編輯/子夜

3月17日，NVIDIA GTC 2026大會(huì)，理想汽車(chē)基座模型負(fù)責(zé)人詹錕發(fā)表演講，發(fā)布了下一代自動(dòng)駕駛基礎(chǔ)模型MindVLA-o1。

18日，理想汽車(chē)董事長(zhǎng)兼CEO李想在B站發(fā)布了其與基座模型負(fù)責(zé)人詹錕的對(duì)話(huà)，對(duì)MindVLA-o1進(jìn)行了進(jìn)一步的解讀。

這是一個(gè)將視覺(jué)、語(yǔ)言與行動(dòng)統(tǒng)一進(jìn)同一架構(gòu)的原生多模態(tài)模型，采用多模態(tài)MoE Transformer架構(gòu)，融合3D視覺(jué)編碼、世界模型與推理能力。

理想給出MindVLA-o1的能力：讓自動(dòng)駕駛看得更遠(yuǎn)、想得更深、行得更穩(wěn)、進(jìn)化更快、部署更高效。

作為一個(gè)VLA（Vision-Language-Action Model）模型，MindVLA-o1帶來(lái)的想象空間格外大。

“當(dāng)視覺(jué)、語(yǔ)言和行動(dòng)統(tǒng)一到一個(gè)模型中時(shí)，它不再只是自動(dòng)駕駛模型，而是在逐漸演化為面向物理世界的通用智能體?；谕惶譜LA模型，不僅可以控制車(chē)輛，也能夠擴(kuò)展到機(jī)器人?！闭插K在GTC上總結(jié)。

聚光燈下，理想朝著具身智能企業(yè)又邁進(jìn)了一步。

1、感知、思考與行為，通往物理AI的三把鑰匙

要理解MindVLA-o1，需要先理解當(dāng)下自動(dòng)駕駛主流技術(shù)的問(wèn)題。

最初，智駕技術(shù)的邏輯相當(dāng)“樸素”。工程師給駕駛系統(tǒng)寫(xiě)清楚規(guī)則，遇到不同的路況執(zhí)行不同規(guī)則，再配上一張把每條路都畫(huà)清楚的高精地圖——但規(guī)則無(wú)窮無(wú)盡，永遠(yuǎn)會(huì)有下一個(gè)“例外”。

2021年前后，自動(dòng)駕駛行業(yè)第一場(chǎng)技術(shù)轉(zhuǎn)型開(kāi)始：工程師直接把大量人類(lèi)駕駛數(shù)據(jù)喂給模型，讓模型自己學(xué)習(xí)。端到端模型輸入視覺(jué)信號(hào)，輸出實(shí)際操作，直接學(xué)習(xí)人類(lèi)駕駛行為。

這恰好也符合行業(yè)的直覺(jué)，越多的駕駛數(shù)據(jù)，效果越好，數(shù)據(jù)價(jià)值得到強(qiáng)調(diào)。

正是從這一年，理想開(kāi)始自研輔助駕駛，并在2024年轉(zhuǎn)向端到端模型，但這條路走到2025年，理想發(fā)現(xiàn)，當(dāng)訓(xùn)練數(shù)據(jù)到達(dá)更大規(guī)模，天花板逐漸浮現(xiàn)。

理想透露，當(dāng)訓(xùn)練數(shù)據(jù)積累到1000萬(wàn)條Clips之后，公司研發(fā)團(tuán)隊(duì)等了5個(gè)月，模型平均接管里程只增長(zhǎng)了2倍左右，遠(yuǎn)低于預(yù)期。

李想曾對(duì)端到端模型打了個(gè)不客氣的比喻：“猴子開(kāi)車(chē)”——端到端的本質(zhì)是模仿學(xué)習(xí)，模型能學(xué)會(huì)開(kāi)車(chē)的動(dòng)作，但永遠(yuǎn)不理解物理世界。

沒(méi)有因果推理，模型無(wú)法理解違反常理的行為；沒(méi)有深度思考，只憑模式匹配無(wú)法進(jìn)行復(fù)雜決策；安全意識(shí)不足，遇到復(fù)雜場(chǎng)景無(wú)法進(jìn)行預(yù)防性判斷。

“今天無(wú)論是具身的AI在工作，在訓(xùn)練，都是看著2D視頻。但這并不是人類(lèi)在物理世界真正的工作方式?！崩钕虢忉?zhuān)按蟛糠指隳Ｐ偷?，都想直接做成年以后要做的事，拼命?xùn)練。但0-6歲孩子最重要的訓(xùn)練空間、訓(xùn)練能力，根本沒(méi)解決?！?/p>

人類(lèi)在童年建立起對(duì)世界認(rèn)知，在三維空間跌倒再爬起，通過(guò)真實(shí)的感知和反饋，校準(zhǔn)對(duì)距離和速度的判斷。而AI跳過(guò)了這個(gè)階段，無(wú)論如何學(xué)不會(huì)理解“開(kāi)車(chē)”。

這是VLA出現(xiàn)的背景。感知、思考與行為，從架構(gòu)設(shè)計(jì)之初，三種模態(tài)就被放入同一表示空間中進(jìn)行統(tǒng)一訓(xùn)練。

2025年8月，理想隨理想i8交付推出全球首個(gè)量產(chǎn)上車(chē)的VLA司機(jī)大模型。而MindVLA-o1是在其基礎(chǔ)上的最新成果。

MindVLA-o1核心設(shè)計(jì) ，圖源GTC演講

這一次更新，整個(gè)架構(gòu)基于MoE（混合專(zhuān)家架構(gòu)），在擴(kuò)大模型容量的同時(shí)控制激活參數(shù)規(guī)模，被重新設(shè)計(jì)為三層：

首先是感知層。

理想設(shè)計(jì)了自監(jiān)督的3D ViT（3D Vision Transformer，三維視覺(jué)轉(zhuǎn)換器）視覺(jué)編碼器。訓(xùn)練時(shí)同時(shí)引入視覺(jué)與LiDAR（激光探測(cè)與測(cè)距）兩路數(shù)據(jù)——前者提供豐富的語(yǔ)義信息，后者提供準(zhǔn)確的三維幾何結(jié)構(gòu)，讓模型在同一表示空間中同時(shí)學(xué)習(xí)幾何與語(yǔ)義。

自監(jiān)督3D視覺(jué)編碼器架構(gòu)，圖源GTC演講

為進(jìn)一步提升場(chǎng)景理解能力，訓(xùn)練中還引入了前饋式3DGS（3D Gaussian Splatting，三維高斯?jié)姙R）場(chǎng)景表示：系統(tǒng)將場(chǎng)景分解為靜態(tài)環(huán)境與動(dòng)態(tài)物體分別建模，以“下一狀態(tài)預(yù)測(cè)”作為自監(jiān)督信號(hào)，驅(qū)動(dòng)模型同時(shí)學(xué)習(xí)深度信息、語(yǔ)義結(jié)構(gòu)與物體運(yùn)動(dòng)。

最終得到的3D ViT表示融合了空間結(jié)構(gòu)與時(shí)間上下文信息，為后續(xù)的思考與行動(dòng)層提供高質(zhì)量的三維世界表示。

針對(duì)3D感知，訓(xùn)練數(shù)據(jù)配比也完成重構(gòu)，大量融入3D數(shù)據(jù)和自動(dòng)駕駛圖文數(shù)據(jù)，主動(dòng)壓縮文史類(lèi)數(shù)據(jù)比例，并加入未來(lái)幀預(yù)測(cè)生成和稠密深度預(yù)測(cè)任務(wù)，專(zhuān)門(mén)激發(fā)模型對(duì)3D空間的理解與推理能力。

其次是思考層。

思考層由三個(gè)相互配合的機(jī)制構(gòu)成：顯式推理、未來(lái)預(yù)測(cè)和快慢思考協(xié)同。

語(yǔ)言模型引入了 System-2式（慢思考系統(tǒng)）的顯式推理機(jī)制——區(qū)別于直覺(jué)式的快速反應(yīng)，模型能在復(fù)雜場(chǎng)景中進(jìn)行更深入的分析與決策。

在此基礎(chǔ)上，模型還內(nèi)嵌了Predictive Latent World Model（預(yù)測(cè)式隱世界模型），讓自動(dòng)駕駛不只理解“當(dāng)前發(fā)生了什么”，還能模擬“接下來(lái)會(huì)發(fā)生什么”。

由于直接生成未來(lái)圖像的計(jì)算成本過(guò)高，理想選擇在Latent Space（隱空間）中完成預(yù)測(cè)：系統(tǒng)首先將當(dāng)前視覺(jué)輸入編碼為一組Latent Tokens（隱變量令牌），作為場(chǎng)景的緊湊表示，再由世界模型基于這些令牌推演未來(lái)狀態(tài)。

預(yù)測(cè)式隱世界模型架構(gòu)，圖源GTC演講

這套世界模型經(jīng)歷了三階段訓(xùn)練：第一階段用海量視頻打底，讓模型學(xué)會(huì)在隱空間里表征未來(lái)；第二階段在MindVLA-o1框架內(nèi)強(qiáng)化未來(lái)推演能力；第三階段則將世界模型、多模態(tài)推理與駕駛行為三者拉到同一目標(biāo)下聯(lián)合優(yōu)化。

快慢思考機(jī)制也被整合進(jìn)同一模型：簡(jiǎn)單場(chǎng)景下，模型直接輸出Action Token（動(dòng)作令牌），不走推理鏈；復(fù)雜場(chǎng)景下，先經(jīng)過(guò)一段固定簡(jiǎn)短的CoT（思維鏈）模板，再輸出動(dòng)作。

在效率設(shè)計(jì)上，針對(duì)思維鏈采用小詞表加投機(jī)推理大幅提速；動(dòng)作令牌在同一Transformer內(nèi)以雙向注意力機(jī)制一次性并行輸出，思維鏈推理則在因果注意力機(jī)制下逐字解碼，兩者并存于同一模型中。

最后是行動(dòng)層。

行動(dòng)層采用三層遞進(jìn)設(shè)計(jì)：Action Expert（動(dòng)作專(zhuān)家模塊）負(fù)責(zé)生成軌跡，Parallel Decoding（并行解碼）保證輸出速度，Discrete Diffusion Refinement（離散擴(kuò)散優(yōu)化）負(fù)責(zé)精修質(zhì)量。

統(tǒng)一行為生成架構(gòu)，圖源GTC演講

具體來(lái)看，Action Expert從3D場(chǎng)景特征、導(dǎo)航目標(biāo)、駕駛指令中提取關(guān)鍵信息，結(jié)合多模態(tài)推理生成初始駕駛軌跡。軌跡生成后，Parallel Decoding讓所有軌跡點(diǎn)同時(shí)輸出，而非逐點(diǎn)生成，在長(zhǎng)序列軌跡預(yù)測(cè)場(chǎng)景中，效率優(yōu)勢(shì)尤為突出。

Discrete Diffusion Refinement隨后對(duì)并行生成的軌跡進(jìn)行多輪迭代優(yōu)化，類(lèi)似逐步去噪，最終使軌跡在空間上連續(xù)、時(shí)間上穩(wěn)定，并滿(mǎn)足車(chē)輛動(dòng)力學(xué)約束——整個(gè)Diffusion（擴(kuò)散）過(guò)程通過(guò)ODE（常微分方程）采樣器壓縮至2-3步完成。

Diffusion模型還同時(shí)預(yù)測(cè)自車(chē)與周?chē)?chē)輛、行人的軌跡，通過(guò)聯(lián)合建模提升復(fù)雜交通場(chǎng)景中的博弈能力。對(duì)于仍存在偏差的長(zhǎng)尾工況，則通過(guò)RLHF（基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)）加以修正：篩選大量接管數(shù)據(jù)建立人類(lèi)偏好數(shù)據(jù)集，微調(diào)模型的采樣過(guò)程，使其逐步對(duì)齊人類(lèi)駕駛行為，安全下限隨偏好數(shù)據(jù)的積累持續(xù)提升。

從看得到，到想得到，再到做得到，這是一場(chǎng)從感知層開(kāi)始的重建，最終落地于行動(dòng)層的執(zhí)行，形成一個(gè)完整的閉環(huán)。但對(duì)于實(shí)際應(yīng)用來(lái)說(shuō)，這還遠(yuǎn)遠(yuǎn)不是終點(diǎn)。

2、從學(xué)術(shù)到落地，理想如何跑通？

一套方案能夠在實(shí)驗(yàn)室里跑通，和能裝進(jìn)量產(chǎn)車(chē)?yán)锫涞兀莾杉耆煌氖隆?/p>

MindVLA-o1面對(duì)的第一個(gè)挑戰(zhàn)，是難以避免的算力難題。

模型搭載的3D ViT編碼器，復(fù)雜度遠(yuǎn)遠(yuǎn)超過(guò)主流的“2D方案”，對(duì)端側(cè)算力提出更高的要求。

李想與詹錕談?wù)擇R赫100芯片，圖源GTC演講

理想的解法是一顆自研芯片“馬赫100”。

它是中國(guó)首個(gè)采用數(shù)據(jù)流原生架構(gòu)的車(chē)規(guī)級(jí)5納米芯片，天然適配AI推理計(jì)算。在標(biāo)準(zhǔn)的大規(guī)模矩陣乘計(jì)算任務(wù)上，馬赫100性能較上一代提升約3倍；兩顆馬赫100實(shí)際運(yùn)行VLA大模型時(shí)的有效算力，是英偉達(dá)Thor-U的5到6倍。

在馬赫100上，理想成功部署參數(shù)規(guī)模達(dá)上一代6倍、計(jì)算量提升10倍的VLA模型，實(shí)現(xiàn)運(yùn)行幀率更高，推理速度更快，從傳感器輸入到車(chē)輛執(zhí)行輸出，整體延時(shí)僅200到300毫秒。

此外，馬赫100還取消了上一代XCU控制器，聯(lián)合星環(huán)OS整合替代，單顆BOM成本大幅低于外購(gòu)方案。

解決了算力難題，訓(xùn)練成本問(wèn)題成了第二個(gè)“攔路虎”。

3D ViT要大規(guī)模預(yù)訓(xùn)練，強(qiáng)化學(xué)習(xí)要在仿真環(huán)境里反復(fù)迭代。傳統(tǒng)的逐步優(yōu)化式重建太慢，無(wú)法支撐大規(guī)模并行訓(xùn)練。

為此，理想與NVIDIA團(tuán)隊(duì)共建了3D Gaussian Splatting渲染引擎及分布式訓(xùn)練框架，渲染速度提升近2倍，整體訓(xùn)練成本降低約75%。

在這個(gè)過(guò)程中，理想的世界模擬器也升級(jí)為前饋式場(chǎng)景重建，可以瞬時(shí)生成大規(guī)模高保真駕駛場(chǎng)景，模擬環(huán)境還能擴(kuò)展、編輯和生成新場(chǎng)景，不只是復(fù)現(xiàn)真實(shí)世界。

最后的難題，落在車(chē)端的部署。

高精度的模型跑不進(jìn)車(chē)端，能跑進(jìn)去的精度又不夠。為了讓模型匹配車(chē)端，傳統(tǒng)做法是大量實(shí)驗(yàn)反復(fù)調(diào)整模型結(jié)構(gòu)，但這通常需要數(shù)月時(shí)間。

為了達(dá)到更高的效率，理想一方面在模型上通過(guò)Sparse Attention（稀疏注意力）機(jī)制，進(jìn)一步提升稀疏化率，保障端側(cè)實(shí)時(shí)推理效率。

另一方面提出了軟硬件協(xié)同設(shè)計(jì)定律：

結(jié)合Roofline模型刻畫(huà)硬件計(jì)算能力和內(nèi)存帶寬的限制，在模型性能與硬件約束之間建立統(tǒng)一的分析框架，在約2000種架構(gòu)配置里尋找精度與推理延遲的最優(yōu)解。

經(jīng)過(guò)實(shí)驗(yàn)得出的最終結(jié)論相當(dāng)“反直覺(jué)”：算力受限的條件下，“更寬更淺”的模型比“更深”的模型更高效。

憑借這一成果，理想將架構(gòu)探索時(shí)間從數(shù)月縮短至幾天。

三道大山一一翻過(guò)去，VLA模型帶來(lái)的變化肉眼可見(jiàn)。

例如，今年1月理想更新的OTA 8.2車(chē)機(jī)系統(tǒng)，在世界模型中加入了毫秒級(jí)方向盤(pán)和電門(mén)動(dòng)作數(shù)據(jù)，讓VLA進(jìn)行行為強(qiáng)化學(xué)習(xí)——橫縱向控制不再機(jī)械跟隨預(yù)設(shè)參數(shù)，基于對(duì)當(dāng)前場(chǎng)景的綜合理解動(dòng)態(tài)輸出。

在人車(chē)混行路段、小路通行、窄路會(huì)車(chē)等七個(gè)典型城區(qū)場(chǎng)景里，它的表現(xiàn)格外突出：例如，在人車(chē)混行路段，車(chē)輛實(shí)時(shí)預(yù)測(cè)行人和非機(jī)動(dòng)車(chē)的運(yùn)動(dòng)意圖，橫向避讓與縱向調(diào)速同步規(guī)劃；在小路通行時(shí)，加減速更細(xì)膩，動(dòng)靜態(tài)障礙物都能合理避讓?zhuān)辉谡窌?huì)車(chē)，車(chē)速和橫向位置自動(dòng)調(diào)整，縱向減速平穩(wěn)沒(méi)有頓挫。

MindVLA-o1模型通過(guò)自研語(yǔ)言指令理解環(huán)境語(yǔ)義，圖源GTC演講

在一般場(chǎng)景下，VLA能力也有更多變化。例如，語(yǔ)言指令可以直接改變駕駛行為，“開(kāi)快點(diǎn)，我趕時(shí)間”這類(lèi)說(shuō)法，模型能夠理解并執(zhí)行了。

據(jù)理想透露，截至2025年底，VLA月使用率80%，VLA指令使用次數(shù)1225.4萬(wàn)次。用戶(hù)最常用的三個(gè)指令是左右變道、直行、加減速。

最終，降本、加速、算力，三點(diǎn)合力使得MindVLA-o1模型具備量產(chǎn)條件，而不是停留在紙面。

3、結(jié)語(yǔ)

在GTC上，MindVLA-o1的一個(gè)演示片段，無(wú)關(guān)自動(dòng)駕駛，而是駕馭一條機(jī)械臂，輕輕拿起一瓶養(yǎng)樂(lè)多，倒進(jìn)桌上的杯子里。

MindVLA-o1模型的三個(gè)不同演示場(chǎng)景，圖源GTC演講

為什么一個(gè)為自動(dòng)駕駛設(shè)計(jì)的模型，能夠操作機(jī)械臂？

理想的解釋是，同一套VLA模型可以驅(qū)動(dòng)不同形態(tài)的物理智能體，自動(dòng)駕駛與機(jī)器人控制共用同一套模型與數(shù)據(jù)體系。不同執(zhí)行器，本質(zhì)上對(duì)這套模型來(lái)說(shuō)卻是同一類(lèi)問(wèn)題——理解環(huán)境、推理意圖、生成動(dòng)作序列。

截至2025年11月，理想一共累計(jì)近15億公里的駕駛數(shù)據(jù)。

如果我們進(jìn)一步深思，就會(huì)發(fā)現(xiàn)這樣的邏輯：理想正在用大規(guī)模的駕駛數(shù)據(jù)，做通用物理AI的預(yù)訓(xùn)練。

短短數(shù)年，當(dāng)人們?cè)俅螌徱暲硐脒@家公司，不難發(fā)現(xiàn)它已經(jīng)在通往具身智能的路上走了相當(dāng)遠(yuǎn)。

2025年，理想研發(fā)投入113億元，AI相關(guān)占比50%；2026年1月，理想將研發(fā)團(tuán)隊(duì)按“造硅基人”的邏輯重構(gòu)為四大體系——臟器、腦、軟件、硬件；2026年Q2，馬赫100將完成量產(chǎn)上車(chē)。

“人工智能就是在造人。Agent是數(shù)字化的人，具身是物理化的人，只是它是硅基的人，不是我們碳基的?！崩钕敕Q(chēng)，L4自動(dòng)駕駛的汽車(chē)，會(huì)是生活中一個(gè)最重要的硅基人。

他表示，未來(lái)3到5年中高端汽車(chē)的競(jìng)爭(zhēng)，本質(zhì)上是具身智能的競(jìng)爭(zhēng)。過(guò)去，從功能機(jī)到智能手機(jī)的演進(jìn)，來(lái)自芯片和操作系統(tǒng)的改變，而在具身智能時(shí)代，改變對(duì)應(yīng)的是芯片和模型的Co-Design。

這份認(rèn)知驅(qū)動(dòng)著理想，從2022年自研芯片，到2023年構(gòu)建基座模型，一步步將能力向底層收攏。

如今，理想已經(jīng)搭建起一套從算力、感知到?jīng)Q策的完整體系，其定位也從“造車(chē)公司”，轉(zhuǎn)向“以汽車(chē)為載體的物理AI公司”。汽車(chē)不再只是產(chǎn)品，而是規(guī)?；涞嘏c持續(xù)訓(xùn)練的現(xiàn)實(shí)世界接口。

因此，MindVLA-o1的意義，遠(yuǎn)不止性能提升。它標(biāo)志著一種范式的轉(zhuǎn)變：模型開(kāi)始真正進(jìn)入三維世界，從對(duì)輸入的被動(dòng)響應(yīng)，轉(zhuǎn)向?qū)Νh(huán)境的主動(dòng)建模與推演。

自動(dòng)駕駛的邊界正在變得模糊，跨越界線(xiàn)，理想的物理AI之路，或許才剛剛開(kāi)始。

（本文頭圖來(lái)源于理想汽車(chē)官網(wǎng)。）