如果大語言模型只是預(yù)測(cè)下一個(gè) token，為什么它會(huì)表現(xiàn)出推理能力？這篇文章從一篇新論文出發(fā)，解釋模型推理時(shí)隱藏狀態(tài)如何從高維空間自組織到低維流形，也說明這項(xiàng)研究的邊界：它更像一次內(nèi)部動(dòng)力學(xué)體檢，而不是推理理論的終局。

如果大語言模型只是預(yù)測(cè)下一個(gè) token，為什么會(huì)表現(xiàn)出推理？這篇從推理流形論文出發(fā)，把低維流形、維度坍塌、信息體積翻譯成一個(gè)直覺：好的推理不是把世界壓扁，而是把混亂折成一條還能走的路。

① 文字接龍?jiān)趺撮L(zhǎng)出推理 → ② 什么是推理流形 → ③ 坍塌為什么不夠 → ④ 壓縮即智能的新補(bǔ)丁 → ⑤ Prompt 和結(jié)構(gòu)

開場(chǎng)：文字接龍，怎么長(zhǎng)出了推理？

如果你一路讀這個(gè)公眾號(hào)，會(huì)發(fā)現(xiàn)我們反復(fù)講過一句話：

大語言模型（LLM）的基本任務(wù)，是預(yù)測(cè)下一個(gè) token。

給它前文：

今天的天氣很

它預(yù)測(cè)后面可能是：

好 / 冷 / 熱 / 糟糕

給它前文：

如果 A 大于 B，B 大于 C，那么

它預(yù)測(cè)后面更可能是：

A 大于 C

這就是 next-token prediction。

聽起來很樸素。

甚至有點(diǎn)掃興。

因?yàn)槲覀冋嬲P(guān)心的是：

它為什么會(huì)解題？ 它為什么會(huì)寫代碼？ 它為什么會(huì)反思？ 它為什么能一步步推理？

如果 AI 只是文字接龍，那推理從哪里來？

這是所有理解大模型的人都會(huì)撞上的問題。

上一篇我們講了圖靈獎(jiǎng)三巨頭的三種 AI 態(tài)度：失控、自主目標(biāo)與后果感。

那篇文章把問題推向了后果空間：

AI 開始行動(dòng)之后，能不能預(yù)演自己的后果？

這篇文章把鏡頭拉回模型內(nèi)部：

AI 還在生成 token 的時(shí)候，所謂“推理”到底是什么形狀？

在 《馬爾可夫的幽靈》 里，我們講過：

從預(yù)測(cè)下一個(gè)字母，到預(yù)測(cè)下一個(gè)詞，再到預(yù)測(cè)下一步行動(dòng)，中間有一條連續(xù)的線。

在 《DeepSeek-R1：一個(gè)模型如何學(xué)會(huì)“思考”》 里，我們又講過：

當(dāng)模型被獎(jiǎng)勵(lì)“答對(duì)”時(shí)，它會(huì)學(xué)會(huì)把更多 token 用在中間推理上，像在草稿紙上演算。

但這些解釋仍然有一個(gè)缺口：

推理時(shí)，模型內(nèi)部到底發(fā)生了什么？

不是輸出文本看起來像推理。

不是 benchmark 分?jǐn)?shù)提高了。

而是模型在隱藏層里，怎樣組織信息？

最近有一篇論文提供了一個(gè)很有意思的觀察框架：

Reasoning emerges from constrained inference manifolds in large language models

可以粗略翻譯成：

推理從大語言模型中受約束的推理流形里涌現(xiàn)出來。

這個(gè)標(biāo)題很硬。

但它背后的直覺，其實(shí)可以講清楚：

AI 推理時(shí)，不是在高維空間里亂撞。它會(huì)把內(nèi)部狀態(tài)壓縮到某種低維結(jié)構(gòu)上。

更重要的是：

好的推理不是壓得越低越好，而是在壓縮之后還保留足夠的信息。

這句話，會(huì)給我們一直講的“壓縮即智能”補(bǔ)上一塊重要拼圖。

一、先說清楚：這不是推理理論的終局

這篇論文很有啟發(fā)。

但如果要認(rèn)真讀，第一件事不是興奮，而是先把它放對(duì)位置。

它不是在說：

我從數(shù)學(xué)第一性原理證明了 AI 為什么會(huì)推理。

它更像是在說：

我們把模型推理時(shí)的隱藏狀態(tài)拿出來， 看它們?cè)诟呔S空間里怎樣運(yùn)動(dòng)， 然后發(fā)現(xiàn)了一種穩(wěn)定的幾何現(xiàn)象。

所以，它首先是一篇實(shí)驗(yàn)性很強(qiáng)的內(nèi)部動(dòng)力學(xué)研究。

它有公式。

但這些公式不是牛頓定律那種“從此以后萬物按這個(gè)推導(dǎo)”的公式。

更準(zhǔn)確地說，它提出了一套診斷指標(biāo)。

就像醫(yī)生給人做體檢：

血壓 心率 血糖 血氧

這些指標(biāo)不能單獨(dú)解釋“生命是什么”。

但它們能告訴你，一個(gè)身體是不是處在比較健康的狀態(tài)。

論文做的事也類似。

它不直接回答：

模型為什么一定會(huì)得到正確答案？

它更關(guān)心：

模型在推理時(shí)，內(nèi)部運(yùn)動(dòng)是不是處在一種比較健康的結(jié)構(gòu)狀態(tài)？

這點(diǎn)很關(guān)鍵。

因?yàn)槿绻阉^度神化，就會(huì)把一篇有意思的論文讀壞。

如果把它看成“推理機(jī)制已經(jīng)被破解”，那太早。

如果把它看成“我們終于有了一種觀察推理內(nèi)部形狀的方法”，那就非常值得寫。

二、不要只看答案，要看內(nèi)部軌跡

我們通常怎么評(píng)價(jià) AI 會(huì)不會(huì)推理？

很簡(jiǎn)單：

題目給它。 答案拿來。 對(duì)了加分。 錯(cuò)了扣分。

比如數(shù)學(xué)題、代碼題、邏輯題、選擇題。

這種評(píng)價(jià)當(dāng)然有用。

但它有一個(gè)問題：

它只看結(jié)果，不看過程。

兩個(gè)模型都答對(duì)了，內(nèi)部可能完全不同。

一個(gè)可能真的形成了穩(wěn)定推理。

另一個(gè)可能只是撞上了訓(xùn)練集里見過的模式。

兩個(gè)模型都答錯(cuò)了，也可能完全不同。

一個(gè)可能方向?qū)α耍皇亲詈笏沐e(cuò)。

另一個(gè)可能從一開始就在胡說。

所以，如果我們想研究“推理本身”，不能只盯著輸出文本。

我們要看模型內(nèi)部。

大語言模型每生成一個(gè) token，內(nèi)部每一層都會(huì)產(chǎn)生一個(gè)隱藏狀態(tài)。

你可以把它想成模型當(dāng)時(shí)的“腦中坐標(biāo)”。

這個(gè)坐標(biāo)不是二維，也不是三維。

它可能是幾千維。

比如某一層的隱藏向量：

[0.12, -1.37, 0.08, ..., 2.41]

一長(zhǎng)串?dāng)?shù)字。

一個(gè) token 對(duì)應(yīng)一個(gè)點(diǎn)。

生成下一個(gè) token，又是一個(gè)點(diǎn)。

模型一步步推理時(shí)，這些點(diǎn)會(huì)連成一條軌跡。

第 1 步隱藏狀態(tài) → 第 2 步隱藏狀態(tài) → 第 3 步隱藏狀態(tài) → ...

從外面看，是模型在寫字。

從里面看，是一個(gè)點(diǎn)在高維空間里移動(dòng)。

論文研究的，就是這些軌跡。

它問的是：

當(dāng)模型進(jìn)入推理狀態(tài)時(shí)，這條高維軌跡有沒有某種結(jié)構(gòu)？

論文報(bào)告說：有。

而且在多個(gè)模型和任務(wù)上，這種結(jié)構(gòu)相當(dāng)明顯。

三、什么是流形：把高維混亂折成一條路

“流形”這個(gè)詞聽起來很數(shù)學(xué)。

我們先不從定義開始。

想象一張紙。

它本來是二維的。

你可以在紙上畫一只螞蟻的路線。

現(xiàn)在你把這張紙揉彎、折起、卷成一個(gè)復(fù)雜形狀，塞進(jìn)三維空間。

從外面看，它在三維空間里彎彎繞繞。

但對(duì)紙面上的螞蟻來說，它仍然只是在一張二維紙上走。

這就是流形的直覺：

一個(gè)低維結(jié)構(gòu)，嵌在更高維的空間里。

地球表面也是這樣。

地球在三維空間里。

但我們走路時(shí)，大多數(shù)時(shí)候只在二維表面上移動(dòng)。

經(jīng)緯度兩個(gè)數(shù)，就能定位一個(gè)地方。

同樣，模型的隱藏空間可能有幾千維。

但推理時(shí)，真正被用到的自由度，可能遠(yuǎn)遠(yuǎn)少于幾千維。

它不像煙霧一樣向所有方向散開。

它更像沿著某張被折疊進(jìn)高維空間的紙面移動(dòng)。

這張“紙面”，就是推理流形。

更形象一點(diǎn)：

高維空間：整座城市的所有可能位置 推理流形：模型真正會(huì)走的那幾條路

推理不是在所有可能方向里亂跑。

推理是在高維空間里形成了一條受約束的路。

這就是論文最有意思的觀察：

推理時(shí)的內(nèi)部表征，會(huì)自發(fā)收縮到低維流形上。

注意幾個(gè)關(guān)鍵詞。

第一，自發(fā)。

不是工程師手工規(guī)定模型只能走這條路。

而是訓(xùn)練之后，模型在推理時(shí)自然形成這種結(jié)構(gòu)。

第二，低維。

模型的表示空間很大，但推理軌跡的有效維度很小。

第三，推理時(shí)。

它不是說模型所有知識(shí)都低維。

模型的詞表、概念、世界知識(shí)仍然需要很高的表達(dá)能力。

低維結(jié)構(gòu)是在具體推理過程中出現(xiàn)的。

四、坍塌：從無數(shù)可能，壓成少數(shù)方向

論文里一個(gè)很重要的詞，是 dimensional collapse。

可以翻譯成“維度坍塌”。

這里的“坍塌”不要理解成壞掉。

它更像一團(tuán)散開的可能性，被推理任務(wù)壓成少數(shù)關(guān)鍵方向。

比如你看到一道題：

小明有 3 個(gè)蘋果，又買了 5 個(gè)蘋果，現(xiàn)在有幾個(gè)？

一開始，“蘋果”這個(gè)詞可以激活很多東西：

水果 顏色 價(jià)格 營(yíng)養(yǎng) 公司品牌 童話 牛頓 手機(jī)

但在這個(gè)上下文里，真正相關(guān)的是數(shù)量。

于是模型內(nèi)部要做一件事：

把無關(guān)方向壓下去，把相關(guān)方向留下來。

這就是推理中的壓縮。

如果什么都不壓縮，模型會(huì)被無數(shù)聯(lián)想淹沒。

如果你問“蘋果有幾個(gè)”，它卻同時(shí)想起喬布斯、牛頓、果園、營(yíng)養(yǎng)成分、iPhone 發(fā)布會(huì)，它就無法穩(wěn)定計(jì)算。

好的推理一定需要收窄。

它要從混亂的可能性里選出一個(gè)子空間：

這道題現(xiàn)在主要和數(shù)量有關(guān)。

這和 《為什么 QKV 長(zhǎng)這樣》 里講過的“上下文讓詞義坍縮”很像。

一個(gè)詞的 Embedding 里有很多可能含義。

Attention 根據(jù)上下文，把它推向當(dāng)前最相關(guān)的方向。

現(xiàn)在，推理流形把這個(gè)想法推進(jìn)了一層：

不只是詞義會(huì)在上下文中收窄，整個(gè)推理過程也會(huì)在內(nèi)部空間中收窄。

這就是“推理是一種坍塌”的第一層意思。

五、但坍塌不是越狠越好

到這里，很容易產(chǎn)生一個(gè)錯(cuò)誤理解：

既然推理需要低維坍塌，那是不是越低維越好？

不是。

這恰恰是論文最值得寫的地方。

低維結(jié)構(gòu)是必要的。

但低維結(jié)構(gòu)不夠。

如果一個(gè)模型把所有東西都?jí)撼梢粭l死線，甚至壓成一個(gè)點(diǎn)，那它確實(shí)“不亂”了。

但它也沒法思考了。

想象一個(gè)學(xué)生解題。

完全不壓縮，他會(huì)發(fā)散到一堆無關(guān)想法：

蘋果是什么顏色？ 小明是誰？ 買蘋果貴不貴？ 牛頓為什么被蘋果砸？

這叫散。

但壓縮過頭，他只剩一句機(jī)械口號(hào)：

遇到數(shù)字就相加。

這也不行。

因?yàn)橄乱活}可能是：

小明有 8 個(gè)蘋果，吃掉 3 個(gè)，還剩幾個(gè)？

如果他只會(huì)“數(shù)字相加”，就會(huì)錯(cuò)。

所以，健康推理要在兩個(gè)壞狀態(tài)之間找到平衡：

太散：信息到處跑，沒有結(jié)構(gòu)。 太死：結(jié)構(gòu)很緊，但沒有足夠信息。

論文把這個(gè)說得更精確：

有效推理需要三個(gè)條件。

第一，足夠表達(dá)能力。 模型底層空間要足夠豐富，能表示復(fù)雜世界。 第二，自發(fā)流形壓縮。 推理時(shí)不能在高維空間里亂散，要形成低維結(jié)構(gòu)。 第三，非退化信息體積。 壓縮后的空間里，還要保留足夠多有用變化，不能塌成空殼。

這三個(gè)條件缺一不可。

只要表達(dá)能力，沒有壓縮，模型會(huì)發(fā)散。

只有壓縮，沒有信息，模型會(huì)僵死。

只有信息，沒有結(jié)構(gòu)，模型會(huì)混亂。

所以，真正的推理不是簡(jiǎn)單“坍塌”。

更準(zhǔn)確地說：

推理是在高表達(dá)空間里，把信息壓縮進(jìn)一個(gè)仍然有生命的低維結(jié)構(gòu)。

到這里，我們可以把論文自己的技術(shù)骨架講出來。

它不是只寫了一個(gè)漂亮比喻。

它真正嘗試測(cè)量三個(gè)東西。

第一個(gè)叫 D_world。

可以理解成：

模型的世界表達(dá)能力有多豐富？

論文用靜態(tài)詞表 Embedding 的內(nèi)在維度來估計(jì)它。

意思是：模型底層空間能不能容納足夠復(fù)雜的世界概念。

如果這個(gè)底子太薄，后面推理再怎么收縮，也是在貧瘠的空間里收縮。

第二個(gè)叫 D_stim。

可以理解成：

模型被題目刺激之后，推理軌跡實(shí)際用了多少自由度？

這個(gè)量越高，說明軌跡越散。

但它也不能無限低。

低到?jīng)]有變化，就不是推理，而是僵死。

第三個(gè)叫 V，也就是信息體積。

可以理解成：

壓縮后的推理軌跡里，還保留了多少有用變化？

這就是論文最有價(jià)值的修正：

只看維度不夠。 還要看低維結(jié)構(gòu)里有沒有信息。

最后，它把三者合成一個(gè)診斷量：

H = log(D_world) × V / exp(ε × D_stim)

這個(gè)公式的意思很直觀。

log(D_world)：底層世界表達(dá)能力越強(qiáng)越好，但不是無限支配一切。 V：壓縮后保留的信息越多越好。 exp(ε × D_stim)：推理軌跡太散，要被懲罰。

所以它獎(jiǎng)勵(lì)的是一種狀態(tài)：

底座足夠?qū)挘?推理過程足夠收斂； 收斂之后信息仍然活著。

這里最容易誤解的是：

H 不是“聰明公式”。

它不是說你把這個(gè)公式塞進(jìn)訓(xùn)練代碼，模型就會(huì)變聰明。

它更像一個(gè)內(nèi)部體檢分?jǐn)?shù)：

不看答案標(biāo)簽； 不看 benchmark 正確率； 只看隱藏狀態(tài)的運(yùn)動(dòng)形狀； 然后判斷這種運(yùn)動(dòng)是不是接近健康推理的結(jié)構(gòu)。

論文報(bào)告說，這個(gè)結(jié)構(gòu)指標(biāo)和多個(gè)推理 benchmark 的表現(xiàn)有很強(qiáng)相關(guān)性。

這很有意思。

但相關(guān)性不是因果證明。

它告訴我們：

強(qiáng)推理模型常常呈現(xiàn)這種內(nèi)部結(jié)構(gòu)。

它還沒有證明：

只要人工制造這種結(jié)構(gòu)，就一定得到強(qiáng)推理模型。

這一步，才是后續(xù)研究真正難的地方。

七、壓縮即智能，但不是壓扁

這對(duì)我們之前的“壓縮即智能”很重要。

如果你只聽到“壓縮”兩個(gè)字，很容易誤解成：

把信息越壓越少，模型就越聰明。

不對(duì)。

壓縮不是把世界壓扁。

壓縮是把世界組織起來。

一本教材不是把知識(shí)刪掉。

它是把一堆經(jīng)驗(yàn)、實(shí)驗(yàn)、定理、例子、習(xí)題，組織成一個(gè)人能學(xué)習(xí)的結(jié)構(gòu)。

一個(gè)公式不是把物理現(xiàn)象消滅。

它是把無數(shù)現(xiàn)象背后的共同規(guī)律提出來。

一張地圖不是把城市變少。

它是保留道路、方向、距離和邊界，舍棄樹葉、塵土和每塊磚的紋理。

好的壓縮，丟掉的是噪音。

壞的壓縮，丟掉的是靈魂。

LLM 推理也是這樣。

一個(gè)強(qiáng)模型不是把所有概念都?jí)撼梢粋€(gè)套路。

它是在具體任務(wù)中臨時(shí)形成一張簡(jiǎn)潔的內(nèi)部地圖：

哪些變量重要？ 哪些關(guān)系成立？ 哪些步驟必須保留？ 哪些聯(lián)想應(yīng)該放下？ 哪里需要檢查？ 哪里可能出錯(cuò)？

這張地圖越緊湊，推理越不容易散。

這張地圖越有信息，推理越不容易空。

這就是“流形”給我們的直覺：

推理不是在知識(shí)海洋里漂浮，而是在高維空間里折出一條可以走的路。

現(xiàn)在我們?cè)倩乜赐评砟Ｐ汀?/p>

為什么 DeepSeek-R1 這類模型，要在回答前寫那么長(zhǎng)的 ？

表面看，是多寫了一段推理文本。

本質(zhì)上，是給模型更多時(shí)間，讓內(nèi)部狀態(tài)沿著推理軌跡走得更充分。

普通模型像這樣：

問題 → 直接答案

推理模型像這樣：

問題 → 中間狀態(tài) 1 → 中間狀態(tài) 2 → 中間狀態(tài) 3 → 檢查 → 答案

這些中間 token 不只是給人看的解釋。

它們會(huì)進(jìn)入上下文，影響后續(xù)生成。

也就是說，模型寫下的每一步推理，都會(huì)成為下一步推理的條件。

從內(nèi)部軌跡看，這相當(dāng)于給模型更多采樣點(diǎn)：

一步跳過去：軌跡短，容易跳錯(cuò)。 分多步走：軌跡長(zhǎng)，可以調(diào)整方向。

但這也解釋了另一個(gè)現(xiàn)象：

不是越長(zhǎng)的思維鏈越好。

如果推理軌跡在健康流形上展開，多寫 token 有用。

如果模型已經(jīng)偏離了方向，多寫 token 只是在錯(cuò)誤空間里越走越遠(yuǎn)。

這就是為什么有些 AI 看起來“想了很久”，最后仍然胡說。

它不是沒有計(jì)算。

它是在錯(cuò)誤的結(jié)構(gòu)里計(jì)算。

所以，推理能力的關(guān)鍵不只是：

想多久？

而是：

沿著什么結(jié)構(gòu)想？ 想的過程中有沒有保留關(guān)鍵信息？ 能不能發(fā)現(xiàn)自己走偏？

九、驗(yàn)證在哪里：另一條研究線

講到這里，會(huì)自然冒出一個(gè)問題：

如果推理是一條內(nèi)部軌跡， 那模型怎么知道自己走對(duì)了？

這也是只談內(nèi)部流形時(shí)，最容易被略過的地方。

“推理流形”這篇論文主要看內(nèi)部幾何。

它沒有真正解決驗(yàn)證問題。

它沒有告訴我們：

哪一步推理是對(duì)的？ 哪一步開始錯(cuò)了？ 模型能不能自己發(fā)現(xiàn)？ 能不能修正？

這些問題屬于另一條研究線。

第一條線，是 思維鏈（Chain of Thought）。

它的想法很樸素：

不要讓模型直接給答案。 讓它把中間步驟寫出來。

這能提升很多復(fù)雜任務(wù)的表現(xiàn)。

但它也有問題。

模型寫出來的步驟，不一定是真的內(nèi)部計(jì)算過程。

它可能是解釋。

也可能是包裝。

甚至可能是一條看起來很合理、其實(shí)從中間就錯(cuò)了的路。

第二條線，是 自洽性（self-consistency）。

既然單條思維鏈可能走錯(cuò)，那就讓模型走多條路。

同一道題，采樣出多條推理路徑； 看最后答案是否匯聚； 多數(shù)一致的答案更可信。

這有點(diǎn)像讓幾個(gè)學(xué)生獨(dú)立解同一道題。

如果他們用不同路徑得到同一個(gè)結(jié)果，可信度會(huì)上升。

但它仍然沒有真正檢查每一步。

第三條線，是 過程監(jiān)督（process supervision）。

這比只看最終答案更進(jìn)一步。

它不是只問：

最后答對(duì)了嗎？

而是問：

每一步推理是否合理？ 哪一步開始偏了？

這條線很重要。

因?yàn)殚L(zhǎng)推理最怕的不是最后一步錯(cuò)。

而是第三步已經(jīng)錯(cuò)了，第十步還在一本正經(jīng)地繼續(xù)推。

第四條線，是 樹狀思考（Tree of Thoughts）。

如果思維鏈?zhǔn)且粭l路，樹狀思考就是多岔路搜索。

提出幾個(gè)候選步驟； 評(píng)估它們； 保留更有希望的分支； 繼續(xù)展開。

這更接近人類做難題時(shí)的感覺。

我們不是一條線走到底。

我們會(huì)試探、回退、換路、剪枝。

第五條線，是 DeepSeek-R1 這類 可驗(yàn)證強(qiáng)化學(xué)習(xí)。

這條線的核心是：

只要答案可以自動(dòng)驗(yàn)證， 就可以用強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)模型走出更好的推理行為。

數(shù)學(xué)題、代碼題、形式化證明、部分科學(xué)問題，都有這種潛力。

這也解釋了為什么“可驗(yàn)證數(shù)據(jù)”會(huì)變得這么重要。

驗(yàn)證不是錦上添花。

驗(yàn)證本身就是下一代推理能力的訓(xùn)練信號(hào)。

所以，我們可以把當(dāng)前研究版圖分成兩層：

外部層：答案、步驟、搜索、驗(yàn)證、獎(jiǎng)勵(lì)。 內(nèi)部層：隱藏狀態(tài)、軌跡、流形、信息體積。

DeepSeek-R1 這類工作更多在外部層：

怎樣獎(jiǎng)勵(lì)模型想得更好？

推理流形這篇論文更多在內(nèi)部層：

當(dāng)模型看起來在想時(shí)，內(nèi)部結(jié)構(gòu)是什么形狀？

兩者不是互相替代。

它們正好互補(bǔ)。

一個(gè)告訴我們?cè)趺从?xùn)練和篩選推理。

一個(gè)提醒我們?nèi)タ赐评碓谀Ｐ蛢?nèi)部怎樣成形。

十、啟發(fā)在哪里：prompt 不是咒語，是軌道設(shè)計(jì)

這也能重新解釋 prompt。

很多人把 prompt 看成咒語。

寫對(duì)了，AI 就靈。

寫錯(cuò)了，AI 就笨。

但從推理流形的角度看，prompt 更像是在給模型設(shè)置初始條件和約束。

你問：

解釋一下這個(gè)問題。

模型可能走向科普講解。

你問：

請(qǐng)像審稿人一樣，指出這個(gè)論證里最薄弱的地方。

模型會(huì)被推向批判性路徑。

你問：

先列假設(shè)，再逐步推導(dǎo)，最后給出不確定性。

模型會(huì)被推向更結(jié)構(gòu)化的推理軌跡。

這不是魔法。

它是在高維空間里改變模型要走的路。

這也能接上薩丕爾-沃爾夫假說。

在人類那里，語言結(jié)構(gòu)會(huì)影響人怎樣組織世界經(jīng)驗(yàn)。

在 AI 這里，prompt 和上下文結(jié)構(gòu)會(huì)影響模型怎樣組織當(dāng)前推理。

但要注意，prompt 不是萬能鑰匙。

它不能憑空創(chuàng)造底座模型沒有的表達(dá)能力。

也不能保證模型一定進(jìn)入健康推理流形。

它能做的是：

把模型已有的能力，引向某種更合適的內(nèi)部組織方式。

這就是為什么一個(gè)好 prompt 常常不是“說得更兇”，而是：

限定角色 明確目標(biāo) 給出評(píng)價(jià)標(biāo)準(zhǔn) 要求分步 暴露約束 允許說不知道 要求檢查反例

好的 prompt，不是命令模型“變聰明”。

而是幫它少走彎路。

十一、還有一條路：不把推理都寫成文字

還有一個(gè)方向，能補(bǔ)上這篇論文的另一塊空白。

現(xiàn)在很多推理模型會(huì)把思考寫成文字。

但人類思考并不總是這樣。

你解一道幾何題時(shí)，腦中可能先出現(xiàn)圖形。

你寫代碼時(shí)，可能先有一種結(jié)構(gòu)感。

你判斷一個(gè)人說話是否真誠(chéng)時(shí)，很多線索甚至還沒變成語言。

所以現(xiàn)在有一類研究在問：

推理一定要展開成文字 token 嗎？

這就是所謂潛空間推理（latent reasoning）。

其中一個(gè)代表方向叫 Coconut，也就是 Chain of Continuous Thought。

它讓模型在連續(xù)潛空間里做一部分“內(nèi)部思考”，不急著把每一步都翻譯成自然語言。

這件事和推理流形很容易接上。

如果模型內(nèi)部本來就在某種低維流形上運(yùn)動(dòng)，那么也許未來的推理不一定每一步都要寫出來。

它可能會(huì)變成：

一部分推理寫成文字，便于人類檢查； 一部分推理留在 latent space，便于模型高效計(jì)算； 關(guān)鍵節(jié)點(diǎn)再拿出來驗(yàn)證。

這聽起來更接近真實(shí)的認(rèn)知。

我們也不是把腦中每一個(gè)中間表征都說出口。

但這里有一個(gè)代價(jià)：

越多推理留在內(nèi)部，越難被人類審查。

所以 latent reasoning 和 process supervision 之間，會(huì)形成一個(gè)長(zhǎng)期張力。

效率想把推理藏回內(nèi)部。

安全和可驗(yàn)證性又要求它把關(guān)鍵步驟暴露出來。

這也是為什么“推理機(jī)制”不會(huì)只靠一篇流形論文結(jié)束。

它會(huì)同時(shí)牽出：

內(nèi)部幾何 外部驗(yàn)證 潛空間計(jì)算 機(jī)制解釋 人類可監(jiān)督性

這些線要合在一起，才更接近完整答案。

十二、這能壓縮模型、減少參數(shù)、提升效率嗎？

這是一個(gè)非常自然的問題。

既然推理軌跡會(huì)落在低維流形上，那是不是說明：

模型其實(shí)不用那么大？ 參數(shù)可以大幅減少？ 推理可以便宜很多？

答案要分兩層。

第一層：

這篇論文本身，沒有給出直接的壓縮配方。

它沒有說：

按這個(gè)公式剪枝； 按這個(gè)流形蒸餾； 按這個(gè)維度減少參數(shù)。

它做的是診斷，不是工程壓縮算法。

第二層：

但它確實(shí)給壓縮和效率研究提供了一個(gè)很好的方向感。

因?yàn)樗凳玖艘患拢?/p>

模型的全部參數(shù)空間很大， 但每次具體推理真正活躍的有效自由度可能很小。

這和我們之前講 MoE、知識(shí)蒸餾、彩票假說時(shí)的直覺是一致的。

大模型像一個(gè)巨大的城市。

但每一次解決問題，并不是整座城市一起移動(dòng)。

真正被走過的，可能只是幾條路、幾個(gè)路口、幾個(gè)功能區(qū)。

那工程上就會(huì)出現(xiàn)幾個(gè)可能方向。

第一，用它做 壓縮后的健康檢查。

比如我們把一個(gè)大模型蒸餾成小模型。

小模型 benchmark 看起來還可以。

但它的內(nèi)部推理軌跡是不是還保持：

足夠表達(dá)能力 適度低維收縮 非退化信息體積

這可以成為一種新檢查。

第二，用它指導(dǎo) 低秩和稀疏計(jì)算。

如果某些任務(wù)的推理確實(shí)只需要少數(shù)有效方向，那么 LoRA、MoE、稀疏激活、動(dòng)態(tài)路由這類方法，就不是單純省錢技巧。

它們可能是在工程上追蹤同一個(gè)事實(shí)：

能力存在于大空間里； 使用能力時(shí)，只激活一小部分結(jié)構(gòu)。

第三，用它幫助做 推理時(shí)自適應(yīng)計(jì)算。

有些問題一眼就能回答。

有些問題必須展開長(zhǎng)推理。

如果內(nèi)部軌跡已經(jīng)顯示模型進(jìn)入穩(wěn)定結(jié)構(gòu)，也許可以少算一點(diǎn)。

如果軌跡發(fā)散、信息體積異常、或者結(jié)構(gòu)不穩(wěn)，也許就該讓模型繼續(xù)思考、換路徑、調(diào)用 verifier。

這會(huì)把“多想一會(huì)兒”從一個(gè)固定開關(guān)，變成動(dòng)態(tài)決策。

但這里也要小心。

低維推理軌跡并不等于小模型一定夠用。

因?yàn)檎撐耐瑫r(shí)強(qiáng)調(diào)了 D_world。

也就是說，健康推理需要一個(gè)足夠豐富的高維底座。

你可以在具體任務(wù)中走低維路。

但這條路之所以能存在，是因?yàn)楸澈笥凶銐虼蟮氖澜绫硎究臻g撐著。

所以更成熟的判斷是：

推理流形不直接告訴我們“模型可以變小”，它告訴我們“大模型內(nèi)部可能存在更小、更活躍、更可診斷的有效計(jì)算結(jié)構(gòu)”。

這對(duì)壓縮有啟發(fā)。

但它不是一張已經(jīng)寫好的瘦身食譜。

十三、它能幫助我們理解泛化嗎？

我覺得可以。

但同樣要加一個(gè)限定：

它能幫助理解泛化的內(nèi)部形狀，不能單獨(dú)解釋泛化的全部來源。

什么叫泛化？

就是模型沒有見過一模一樣的問題，卻能處理。

如果只從“記憶”角度看，這件事很難解釋。

因?yàn)闆]見過，為什么會(huì)？

但從“結(jié)構(gòu)”角度看，事情就清楚一點(diǎn)。

模型不是把每道題單獨(dú)存在腦子里。

它更可能學(xué)到了一些可遷移結(jié)構(gòu)：

變量關(guān)系 因果順序 約束條件 數(shù)量變化 語法角色 函數(shù)調(diào)用模式 證明套路 錯(cuò)誤檢查方式

當(dāng)一個(gè)新問題出現(xiàn)時(shí)，模型要做的不是從記憶庫(kù)里找同款。

而是把新問題投影到某個(gè)可用結(jié)構(gòu)上。

這就像你學(xué)會(huì)了“方程”。

你不是記住每一道買蘋果、買鉛筆、買車票的題。

你是學(xué)會(huì)了：

把未知量命名； 把關(guān)系寫出來； 按規(guī)則變形； 檢查結(jié)果。

題目換了，結(jié)構(gòu)還在。

從推理流形角度看，泛化可能就是：

面對(duì)沒見過的輸入， 模型仍然能把內(nèi)部軌跡收束到一條有用的結(jié)構(gòu)路線上。

這也解釋了為什么“數(shù)據(jù)多”不是全部。

數(shù)據(jù)要能幫助模型形成可遷移結(jié)構(gòu)。

如果數(shù)據(jù)只是大量重復(fù)、噪音、偽相關(guān)，模型可能記住很多，卻不一定泛化。

如果數(shù)據(jù)能暴露變量、反例、難度梯度、長(zhǎng)尾情況和可驗(yàn)證反饋，它就更可能把模型推向穩(wěn)定結(jié)構(gòu)。

這也接回上一篇《AI 吃完互聯(lián)網(wǎng)之后，還能繼續(xù)變聰明嗎？》。

下一代 AI 需要的，可能不只是更多文本。

而是更多能讓模型形成結(jié)構(gòu)、驗(yàn)證結(jié)構(gòu)、修正結(jié)構(gòu)的經(jīng)驗(yàn)。

所以，泛化的一個(gè)可能解釋是：

大模型先用高維空間容納世界，再在具體任務(wù)中折出低維結(jié)構(gòu)。新問題只要能落到相似結(jié)構(gòu)上，就有機(jī)會(huì)被處理。

這不是完整答案。

但它比“模型只是背答案”更接近真實(shí)。

十四、AI 性格、推理和結(jié)構(gòu)，其實(shí)是一件事

現(xiàn)在，我們可以把 《誰在決定 AI 的性格？》 接回來。

那篇文章講：

AI 的“性格”不是靈魂。

它是預(yù)訓(xùn)練、SFT、RLHF、DPO、系統(tǒng)提示詞、工具權(quán)限、產(chǎn)品目標(biāo)和用戶反饋共同塑造出來的行為傾向。

現(xiàn)在這篇補(bǔ)上另一半：

AI 的“推理”也不是一個(gè)神秘靈魂突然醒來。

它是在模型內(nèi)部形成受約束的信息結(jié)構(gòu)。

性格，是輸出傾向的結(jié)構(gòu)。

推理，是內(nèi)部軌跡的結(jié)構(gòu)。

Prompt，是當(dāng)前上下文的結(jié)構(gòu)。

Agent，是行動(dòng)循環(huán)的結(jié)構(gòu)。

世界模型，是物理經(jīng)驗(yàn)的結(jié)構(gòu)。

而剛剛那篇“三巨頭”的文章，其實(shí)講的是另一種結(jié)構(gòu)：

當(dāng) AI 從回答問題走向采取行動(dòng)， 它有沒有后果結(jié)構(gòu)？

這就是為什么 “Structure is all you need” 這個(gè)說法很有意思。

當(dāng)然，嚴(yán)格說，原論文叫 《Attention Is All You Need》。

Attention 解決的是：

當(dāng)前 token 應(yīng)該關(guān)注哪些 token？

而 structure 更大的問題是：

信息應(yīng)該怎樣組織起來，才能產(chǎn)生穩(wěn)定能力？

從這個(gè)角度看，現(xiàn)代 AI 的很多東西都在走向同一個(gè)方向：

Embedding：把詞放進(jìn)結(jié)構(gòu)化空間 Attention：在上下文中重組關(guān)系 MLP：存儲(chǔ)和調(diào)用模式 CoT：把推理展開成時(shí)間結(jié)構(gòu) RLHF：把偏好變成行為結(jié)構(gòu) Agent：把觀察和行動(dòng)變成循環(huán)結(jié)構(gòu) World Model：把經(jīng)驗(yàn)變成可預(yù)演結(jié)構(gòu) Reasoning Manifold：把內(nèi)部推理壓成幾何結(jié)構(gòu)

也許 AI 的核心問題，正在從：

模型有多大？

轉(zhuǎn)向：

結(jié)構(gòu)組織得好不好？

十五、這篇論文不能被過度神化

最后要冷靜一點(diǎn)。

“推理流形”不是一個(gè)已經(jīng)終結(jié)爭(zhēng)論的理論。

它更像一個(gè)有啟發(fā)性的觀察框架。

我們不能從一篇論文直接跳到：

AI 已經(jīng)像人一樣思考。

也不能說：

推理就是流形坍塌，別的都不重要。

論文自己也強(qiáng)調(diào)，它研究的是當(dāng)代自回歸語言模型中的推理動(dòng)態(tài)。

它用最后 token 的隱藏狀態(tài)作為軌跡代理。

它的診斷指標(biāo)是描述性的、相關(guān)性的，不等于因果證明。

多模態(tài)系統(tǒng)、機(jī)器人、非自回歸模型是不是也遵循類似結(jié)構(gòu)，還需要繼續(xù)研究。

所以，成熟的讀法不是神化它。

而是把它放到我們的知識(shí)版圖里：

next-token prediction 解釋訓(xùn)練目標(biāo)； Transformer 解釋架構(gòu)； CoT / RL 解釋推理行為怎樣被激發(fā)； process supervision / verifier 解釋推理怎樣被檢查； latent reasoning 解釋一部分思考怎樣留在內(nèi)部； RLHF 解釋性格怎樣被塑形； 推理流形嘗試解釋推理時(shí)內(nèi)部結(jié)構(gòu)怎樣組織。

它不是替代前面所有解釋。

它是在更內(nèi)部的層次，補(bǔ)上一塊幾何圖像。

尾聲：壓縮之后，信息還活著

我們可以把整篇文章壓縮成四句話：

大語言模型表面上是在預(yù)測(cè)下一個(gè) token。 但推理時(shí)，內(nèi)部隱藏狀態(tài)會(huì)形成一條高維軌跡。 好的推理不是在高維空間里亂撞，而是收縮到低維結(jié)構(gòu)上。 但壓縮不能把信息壓死，真正健康的推理是在低維結(jié)構(gòu)里保留足夠信息。

所以，推理是一種坍塌嗎？

可以說是。

但更準(zhǔn)確地說：

推理不是崩塌，而是成形。

混亂的可能性，被上下文壓成少數(shù)方向。

無關(guān)的聯(lián)想被壓下去。

相關(guān)的變量被保留下來。

中間步驟沿著一條受約束的路展開。

如果這條路太散，模型會(huì)迷路。

如果這條路太死，模型會(huì)僵住。

只有當(dāng)它既緊湊，又有信息，推理才會(huì)變得穩(wěn)定。

這也許就是 AI 推理最迷人的地方。

它當(dāng)然還是數(shù)學(xué)。

是向量、矩陣、Softmax、隱藏狀態(tài)、概率分布。

但當(dāng)這些東西在足夠大的模型里被訓(xùn)練到極致時(shí)，它們會(huì)自發(fā)形成結(jié)構(gòu)。

而結(jié)構(gòu)，正是理解的另一種名字。

本公眾號(hào)延伸閱讀

• 《圖靈獎(jiǎng)三巨頭的三種 AI 態(tài)度：失控、自主目標(biāo)與后果感》

  ：理解 AI 風(fēng)險(xiǎn)怎樣從錯(cuò)誤答案走向錯(cuò)誤行動(dòng)。

• 《馬爾可夫的幽靈——從預(yù)測(cè)下一個(gè)詞到預(yù)測(cè)下一步行動(dòng)》

  ：理解 next-token prediction 怎樣接到行動(dòng)軌跡。

• 《DeepSeek-R1：一個(gè)模型如何學(xué)會(huì)“思考”》

  ：理解推理模型為什么要花更多 token 思考。

• 《壓縮即是全部》

  ：理解為什么“壓縮”是數(shù)學(xué)和 AI 的共同線索。

• 《為什么 QKV 長(zhǎng)這樣》

  ：理解上下文怎樣讓詞義從疊加可能中收窄。

• 《誰在決定 AI 的性格？》

  ：理解訓(xùn)練和反饋怎樣塑造模型的輸出傾向。

• Yanbiao Ma et al., Reasoning emerges from constrained inference manifolds in large language models , arXiv:2605.08142, 2026.

• DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning , 2025.

• Jason Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models , 2022.

• Xuezhi Wang et al., Self-Consistency Improves Chain of Thought Reasoning in Language Models , 2022.

• Hunter Lightman et al., Let's Verify Step by Step , 2023.

• Shunyu Yao et al., Tree of Thoughts: Deliberate Problem Solving with Large Language Models , 2023.

• Shibo Hao et al., Training Large Language Models to Reason in a Continuous Latent Space , 2024.

• Ashish Vaswani et al., Attention Is All You Need , 2017.

• Edward J. Hu et al., LoRA: Low-Rank Adaptation of Large Language Models , 2021.

• Armen Aghajanyan, Sonal Gupta, Luke Zettlemoyer, Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning , 2021.

• Nelson Elhage et al., A Mathematical Framework for Transformer Circuits , 2021.

AI-lab學(xué)習(xí)筆記