涌現——AI“思考”背后的科學｜楊明哲

導語

最近文章作者在北京講了一次學術酒吧，題為《涌現——AI“思考”背后的科學》。這既是對自己所學的一次階段性整理，也檢查它們是否還能回歸生活實際，能夠講給不同背景的大眾聽。

本篇為分享文稿匯集整理。從鳥群到大模型，分享以“涌現”為線索，串聯復雜系統、信息論與因果分析，探討AI“思考”背后的科學邏輯，嘗試用可量化框架理解宏觀智能如何從微觀交互中生成。原文見微信公眾號：哲思世界，、、

關鍵詞：涌現、復雜系統、信息論、因果涌現、AI大模型、認知復雜度

楊明哲丨作者

作者簡介：

引言：如何界定涌現

非常感謝大家今天來捧場。我來自北京師范大學系統科學學院，目前是一名研究生。今天想和大家分享的主題，其實也正是我自己正在研究的科學問題。之所以選擇這樣一個題目，是因為我一直希望，能夠從一個非常樸素的思考起點出發，帶大家一步一步走進我所研究的世界。

所以今天的分享，我會盡量減少那些讓人望而生畏的數學符號，也會盡可能剔除不必要的學術術語。但與此同時，我也不希望它只是一次停留在表面的淺層科普。我還是想保留一些值得深入思考的內容，讓我們不僅知道一個概念，也能真正靠近它背后的問題意識。

按照通常的講法，談到“涌現”這個主題，似乎總該先列舉幾個經典案例：哪些現象可以稱為涌現，哪些系統體現了涌現，借此向大家說明它究竟是什么。這一次，我更想從自己最初遭遇這個概念的經歷講起。

大概是在中學時期，我開始讀一些帶有哲學和科學思辨色彩的書。那時我常常會想：什么是生命？什么是意識？我相信，經常來參加這樣活動的朋友，多多少少都思考過類似的問題。也正是在那個階段，我第一次接觸到“涌現”這個概念。坦率地說，當時我并不真正明白它意味著什么，也說不清它的準確內涵。但它的出現，至少幫助我排除了一些答案。

它仿佛在告訴我們：當我們試圖理解生命、意識這類問題時，也許并不需要訴諸某種額外的、神秘的解釋，不必依靠“活力論”、靈魂，或者其他同樣復雜卻難以檢驗的概念。相反，我們可以回到系統本身，去看組成它的那些具體部分如何相互作用。比如，理解意識，并不一定要從某種抽象的“精神實體”出發，而是可以回過頭來觀察人體，尤其是大腦，觀察神經元之間復雜而持續的互動。在這樣的路徑中，意識之謎不再只是一個遙不可及的哲學命題，而成為一個可以被逐步逼近的科學問題。

更吸引人的是，涌現并不只出現在某一個特定領域。它廣泛存在于各種不同的復雜系統之中：蟻群、鳥群、神經網絡，乃至許多社會系統，都可能體現出類似的現象。你會發現，一些看似彼此遙遠的系統，背后卻可能共享某種深層的相似性。它意味著不同類型的復雜系統，也許并不是彼此孤立的，而是可以在更高層次上被放進同一種理解框架中。

這也帶來一種非常重要的啟發：也許你覺得，直接深入神經科學、去研究一個個神經元的活動，門檻太高，難度太大；但你完全可以先從一些更直觀的集群行為入手，比如鳥群如何協同飛行、蟻群如何組織行動。當你對“涌現”這一現象有了更扎實的理解之后，它或許會反過來幫助你重新看待意識問題。換句話說，這些看似分屬不同領域的問題，彼此之間并非毫無關聯，它們可能是可以打通的。

我展示的這一張圖，就非常形象地體現了這種“共性”。圖中從右往左看，是一群鳥在飛行。單獨看，每一只鳥都只是一個微觀個體；但當它們在運動中不斷調整彼此的位置與方向時，整個群體卻會匯聚成某種更大的、清晰可辨的整體形狀。如果我們做一個類比，可以把這些鳥想象成大腦中一個個神經元：它們各自是獨立的微觀單位，但通過持續的相互作用，最終卻可能呈現出宏觀層面的結構、秩序，甚至功能。

這正是涌現最令人著迷的地方：宏觀層面的行為，并不是簡單地把微觀個體“相加”就能得到的，而是在相互作用中“長出來”的。整體表現出的性質，往往是局部所不直接擁有的。也正因為如此，涌現不僅是一種現象描述，更是一種理解復雜世界的重要視角。

我引用這張圖的那篇文章《Collective minds》，討論的是一個很有意思的問題：像鳥群這樣的群體，在作為一個整體行動時，是否可以被視為擁有某種“集體心智”？這也是個有意思的問題。作者Lain Couzin就是一位集群行為專家，從集群出發，面向神經科學，在如此不同的兩個領域之間搭建起了橋梁。

如果把視野再放遠一點，我們還可以舉出一些離日常經驗更遠、但同樣典型的例子。它們看起來和生命、意識、鳥群這些對象完全不同，卻依然呈現出非常鮮明的涌現現象。比如木星上的“大紅斑”。如果看過相關影像資料，大家會發現，在木星表面那種深色背景之上，這個巨大的紅色風暴非常醒目。它并不是一陣短暫的天氣變化，而是一個規模極其龐大、長期穩定存在的大氣渦旋，直到今天仍然在持續。它的尺寸會有波動，有時大一些，有時小一些，但在最大的時期，甚至可以輕松容納下好幾個地球。

從復雜系統的角度看，這其實就是一種非常典型的“模式”或者“斑圖”（pattern）。也就是說，在無數局部相互作用之中，系統自發形成了一個穩定、清晰、宏觀可見的結構。它像是系統內部動力過程長期演化后自然長出來的東西，底層是各式各樣的湍流和混亂的分子運動。正因如此，大紅斑也一直是許多研究涌現現象的學者非常關注的對象。雖然它和我們前面講到的鳥群、蟻群，甚至神經元網絡，表面上屬于完全不同的系統，但在更深的層面上，它們之間其實有很強的共性。

當然，今天這個話題也繞不開人工智能——它已經寫進了我今天分享的標題里。尤其是現在的大語言模型，規模越來越大之后，我們其實完全可以把它本身也看成一個復雜系統，作為研究對象來討論。既然如此，那些我們在其他復雜系統中會提出的問題，在AI這里同樣也可以被重新提出來。

事實上，在AI領域內部，研究者們已經越來越重視這樣一種視角。他們開始注意到，當模型規模不斷擴大時，系統身上會出現一些很難用線性方式理解的新現象，并且嘗試把這些現象系統地總結出來。其中一個很有代表性的概念，就叫作“涌現能力”。

我們更熟悉“縮放規律”：模型更大、數據更多、訓練更充分，效果通常就會更好，沒有天花板的限制。這種增長關系在很多時候是連續的、平滑的，至少從整體趨勢上看是這樣。但“涌現能力”真正引人注意的地方在于，它并不完全符合這種平滑提升的直覺。

在某些任務上，在模型規模達到某個閾值之前，它幾乎沒有表現出相關能力，或者表現得非常差，像是“完全不會”。可一旦跨過那個臨界點，能力就會突然顯現出來，而且提升得非常顯著。也就是說，這種變化并不是均勻爬升，而更像是一種躍遷：前面幾乎看不到，到了某個位置以后，突然出現。很多相關研究都會畫出類似的圖表：橫軸是模型規模，從小到大不斷增加；縱軸則是一項項具體能力，比如邏輯推理、數學能力、代碼能力，或者其他更復雜的任務表現。研究者測試了很多不同維度的能力，想看它們如何隨著規模變化而變化。

2022年，OpenAI的一個團隊寫出了一篇很有影響的論文，綜述了這些現象，把大模型中的涌現能力真正帶入了更廣泛的討論視野。也正是從那時開始，越來越多的人開始認真討論：為什么一些能力會在模型規模擴大到某個階段之后突然出現？這種現象，是否真的可以被稱為“涌現”？關于大模型更多的具體研究，我們會在后面展開，現在我們先來追問，為什么這些學者會想到用“涌現能力”來給這個現象命名？

之所以這樣命名，并不是一種隨意的比喻，它背后其實有明確的理論來源。論文引用了一篇在物理學中極為經典的文章，作者是1977年諾貝爾物理學獎得主菲利普·安德森。那篇文章的標題就叫《More is Different》，通常被譯作“多者異也”。它幾乎可以說是現代科學討論涌現時最重要的文本之一。

借用這個思想來理解大模型中的“涌現能力”，核心意思其實很清楚：當系統只發生了一點點定量變化時，可能會引發非常顯著的定性變化。放到大模型里，就是參數規模、訓練量這些指標看起來只是繼續增長了一點，但一旦跨過某個閾值，原本幾乎不存在的能力就會突然顯現出來。

“多者異也（More Is Different）”可以寫成一句最常見的表述：整體大于部分之和。這句話作為涌現的樸素定義沒有人會說它錯，它確實抓住了涌現問題的一部分直覺。但如果我們把它直接搬到日常語境里，會發現它還不夠準確，至少不夠完整。

比如拿人本身來舉例。一個人當然可以被看作一個復雜系統，即便暫時不談意識，只看生理系統本身，它也已經足夠復雜了。但如果用名為“還原論”的“刀子”把一個人被分成若干部分之后，這些部分的重量加起來，并不會神秘地少于或多于原來的整體。至少在這些意義上，整體并沒有“超過”部分之和。

事實上，如果我們想把“涌現”說得更準確一些，還得再往前走一步：不是籠統地說“整體大于部分之和”，而是要問清楚，到底是整體的什么，大于了部分的什么之和。只有把這個問題說清楚，我們才算真正開始理解涌現，真正進入科學討論的層次。我們需要一把“尺子”，一種可以比較、可以計算、可以量化的框架。只有這樣，涌現才不只是一個聽起來很深刻的詞，而是一個能夠被認真研究的問題。

圍繞這個問題，不同學者其實給出過很多角度的回答。最早“整體大于部分之和”的說法，可以追溯到亞里士多德。后來，物理學家更強調一些更具體的特征，比如對稱性破缺：很多系統在微觀上看是對稱的，但到了宏觀層面，卻會沿著某個特定方向發展，呈現出不對稱的結構。再比如剛才提及的微小的定量變化可能引發顯著的定性變化。還有一些研究者會從秩序的角度來理解，認為系統從微觀走向宏觀時，可能會自發生成更高層次的有序結構。

也有人從因果關系來談這個問題：我們在宏觀層面看到的結果，未必能直接在微觀層面找到一個簡單、明確的對應原因。還有一些研究者則更關注“斑圖”或者“模式”的出現——只要系統中形成了穩定的宏觀結構，并且這些結構反過來影響了系統行為，那么這本身就可以被看作是涌現的重要表現。

這些說法看起來各不相同，但如果稍微整理一下，就會發現它們其實都在試圖回答同一件事：我們究竟該用什么“尺子”去衡量涌現？

信息論簡介

在這些可能的“尺子”里，我們可以先考察信息這個選項。信息是目前我們已經能夠比較成熟地計算的東西。自從香農建立信息論以來，信息就成了一個非常有力量的工具。它的特別之處在于，它不依賴某個具體學科，可以跨越不同系統來使用。無論研究的是神經元、鳥群、天氣系統，還是人工智能模型，只要我們關心的是結構、關聯和不確定性，信息論往往都能提供一套通用的語言。

這也是為什么它特別適合用來討論涌現。因為涌現本來就是一個跨領域的問題，而信息論恰恰提供了一種跨領域的度量方法。比如，我們平常會直覺地區分“有序”和“無序”，但如果只靠感覺，這種區分其實很模糊。借助信息論里的概念，比如熵、互信息等，我們就可以把這種差別真正量化出來。

接下來，我想盡量少用數學符號，把“信息”到底是怎么算的講清楚。因為真正重要的不是公式本身，而是它背后的直覺：我們到底在度量什么。

先做一個非常簡化的想象。假設一群鳥在一個二維平面上飛，每只鳥每一時刻只能朝四個方向中的一個運動：上、下、左、右。這樣一來，一只鳥當前朝哪個方向飛，就可以看成它的一個“狀態”。

信息論最核心的直覺其實很簡單：信息量衡量的是一件事有多“不確定”，或者說，它發生時會帶來多大的“驚訝”。越難預料的事，信息量越大；越常見、越容易猜到的事，信息量越小。

所以我們自然會引入概率。比如，一只鳥向上飛的概率是 p。如果這個概率很大，說明這件事本來就很常見，那它真的發生時，我們不會太意外；但如果這個概率很小，它卻偏偏發生了，那它帶來的信息量就更大。于是，一個事件的信息量可以寫成：

這里的對數并不神秘，它只是為了把概率上的乘法關系，轉成信息量上的加法關系。

有了單個事件的信息量之后，我們還可以繼續問：這只鳥平均而言能提供多少信息？因為它不是只會做一個動作，而是在四個方向之間按某種概率分布活動。于是，把每個狀態的信息量按對應概率加權平均，就得到它的平均信息量，也就是熵：

熵越大，說明這只鳥的行為越難預測；熵越小，說明它越有規律。但我們真正關心的當然不是一只鳥，而是一群鳥。因為一旦形成鳥群，不同個體之間就開始發生關聯。它們不會各飛各的，而是可能同步、跟隨、協調。這時候問題就變成了：鳥和鳥之間到底有多相關？

這個量也可以算。對于兩只鳥 (X) 和 (Y)，我們一方面可以把它們看成一個整體，計算聯合信息；另一方面，也可以分別計算它們各自的信息量。兩者一比較，就得到它們之間共享了多少信息，也就是互信息：

這個量可以理解為兩只鳥之間關聯程度的度量。如果兩只鳥總是同步，比如一只往上飛，另一只一定也往上飛，那它們之間的互信息就很高。因為知道其中一只的狀態，就幾乎等于知道了另一只。反過來，如果兩只鳥完全獨立、各自隨機亂飛，那么知道一只鳥的狀態，并不能幫助我們預測另一只，這時候互信息就接近于 0。

同樣的思路還可以推廣到 n 只鳥。我們把整個鳥群看成一個整體，計算它的總信息量；再把每一只鳥各自的信息量加起來，做一個比較。這個差值在信息論里叫作總相關性（total correlation）：

它衡量的，就是整個系統內部到底整合了多少關聯。如果這個值很小，說明系統里的個體基本彼此獨立；如果這個值很大，說明系統內部存在很強的協調和耦合。于是，我們就得到了一把可以真正拿來“量”復雜系統的尺子。比如剛才那個例子里，如果一群鳥的飛行方向始終保持一致，那么算出來的相關性就會非常高。直觀地說，n只鳥如果總是同步行動，那么它們各自信息量加總之后，再減去整體的信息量，得到的值會很大；而如果系統是無序的、彼此獨立的，這個值就會接近 0。

從信息到因果

不過，回到直覺層面，我們很快會發現，問題并沒有這么簡單。

這里放了兩個圖像：一類是大家在春晚上常見到的機器人集群表演，另一類是自然界中的鳥群。它們看上去都很整齊、都呈現出某種群體秩序，但兩者之間其實有一個非常本質的區別。

看到機器人表演時，我們當然會覺得很震撼，覺得它很精密、很厲害。但我們通常不會真的把它理解成一個“復雜系統的涌現”。因為我們心里很清楚：它之所以能表現得如此整齊劃一，是因為背后有一個設計者，有人提前編排好了程序、規劃好了軌跡。每個機器人的動作其實都已經被寫定了，它們的協調不是自己“長出來”的，而是被外部安排好的。

但鳥群不是這樣。鳥群背后沒有一個總導演，也沒有一個中心控制者。它們完全依靠個體之間的局部相互作用，卻依然能形成高度協調的集體行為。更重要的是，這種行為能夠應對不斷變化的環境：捕食者突然出現了怎么辦，天氣突然變化了怎么辦，群體都能夠實時調整。相比之下，那些表演機器人離開預設場景，往往就很難應對真實環境中的復雜變化。

所以，這兩種“整齊”顯然不能混為一談。問題在于，光靠剛才那種基于相關性或信息量的計算，其實還分不清它們。因為當你真正去觀測時，你看到的只是結果：無論是機器人還是鳥群，表面上都呈現出高度一致的行為序列。于是，單靠信息量或相關性，這樣的機器人集群也可能被算出很高的秩序。

這就說明，僅僅觀察系統表現出來的秩序，還不足以真正抓住涌現。我們還得再往前走一步，把“因果”也帶進來。這是另一把“尺子”。

復雜系統研究者約亨·弗洛姆提出過一個很有啟發的看法：所謂涌現，往往是這樣一種情況——你先看到了一個結果，但一時找不到一個顯而易見、可以直接對應的原因。也就是說，結果是清楚的，但原因不是直接擺在眼前的。在這種意義上，涌現之所以讓人著迷，恰恰是因為它讓“結果從哪里來”這件事變得不那么直觀。

下面是一個比較生活化的例子來說明這一點。比如說，我自己就是一個復雜的生理系統，而我會感冒。感冒這件事，顯然是一個宏觀層面的事件：我知道自己發燒、咳嗽、喉嚨痛，也就是在人的整體層面上出現了癥狀。但這些癥狀背后的真正原因，并不是直接在宏觀層面上就能一眼看到的。我們知道，它一定和更微觀層面的過程有關。我們知道，人是由一個個細胞組成的。一個系統既然是由許多單元構成的，那它出了問題，我們很自然就會想：是不是應該把它拆開，看看究竟是哪一部分出了故障。西醫很多時候就是這樣的思路——把整體分解，去尋找具體的病灶。

但有些問題并沒有這么簡單。至少就感冒來說，我們當然知道它和細胞層面的過程有關，可在很多情況下，我們并不能輕易在那個層次上給出一個非常直接、清晰的解釋?？膳c此同時，作為普通人，我們又知道感冒是有原因的。比如，一個人此前受涼了，之后更容易感冒，這就是一種很樸素的因果判斷。而且這種判斷是可以當因果關系檢驗的。你完全可以設置隨機對照實驗：一些人受涼，一些人不受涼，再比較之后誰更容易感冒。做出這個結論時，我們并不需要先把細胞層面的全部機制都解釋清楚。也就是說，有些因果關系，是可以在宏觀層面上直接被識別出來的。

這就和機器故障很不一樣。比如一臺收音機壞了，你通常會認為，問題一定出在某個具體零件上。只要把機器拆開，找到壞掉的部件，換掉，再裝回去，問題就解決了。這個例子里，宏觀故障和微觀原因之間有一種非常直接的對應關系。但像感冒這樣的現象，情況并不是這樣。它不是一個簡單的“哪個零件壞了”式的問題。

不過，一旦說到因果，問題很快就會變得復雜。什么才算真正的因果？這是一個本身就有大量哲學和科學討論的問題。這里我不想把戰線拉得太長，而是想盡量直接地說明我所采用的一個出發點。

我這里說的因果，主要來自Judea Pearl以及Donald Rubin等人的研究工作。他們推動的一件很重要的事，就是把“因果”重新帶回科學討論的中心。而在 Pearl 的框架里，因果通?？梢苑殖扇齻€層次。

最底層是關聯，也就是 correlation。這是統計學里最常見的一層。我們平時算相關系數、做回歸，很多時候都停留在這一層。它當然有用，甚至常常足以幫助我們做出很好的預測，但它本身并不等于因果。因為兩個變量相關，背后可能只是因為它們共同受第三個因素影響。

再往上一層，是干預。也就是你不能只被動觀察，而是要真正去動系統：把某個變量設成某個值，看看接下來會發生什么。到了這一層，我們談的就更接近因果了，因為我們開始真正問“如果我去改變它，會帶來什么后果”。

但在 Pearl 看來，這還不是最高層。更高的一層，是反事實推斷。也就是不僅要看現實中發生了什么，還要進一步追問：如果剛才那件事沒有發生，結果會不會不一樣？

我們可以把干預和反事實分別對應因果中的“充分性”和“必要性”。只有兩者結合起來，我們才更有資格說，某個事件真的是另一個事件的原因。

所謂充分因，意思是：如果事件 c 發生了，那么事件 e 也會發生。因為這里討論的仍然是概率性的系統，所以可以用條件概率 P(e｜c)來表示。這個值越大，就說明 c 作為 e 的充分因越強。

但光有這一點還不夠。因為我們還要問：如果c不發生，e會不會也不發生？這就是必要因的問題。這個區分其實很重要。比如說，如果有很多人同時打我，那我受傷這件事，并不能簡單歸因于其中某一個人。因為即便少了那個人，其他人照樣會讓我受傷。也就是說，單有“它發生時結果會發生”還不夠，我們還得看“如果沒有它，結果是否就不會發生”。

因此，必要因衡量的是另一件事：把 c 排除之后，在其他可能原因仍然存在的情況下，e還能以多大概率發生。這個概率越低，就說明 c 越必要。這樣一來，當充分性和必要性都高時，我們才更接近日常直覺中的因果：它發生，結果就發生；它不發生，結果也就不發生。

因果涌現

有了這樣的概率定義之后，因果關系就可以真正進入計算框架。于是就有了一個研究方向由Erik Hoel在2013年提出，叫作“因果涌現”。

這個框架使用的“尺子”叫做有效信息（effective information，EI）。它試圖比較的是：在不同尺度上，一個系統動力學的因果效應到底有多強。

這里通常會同時考慮兩個維度。一個是時間，從過去到未來；另一個是尺度，從微觀到宏觀。微觀層次上，系統有一套微觀動力學；宏觀層次上，系統則有一套宏觀動力學。宏觀并不是憑空來的，而是通過某種粗粒化或降維映射，從微觀狀態壓縮上去得到的。

在每一個尺度上，我們算的就是EI。它度量的是：在該尺度下，系統狀態從前一時刻到后一時刻的平均因果效應強度。

從最原始的定義來看，EI 可以理解為一種特殊條件下的互信息。具體來說，就是把 t 時刻的輸入狀態設成最大熵分布——在有限離散情形下，可以近似理解為均勻分布——然后看系統演化到 t+1 時刻之后，前后兩個時刻之間保留了多少信息。寫成形式上，就是計算一種干預條件下的互信息：

這里的t時刻變量不是自然發生的分布，而是被人為設定為最大熵輸入。這樣做的目的，是盡量公平地考察系統本身的因果結構，而不是被某種特殊輸入分布“帶偏”。

同時，這個量也可以改寫成前面所說的充分因和必要因的某種組合，如下式所示。所以，它本質上仍然是在量化一個問題：在這個尺度上，系統狀態變化到底有多強的因果約束力。

這里其實不必太糾結 EI 的具體表達式，因為Hoel后來比較了很多種因果指標，結論大體一致：只要一個指標合理結合了充分性和必要性（論文里會把它叫做“因果元語”），它們在判斷因果涌現時給出的方向通常是相近的。不同寫法主要影響的是一些更細的數學性質，而不是這個框架的基本思想。

也正因為如此，這套方法的重要意義不在于某一個公式本身，而在于它第一次比較明確地給出了一個方向：我們可以不只停留在“整體大于部分之和”這樣的定性說法上，而是能夠真正比較不同尺度上的因果強度，并據此討論，宏觀層次是否可能比微觀層次更“有解釋力”。

這個框架的提出者Erik Hoel是神經科學背景的研究者。雖然它并不是從物理學傳統中直接生長出來的，但它確實為“如何量化涌現”打開了一個很有影響力的研究方向，也逐漸成為后來許多相關工作的起點。說到這里，其實還涉及一個很重要的討論：不同的人對“涌現”的理解，背后常常帶著不同的哲學立場。

按照我們前面一路講下來的思路，涌現并不只是系統內部自帶的一種封閉性質，它和“誰在觀察、如何觀察”是有關系的。也就是說，涌現不僅屬于系統本身，也和觀察者有關。

這里可以借一個很常見的類比。比如有些圖像，近看時你會發現它只是由許多離散的小元素構成（如上圖）；但當你拉遠距離再看，大腦會非常自然地把它識別成一張人臉。那張“臉”在某種意義上并不是圖像里本來就獨立存在的實體，而是和觀察尺度、觀察方式密切相關的結果。這個例子當然只是一個類比，但它至少提醒我們：當我們判斷一個系統是否出現了涌現時，這個判斷本身往往離不開觀察方式。

在哲學上，這樣的立場通常更接近“認識論的涌現”——也就是認為涌現與認知框架、觀察尺度有關。與之相對的，則是“本體論的涌現”，它強調涌現是系統內部客觀存在的性質，獨立于任何觀察者。

至少從我目前接觸到的研究來看，前一種思路正在得到越來越多的重視，尤其是在物理學中。量子力學當然是一個非常典型的例子，它幾乎無法完全脫離觀察問題來討論。但不止于此，在更廣的物理學語境里，越來越多的研究者也開始意識到，許多看似“客觀”的規律，其實都與觀察尺度有關。比如熱力學第二定律，某種意義上就可以被理解為一種與觀察能力相關的效應：如果你真的能無限精確地追蹤并記住每一個分子的全部運動，那么宏觀上那種清晰的“熵增”描述，就不會以同樣的方式出現。它恰恰是在宏觀觀察層次上才成立得最自然。

這些討論本身非常有意思，不過這里我不想展開過多的哲學爭論。對我來說，更重要的是先沿著這條思路往下走，看看它究竟能帶來什么樣的研究框架。

這也正好引到我自己的一項代表工作。我的主要思路，其實就是把前面講過的這些想法，用 AI 的方式實現出來：我們讓 AI 來承擔“觀察者”的角色，去學習系統在不同尺度上的表示和動力學。

它和一般神經網絡有一個很大的不同：這里的每個模塊本身都可以是神經網絡，但它們承擔的任務不是簡單分類或擬合，而是要去學習我們前面講到的那些關鍵對象，比如粗?；瘮?，也就是從微觀到宏觀的映射，以及不同尺度下的動力學規律。換句話說，它不僅要學“怎么看”，還要學“怎么把微觀組織成宏觀”。

更特別的一點在于，它不只學習正向動力學，也要同時學習反向動力學。乍一聽這有點反直覺，因為通常我們最關心的是預測未來，也就是正向預測夠不夠準，似乎沒有必要專門去學一個“反過來”的過程。但我們的結果發現，如果讓模型同時學習反向動力學，它的泛化能力會明顯更好。它更容易抓住那些真正穩定、不隨具體環境輕易改變的結構。

基于這個想法，我們搭建了一個框架，可以把各種復雜系統的時間序列數據輸入進去，讓模型自動判斷系統在多大程度上發生了涌現，以及如果確實發生了涌現，那么最合適的粗?；绞绞鞘裁?、最優的宏觀表示又是什么樣子。它的優化目標也很直接：既然我們前面已經找到了一把“尺子”，那就用這把尺子來訓練模型——也就是讓宏觀層次上的因果信息盡可能大。

后來回頭看，我越來越覺得這個思路的意義可能比我當時理解得更大。因為在后續交流中我發現，類似“加入反向學習”的想法，正在越來越多地出現在大模型和其他學習框架里。很多人也開始注意到，額外引入一個反向過程，雖然表面上不直接服務于預測任務，卻往往能讓系統在陌生環境中的泛化表現更好。

當然，這些工作并不是唯一的探索路徑。除了最早提出因果涌現框架的研究者之外，后來還有不少人沿著類似方向繼續往前推進，也提出了各自不同的定義和方法。它們之間在具體指標上會有差異，所選擇的“尺子”也不完全一樣，但這些工作有一個非常明顯的共同點：它們都不再滿足于只在單一尺度上討論問題，而一定會同時區分微觀和宏觀，并且把涌現放進一個動力學框架中去比較。也就是說，關鍵不只是“有沒有結構”，而是“在不同尺度上，這個系統如何演化，以及哪一個尺度更能抓住它的因果組織”。

到這里，我們主要回答的是一個基礎問題：究竟該如何描述涌現，并盡可能把它量化為一個可以進入科學研究的問題。但僅此還不夠，我們想要繼續追問：這個世界上為什么會有涌現現象？

涌現的演化論

為了理解這個問題，我們不妨先找一個類比，比如借用生物學來幫助我們思考。通常在生物學里，一開始我們會去研究各種各樣的生物現象，會去做解剖、做分類。比如拿眼睛來舉例，如果我想知道眼睛是怎么工作的，那么我就可以把它拆開來看，把每一個模塊的功能都盡可能弄清楚，從而理解它是如何接收外界的光學信號，再把這些信號轉化成大腦能夠接受的形式。從這個意義上講，通過分析眼睛本身，我們當然能夠理解它是怎樣運作的。

但問題在于，無論你把眼睛分析得多么細致，你依然很難回答另外一個問題：為什么眼睛偏偏長成今天這個樣子？如果只是為了完成視覺功能，其實理論上未必只有這一種設計，它也可能采取別的結構，也可能長成別的樣子。那么，為什么最后偏偏是這樣一種形態被保留下來？如果要回答這個問題，我們就不得不進入達爾文的演化論、進化論的視角。就像演化生物學家杜布贊斯基所說的那樣：若無進化之光，生物學毫無道理。意思并不是說解剖和分析不重要，而是說，如果沒有達爾文的那套理論作為啟發，那么你分析得再詳細，也仍然只是描述。你知道它是什么，卻并不知道它為什么會變成這樣。

所以，如果把這個思路放回到“涌現”這個問題上，我們真正要找的，其實也是一種類似的解釋框架。這和一般的建模工作不同。我們可以給螞蟻之間的交互作用進行建模，從而解釋蟻群在宏觀上為什么會有社會組織的現象，但我們還想知道，為什么螞蟻和其他物種不同，要如此互相交流；這種高度分工的蟻群組織是不是也是生物史上演化的結果。也就是說，涌現背后有沒有某種屬于它自己的“演化論”？事實上，這樣的工作是有的，而且開始得很早。

接下來我們可以把視線拉回到歷史中去，大概回到上世紀七十到八十年代。那個時候 AI 還沒有真正興起，深度學習更談不上普及，但已經有很多學者，尤其是橫跨物理和計算機兩個領域的人，開始思考這類很根本的問題。而這些工作里，有很大一部分都和圣塔菲研究所有關。這個地方可以說是復雜科學研究的圣地，當年在那里誕生了大量非常關鍵的工作。

其中有一條很重要的研究路徑——由James Crutchfield提出的計算力學。這個名字在中文語境里有時候容易和別的工程概念混在一起，但它其實是一個非常理論的研究方向。這個方向的整體思路，實際上和達爾文演化論有深刻的淵源。

我們可以先想象這樣一個世界：里面有很多很多 agent，可以叫主體，也可以叫智能體。它可以是生物，也可以是某種機器。如果你站在一個上帝視角去看這個世界，那么你會覺得所有動力學都是確定的，沒有什么不清楚的地方。但如果你站在主體自己的視角去看，情況就完全不一樣了。因為它的觀察能力一定是受限的，它只能看到自己周圍的一部分環境，只能接收到局部的信號和變化。

那么，這樣一個主體是由什么構成的？從底層來說，它當然有物質上的構成。假如它是一個生物體，那么它會由細胞構成，內部會有各種各樣的化學反應，這些都屬于更底層的物質結構。但在此之上，還有一個相對更“虛擬”的層次。在這個層次上，它首先需要有某種傳感器，幫助自己把外界的信號接收進來；同時它還需要有某種效應器，使自己能夠對外界作出反應。而在這兩者之間，還有一個非常關鍵的東西，就是它必須要有一個內部模型，用來對環境進行建模，并對環境作出預測。

如果用今天更流行的說法來講，這其實就已經很接近我們現在說的 world model，也就是“世界模型”。當然，在那個年代，他們還沒有今天這樣的術語，但基本思想其實已經很明確了：一個生物體或者一個一般意義上的主體，它的內部一定要有一個模型，能夠在持續接收外界信息的同時，不斷地模擬和預測周圍環境正在發生什么。

那生物體為什么需要這樣做？一個最直接的回答就是，為了生存。如果一個生物體能夠更好地預測環境，它往往就能夠作出更好的決策，從而更有機會活下來。但僅僅“預測準確”還不夠，因為模型本身也是有代價的。模型越復雜，就意味著要消耗更多資源，要花費更多能量去維持。也就是說，一個生物體內部的模型不能無限膨脹，它除了要盡量準確，還必須足夠簡潔。于是，對一般的 agent 來說，就會形成一個很重要的平衡：一方面，它希望自己的模型盡可能準確；另一方面，它又必須讓這個模型盡可能簡潔、經濟。只有這樣，它才能在有限資源下維持長期的生存。

所以從這個角度看，所謂演化，其實可以被理解為這樣一個過程：一個系統不斷在預測能力和模型壓縮之間尋找新的平衡方式。也正是在這樣的過程中，它會不斷形成新的結構、新的層次、新的組織方式。

這個想法本身并不難理解，真正關鍵的問題在于，怎樣把它落實到一個數學框架中。按照這一思路，行動者就必須不斷調整自己的內部模型。更準確地說，這其實就是我們前面提到的粗?；^程（詳見第一篇文章）：它需要不斷壓縮自己的模型，而壓縮的標準，就是在盡量保留預測能力的前提下，減少冗余。

圖中，環境（E）始終在變化，主體（X）不斷接收來自環境的信息。這些信息可以表示為字符序列或者時間序列，比如圖中底部那些 01011010 一類的輸入，都是對環境信號的模擬。當系統停留在某個狀態時，它就需要判斷未來可能發生什么，于是會形成一個關于未來的條件概率分布。圖中的箭頭形狀，表示的正是這種概率分布的樣子。

如果有些狀態對應的未來預測完全相同，即它們給出的條件概率分布一模一樣，那么這些狀態就滿足預測等價性，可以被合并為同一個狀態，打包處理。這樣一來，模型的負擔就會大大減輕，同時又不會損失預測能力。

沿著這條思路，我們可以把主體的模型理解為一個不斷升級的過程。最初級的模型非常笨拙，只會把遇到的每一條信息都原封不動地記下來。可隨著觀測越來越多，這種做法會迅速積累出難以承受的冗余。到某個階段，系統就不得不進行新的壓縮和重組，也就是不得不發生一種“創新”。

這項研究一個很有意思的地方在于給“創新”下了定義。所謂創新，就是跳出原來那套機器假設，改用一種新的機器類型，去完成同樣的預測任務。比如，當你發現某個序列總是周期性出現時，就沒有必要再逐項死記硬背，而可以引入新的樹結構來描述這種規律，并在這個樹結構上進一步優化。再往上，還可以發展出更高層次的自動機結構。今天我們當然可以直接用人工智能，但在當時還沒有這些工具，所以他們只能用一些相對樸素的機器模型來表達。不過它的核心意思已經很明確了：就是不斷把底層信息重新組織和打包，讓機器在保持預測能力的同時變得更加簡潔。

在我最近看的《千腦智能》里，千腦智能理論提出者霍金斯的團隊恰好從生物學角度為這個框架提供了一些支持。我們也許真的能在生物的解剖結構中，找到類似這種“預測機器”的東西。

比如，大腦皮層中的皮質柱就可以被看作這樣的預測機器。大腦中有大量皮質柱，而每一個皮質柱都可以承擔局部預測的功能。研究者進一步分析了神經元在執行預測任務時的活動方式，并認為當大腦進行整體預測時，本質上就是把不同皮質柱的預測結果匯聚起來，投票形成一個總體判斷。

在他們看來，皮質柱本身并不和具體的輸入輸出內容綁定，而是一個通用模塊，專門承擔預測功能。之所以會區分出視覺區、聽覺區，并不是因為這些區域在結構上本質不同，而是因為不同的皮質柱分別連接到了不同的感覺通道：連接視覺系統的，就表現為視覺區；連接聽覺系統的，就表現為聽覺區。按照這種設想，這個模塊本身是通用的，理論上甚至可以通過一種感覺去補償另一種感覺的功能。

復雜性的度量

再往下，計算力學理論還有回答一個問題：如果按照這個框架來理解系統，那么我們怎樣去衡量一個系統到底有多復雜？我們常說“復雜系統”，但復雜的程度到底能不能計算？當然是可以的。

如果看過梅拉妮·米歇爾的《復雜》，大家就會知道書中列舉過很多種復雜度的計算方法，有十幾種之多。這里我不打算全部展開，只想講其中一種常被引用的指標，也就是計算力學里的“統計復雜度”。

在理解統計復雜度之前，我們還得回到前面這套思想，尤其是其中繞不開的“圖靈機”概念。因為如果要理解二十世紀七八十年代這些研究者的工作，圖靈機是一個非常關鍵的背景。

所謂圖靈機，其實是一種概念模型。我們今天的計算機，本質上都是圖靈機：它接收輸入，按照程序一步一步執行操作，再產生輸出。正因為這個概念足夠抽象、足夠通用，所以它非常適合拿來討論各種不同類型的系統。它不一定非得是硅基計算機，很多別的對象（比如生物系統）也可以被理解成某種圖靈機。

當我們要衡量復雜度時，最著名的一種標準其實是柯爾莫哥洛夫復雜度。用圖靈機的語言來說：如果有一臺圖靈機能夠重構某個對象，那么描述這臺圖靈機所需要的最短長度，就是這個對象的復雜度。這個定義很符合直覺。一個對象如果可以用很短的一段描述就生成出來，那它顯然就不算太復雜。

統計復雜度和前面那種復雜度概念的不同之處在于，它不要求一臺圖靈機對對象進行完全、精確的重構。相反，它允許模型帶有一定隨機性，也就是說，不必逐字逐句、一模一樣地重現原始序列。對應的機器可以叫作伯努利圖靈機，統計復雜度關心的，就是這樣一臺機器所需要的長度。

為什么要這樣設計？看幾個簡單例子就能明白。如果我們把隨機性和復雜度放在一起考慮，首先有一種情況是沒有爭議的：一個系統如果完全沒有隨機性，比如只是不斷重復同一個符號，那么它顯然不復雜，無論采用哪種復雜度度量，結果都應該很低。

但另一種極端情況也值得注意。比如不斷拋硬幣，用拋硬幣的結果生成一串序列，這個序列前后沒有任何關聯，完全隨機。按照柯氏復雜度定義，它會顯得非常復雜，因為你無法壓縮它，想要完整重構，就只能把每一個結果都原樣記住?？蛇@其實并不符合我們的直覺。純粹的隨機過程未必就是復雜過程，拋硬幣當然隨機，但其實是相當簡單的過程。

從這個角度看，更合理的做法不是要求模型把每個序列都精確預測出來，而是允許它在不可預測的地方承認不可預測。如果面對的是一段完全無規律的序列，那么最好的預測方式，恰恰就是給出一個隨機分布。比如問下一個符號是什么，0還是1，模型只能回答：大約各有一半概率。這樣一來，模型本身就不需要承擔額外的結構負擔，因為序列里本來也沒有更多可利用的確定性結構。

也正因為如此，我們才需要像統計復雜度這樣的指標。這個指標關心的，不是你能否把每個細節都逐一復原，而是你能否在保留預測能力的前提下，對系統進行有效壓縮。所以統計復雜度的定義和計算也必然離不開前面所講的多尺度建模和粗?；?。要算出統計復雜度，需要主體先找到最佳粗?；?，也就是平衡預測和簡潔的最優模型，然后直接度量這個最優模型的大小即可。

人工生命：元胞自動機

不過，前面這些討論仍然比較抽象。要驗證這套理論是否成立，最終還得回到實驗。也就是說，我們需要找到一個合適的對象，去觀察這種“機器”是如何在演化中產生和變化的。只有這樣，才能檢驗這套理論到底能不能真正描述復雜系統的形成過程。也就是說，我們需要圖靈機的演化試驗場。

也正是在這樣的背景下，很多學者開始把目光投向元胞自動機。它既可以看成一種游戲，也可以看成一種極其簡潔的玩具模型。在初等元胞自動機研究中，最有影響的一位學者是斯蒂芬·沃爾夫勒姆。他把這些最簡單的元胞自動機分成了四類。

所謂初等元胞自動機，可以想象一排格子，每個格子只有兩種狀態：0 和 1，也可以理解為“死”和“活”。系統的規則很簡單：一個格子在下一時刻的狀態，由它自己和左右兩個鄰居在當前時刻的狀態共同決定。于是，我們就可以列出一張規則表，規定每一種三格組合在下一步會產生 0 還是 1。有了這張規則表，再給定一個初始條件，系統就可以一步一步演化下去。畫出來之后，縱向表示時間推進，橫向表示空間位置，于是就形成了一幅時空圖案。

不同規則下的元胞自動機，呈現出的圖案差別很大。最簡單的一類，很快就收斂到全 0 或全 1；第二類會出現周期結構，雖然有變化，但規律非常簡單，基本完全可預測；第三類看上去則雜亂無章，像是徹底隨機的混沌圖案。

真正有意思的是第四類。它既不像前兩類那樣過于簡單，也不像第三類那樣完全無序，而是處在兩者之間。它的圖案中往往會出現一些局部而穩定的模式，比如某些特殊結構會在背景中持續傳播和演化。你未必能精確預測整個系統最終會變成什么樣子，但可以把這些局部模式當作更高層次的單元來理解，并據此在宏觀上把握系統的行為。這正是復雜性最有代表性的特征：既不是純粹秩序，也不是純粹混亂，而是在兩者之間形成可識別、可組織、又不完全封閉的結構。

這個例子之所以重要，還因為它不只是一個游戲。沃爾夫勒姆后來提出“萬物皆計算”的觀點，認為整個世界本身也可以從計算的角度來理解。這個立場很有爭議，但它確實提供了一種有啟發性的視角：我們可以把許多原本看起來完全不同的系統，重新當作某種計算過程來審視。這樣一來，復雜性、結構生成以及涌現現象，也就能夠放到一個更統一的框架里重新理解。

在生物演化里，環境是非常重要的，那對于元胞自動機來說，什么是它的環境？這實際上就是我們給它布置的下游任務。比如Norman Packard最早提出了密度分類這一任務：如果初始空間里大多數元胞都是1，那么最終就要演化成全1的狀態；反之亦然，如果大多數元胞一開始是0，最終就要全0。如果把全1看作輸出宏觀態1，全0看作輸出宏觀態0，這實際上就是一個二分類任務。我們現在讓AI做的圖像分類任務看起來遠比這個二分類任務復雜得多，本質上還是一樣的。我們會對各種規則的元胞自動機根據輸出的表現打分，分數低的規則就要淘汰掉。

那在算法上如何實現這個淘汰過程呢？如果只是初等元胞自動機的話還好說，總共就256個規則的可能性，但如果是更復雜的元胞自動機或者其他種類的模型，這搜索空間可就太大了，那個年代還沒有訓練AI典型使用的梯度反傳算法。這時候，約翰·霍蘭德提出的遺傳算法就起了重要作用。他正是把生物演化的思想轉化為一種可操作的計算方法。

遺傳算法曾是極其常用的方法。它的基本思路很直接：把規則表示成字符串，讓這些字符串發生交叉、變異，生成新的候選規則；然后根據外部任務給出的評分，保留表現更好的規則，淘汰較差的規則。這樣一來，系統就可以通過不斷選擇，逐漸找到更適合特定任務的策略。

即使在今天，這類方法仍然有人在使用。而在更早的一段歷史中，它幾乎是主流工具。它尤其適合用來篩選適應某類任務的元胞自動機規則。不同任務會篩出不同的規則，而這一過程本身就很像生物演化：不斷生成變體，再通過環境壓力進行保留和淘汰。梅拉妮·米歇爾等人后來又用遺傳算法在元胞自動機演化的方向上做了大量的工作。

如果說元胞自動機提供的是一個純粹虛擬的計算世界，那么更早的時候，科學家已經在真實的生物系統中發現了這種精確計算的過程。大約在上世紀六七十年代，一些重要的生物學研究讓人們意識到，生物體內部并不只是雜亂的化學反應，其中有些過程具有高度的精確性，幾乎像是在執行某種計算任務。

站在今天的視角看，這件事似乎并不奇怪。我們已經非常習慣用計算的語言描述生物，比如分子馬達、馬達蛋白，甚至會說大腦“宕機”。但在當時，這種描述方式并不是理所當然的。它有一個明確的歷史起點：人們是在具體實驗中，逐漸發現生物體內確實存在某些近乎機器般的精密機制。

乳糖操縱子的例子就是其中非常典型的一個。在細胞所處的環境中，如果沒有足夠的乳糖，乳糖操縱子就會停留在特定位置，阻止轉錄發生；而當周圍乳糖濃度升高到一定程度后，它們與乳糖結合，離開原先的位置，轉錄過程隨之啟動。宏觀上看，系統需要根據環境中的乳糖濃度，決定是否開啟某種功能。換句話說，它完成的是一種分類任務，甚至可以說是一種二元決策。對于當時的研究者來說，生物體內竟然存在這樣精確的調控機制，是極具沖擊力的。也正是從這些工作開始，后來逐漸形成了系統生物學這一領域。

系統生物學雖然屬于生物學，但它在方法上卻和計算、邏輯以及動力學聯系得非常緊密。當然，今天也有人會反思與批判這種“把生命理解為計算”的思路，認為它未必能覆蓋生物現象的全部。但至少在當時，這條路徑極大強化了“萬物皆可計算”這一觀念的影響力。

不僅如此，這種思路甚至還可以擴展到一般物理系統中。一個很典型的例子就是貝納德對流。在一定條件下，一層受熱流體會自發形成規則的對流結構。若用一種擬人化的方式去描述，可以說系統“發現”單靠分子的無序運動還不足以高效散熱，于是自發形成了新的宏觀結構，以更高效率把熱量排出去。當然，這種說法本身帶有明顯的擬人化色彩，它并不是在說系統真的有意識，而只是提供了一種更直觀的理解方式。

混沌邊緣

1990年，克里斯托弗·朗頓的一篇著名文章，把前面這些線索群英薈萃般地集中到了一起。其中最重要的一個觀點是：復雜性往往既不出現在最有序的區域，也不出現在最無序的區域，而是出現在兩者之間。

如果把隨機性作為橫軸，就會發現，無論是過于規則還是過于混亂，系統的復雜度都不高。真正高復雜度的狀態，往往出現在中間地帶，這是我們之前在討論統計復雜度時討論到的。而簡單的香農熵和互信息也可以反映秩序的程度（詳見上一篇文章），只不過在中間地帶上，互信息計算出來的數值相當發散。與之相對應，在元胞自動機的分類中，最左邊是有序區，也就是前面說的第一類和第二類規則；最右邊是無序區，也就是混沌型規則；而真正復雜的規則，只占中間一小段區域。它既沒有收斂成簡單的重復，也沒有坍縮成徹底的混亂，而是在兩者之間維持著某種微妙的平衡。

其他研究者從不同模型出發，也得到了類似的結果：當系統過于有序時，復雜度很低；當系統過于混亂時，復雜度同樣很低；只有在兩者之間，復雜度才會達到峰值。也正是在這樣的背景下，這篇文章讓“混沌邊緣”這個概念流行開來。它指的正是這樣一個區域：系統既沒有落入僵死的秩序，也沒有滑向徹底的無序，而是處在一種最容易產生復雜結構和豐富行為的臨界地帶。

這個概念最初是由Norman Packard首先提出的，但正是因為朗頓的工作，它才被廣泛傳播，并成為復雜系統研究中最有代表性的觀念之一。

計算力學的應用

前面兩部分主要是在討論這些理論本身，但更重要的問題是，當我們理解了這些理論之后，怎樣把它們真正用起來。一個理論不能只停留在“有趣”這個層面，它還需要進入現實世界，產生實際價值。

一個很有意思的應用方向，是把信息論和復雜性度量用于地外生命研究。研究者可以收集行星的光譜等天文數據，再用統計復雜度等信息論指標對這些數據進行分析，從而判斷一個星球是否具有適合生命存在的特征。這里的關鍵在于，面對地外生命問題，傳統生物學的標準未必仍然適用，因為我們無法預設外星生命一定和地球生命擁有相同的化學組成。但信息論關注的不是具體成分，而是系統是否呈現出類似生命的復雜行為和組織方式。因此，這類研究天然需要跨學科合作，需要天文學、信息論和復雜系統研究共同參與，去提出新的生命判定框架。

再往下就是AI領域。最近有一個比較新的概念叫“認知復雜度”。它的核心想法和前面講到的統計復雜度其實非常接近：過于規則的對象和完全隨機的對象，都不能算真正意義上的復雜。真正有價值的復雜性，往往出現在兩者之間。具體來說，如果訓練數據特別有規律，模型的 loss 會很快收斂；如果數據完全無序，loss 則很難下降。但如果數據處在一種介于規則與隨機之間的狀態，模型就會經歷一個逐步學習、緩慢收斂的過程。于是，研究者就可以用 loss 曲線下方面積的比例，來度量這種“認知復雜度”。

這個度量之所以重要，是因為它和 AI 的分布外泛化能力密切相關。對于今天的 AI 來說，訓練集上的 loss 很低并不算真正的本事，因為那些數據本來就是我們提供給它的。真正關鍵的是，當環境發生變化、任務形式略有不同的時候，它還能不能把事情做好。這個能力才是當前 AI 最重要、也最難提升的能力之一。因為它要求模型真正抓住問題背后的規律，而不是只記住一些表面的、虛假的相關性。只要模型學到的是偽規律，它在測試環境中的表現就一定會迅速下降。

因果涌現與意識

沿著這個方向繼續推進，我們還可以把因果涌現的框架和 AI 結合起來，用于研究意識問題?，F在就有一些工作把這套方法應用到小鼠實驗中，觀察它們從清醒、麻醉到恢復的過程中，意識水平如何變化，并進一步分析在這一過程中，背后的神經結構是如何發生變化的。

之所以要做這類研究，不只是因為意識問題在哲學上很吸引人，更因為它具有明確的臨床價值?，F實中，一個長期無反應的患者，到底有沒有意識，其實并不總是能夠通過傳統臨床手段準確判斷。很多患者無法做出語言或動作反應，但這并不意味著他們內部完全沒有體驗。一個人可能無法表達，卻依然能夠感知外界，依然保有某種意識狀態。正因為如此，我們才需要一套更可靠的理論和測量框架，去幫助判斷一個人是否仍然具有意識。這也是為什么意識科學不僅是一個理論問題，更是一個非?，F實的問題。

大模型的可解釋性

接下來把視角完全轉向AI大模型本身，來看這些理論可以在哪些具體方向上發揮作用。其中一個非常重要的方向，就是大模型的可解釋性問題。這里可以舉一個典型工作——Anthropic團隊在這方面的研究。他們其實很早就開始關注大模型的可解釋性，在AI還沒有像今天這樣火熱的幾年之前，就已經在做相關探索。直到最近一兩年，這些工作才逐漸受到廣泛關注，因為他們確實給出了一些非常令人驚訝的成果。

他們的核心思路，是把大模型當作一種類似“大腦”的系統來研究。也就是說，不再只是把它當成一個輸入輸出的工具，而是試圖打開這個黑箱，去理解內部到底發生了什么。他們做的事情，本質上是在尋找模型內部的結構化計算過程。

一個典型發現，是對多語言能力的解釋。我們知道，大語言模型可以同時掌握多種語言，而且往往在一種語言上訓練之后，學習另一種語言會變得更容易。這說明模型內部存在某種與具體語言無關的“通用模塊”。Anthropic的工作，就是試圖把這些模塊真正找出來。他們發現，對于相同的問題，無論使用哪種語言輸入，模型在內部都會經過類似的計算路徑，再轉化為對應語言的輸出。這意味著模型內部確實存在與語言無關的抽象概念層。

類似的現象也出現在算術能力上。模型在進行簡單計算時，并不是按照我們直覺中的單一路徑推理，而是同時走兩條不同的計算路徑：一條路徑給出一個大致的數值范圍，另一條路徑專注于局部精確計算，比如個位數處理，最后再將兩者結合得到結果。這種機制與模型對外呈現的“思考過程”并不完全一致，說明我們看到的解釋，并不等同于模型真實的內部計算。

在生成詩歌時，也可以觀察到類似結構。模型往往是先確定韻腳，再反向補全整句內容。這種生成過程并不是線性逐詞生成，而是帶有明顯結構約束的規劃過程。更重要的是，這些內部過程是可以被干預的。研究者可以直接修改模型內部對應“韻腳”的特征表示，從而改變最終生成的詩句風格，甚至強行讓其不押韻。這說明模型內部的計算不僅可以被觀察，還可以被操作，從而具備一定的因果可控性。

他們還進一步研究了模型在越獄、安全繞過等行為中的內部機制，試圖理解這些行為是如何在模型中產生的。為了做到這一點，他們引入了一種“代理模型”的方法。由于原始大模型是一個高度復雜的黑箱，很難直接分析，他們通過訓練一個新的模型，在更高維空間中對原模型進行編碼。這一過程本質上是一個升維映射，把原本難以解釋的表示，轉化為一個更稀疏、更結構化的表示空間。

在這個新的特征空間中，每個特征與具體輸出之間的關系被約束為盡可能稀疏，同時整體預測效果又要與原模型保持一致。這樣一來，就可以在不顯著降低性能的前提下，獲得一個更“白箱”的近似模型，從而分析模型內部的計算結構。

之所以需要這樣的方法，是因為原始神經元具有一個關鍵性質——多義性。也就是說，同一個神經元在不同任務中可能承擔完全不同的功能，因此無法簡單地為其賦予明確含義。這一點和生物中的基因非常類似：有些基因可以對應明確的表型變化，但也有一些基因會同時影響多個看似無關的特征，使得它們難以被單一功能定義。

要讓模型變得可解釋，就需要對這種多義性進行約束。一種可行的路徑，是構造一個“高維但稀疏”的表示空間。在足夠高維的空間中，可以用更少的激活單元表達復雜功能；而通過稀疏約束，可以讓每個特征盡可能只對應少量語義或功能。當這些特征之間的關系接近線性，并且激活模式足夠簡單時，就可以建立“特征—語義”的對應關系，從而實現可解釋性。

換句話說，可解釋性的關鍵，不在于直接分析原模型，而在于找到一種新的表示方式：在這個表示中，結構是清晰的、稀疏的，并且與模型行為保持一致。Anthropic的工作，本質上就是沿著這個方向，嘗試把大模型從一個不可理解的黑箱，轉化為一個可以被分析、甚至被干預的系統。

當然，這類工作本身也存在明顯的問題。首先，代理模型究竟能不能真實代表原始大模型的內部思考過程，這件事本身就是存疑的。其次，還會引出一個更直接的問題：既然代理模型更容易解釋，為什么不干脆直接使用代理模型，而是還要繼續依賴那個原本不可解釋的大模型？答案在于，代理模型雖然更清晰，但效率通常很低。也就是說，計算效率和可解釋性本身就是一種張力關系，很多時候很難同時做到最好。

如果希望一個大模型擁有足夠大的容量，能夠處理大量任務、吸收海量數據、維持很強的性能，那么就不能同時期待它在結構上也對人類完全透明。反過來，如果希望模型高度可解釋，就往往需要在計算效率上做出妥協。這也是當前很多可解釋性研究面對的現實平衡：性能和解釋性之間，并不存在輕易兩全的方案。

之所以特別拿這類工作出來討論，是因為它在結構上和前面談到的因果涌現框架很接近。我們一直希望，在解釋一個復雜系統時，能夠找到一個最合適的尺度。在這個尺度上，系統內部的因果關系應該足夠清晰，清晰到既可以從過去推到未來，也可以從結果追溯原因；既能預測，也能回溯。這樣的結構本身就意味著較強的可解釋性。無論是研究大模型，還是研究其他復雜系統，我們真正想找到的，都是這種因果關系最清楚、結構最穩定的層次。

大模型作為復雜系統

前面提到的那些可解釋性工作，主要是在回答一個問題：模型已經具備某種能力之后，它內部到底是怎么實現的。也就是說，它關注的是“能力如何運作”。但除此之外，還有另一個同樣重要的問題，那就是“能力是怎么來的”。比如我們一開始討論的大模型涌現現象，本身也需要解釋：為什么某種能力偏偏會在某個規模上突然出現，而在更小的規模下卻完全看不到？究竟是什么發生了變化？而且，大模型中并不只有這一個現象，很多隨著模型規模擴大才出現的特殊行為，都值得從復雜系統的角度重新理解。

如果把這些現象做一個粗略總結，最常被提到的首先還是縮放定律。它描述的是：在對數坐標下，模型能力會隨著資源投入呈現近似線性的提升。也就是說，只要不斷增加參數、數據和算力，模型性能就會持續上升，看起來似乎沒有明顯天花板。某種意義上，這也是為什么早期OpenAI愿意堅定投入巨額資源，因為他們相信這條規律會繼續成立，而后來的結果也部分證明了這種判斷。

但問題在于，大模型的表現又并不完全服從縮放定律。研究者在實驗中觀察到，某些能力并不是平滑增長的，而是會在跨過某個門檻之后突然躍升。這就是后來被廣泛討論的“涌現能力”。更早的時候，谷歌在構建大規?；鶞蕼y試時，其實已經觀察到類似現象，只是當時沒有使用“涌現”這個詞，而是稱之為“突破”。兩者描述的其實是同一類現象：模型規模達到某個臨界點之后，會出現一個難以用平滑外推解釋的能力跳變。

除了這種隨模型規模發生的突變，還有一些現象出現在訓練過程本身。比如“頓悟”現象，通常用 grokking 來描述。它指的是：同一個模型在訓練早期，訓練集表現已經很好，但測試集表現始終很差，看起來像是只會做見過的題，不會真正泛化。然而繼續訓練很長時間之后，它會在某個時刻突然學會，測試準確率迅速提升。這種變化并不是緩慢積累后線性顯現出來的，而像是一種突然發生的結構性轉變。

另外還有“雙下降”現象。按照一般直覺，誤差應該隨著訓練或模型增大而單調下降，但實際情況并不總是如此。有時誤差會先下降，然后重新升高，之后再繼續下降，形成兩次下降的曲線形態。這類現象同樣說明，大模型的行為并不能完全用最簡單的連續擴展邏輯來概括。

這些現象在不同研究者那里，有些會被歸入“涌現”這個概念，有些則不會。總之，大家對“涌現”這種術語的理解以及對大模型現象的直覺感受，都會不一致。

有意思的是，關于“涌現能力”這個說法，后來也出現了很有影響力的質疑。來自谷歌的幾位研究者認為，所謂的能力突變，未必真的來自模型內部的結構變化，而可能只是指標選擇造成的視覺效果。最典型的例子就是準確率。準確率本身是一個高度非線性的指標，因為一項復雜任務往往要求模型在每個步驟上都不能出錯，只要其中某一步失敗，最終結果就是錯誤。在這種情況下，即使模型內部能力是平滑提升的，最終映射到準確率上，也可能表現為突然跨過門檻、成績猛增。

換句話說，他們的觀點是：突變不一定來自模型本身，而可能來自評估方式。如果底層能力是連續變化的，但我們選擇了一個門檻很強、非線性很高的指標，那么最終看到的就可能是一個“偽涌現”現象。相關研究甚至進一步做了推導，說明即便底層優化過程是相對平滑的，只要經過某些非線性指標變換，也能得到看起來像突變的結果。

這個質疑是有價值的，因為它提醒我們：面對大模型中的各種驚艷現象，不能只憑圖像印象下結論，還必須仔細區分，究竟是系統本身發生了真正的結構躍遷，還是評價指標把連續變化放大成了突變。只有把這兩種情況分開，我們才可能真正理解大模型能力演化的機制。

關于“涌現能力”的爭論并沒有就此結束。一方面，有些現象確實可能只是指標帶來的“假象”，并不值得過度解讀；但另一方面，也有越來越多的證據表明，并非所有現象都可以用指標非線性來解釋。比如，有研究直接在最基礎的優化指標——交叉熵（cross entropy）上觀察模型行為，依然能夠看到明顯的非線性變化。這說明，有些結構性變化是存在于模型本身的，而不是簡單由評價方式造成的。因此，這一領域仍然有很大的研究空間。

更重要的是，這類爭論本身具有積極意義。它提醒我們，需要對各種“驚艷現象”進行篩選，而不是一概接受。真正值得研究的，是那些在不同指標、不同視角下都穩定存在的現象。換句話說，我們需要在熱鬧的表象中去偽存真，把注意力集中在真正具有解釋價值的結構性問題上。

沿著這個思路，就會自然引出一個更實際的問題。當前我們對大模型能力的判斷，幾乎全部依賴于下游任務。也就是說，我們必須設計具體任務，通過測試結果來判斷模型是否具備某種能力。這種方式本質上是“外部評估”，而且高度依賴任務設計。如果換一個任務，甚至只是輕微改變測試方式，得到的結論就可能不同。這也帶來一個困難：當同一個模型在不同任務上表現出不同的“涌現特征”時，我們很難給出統一解釋。

因此，一個更理想的方向是：是否可以不依賴具體任務，僅通過模型本身的參數或訓練狀態，就判斷它是否已經進入某種能力階段？如果存在這樣的指標，就可以在訓練過程中實時監控模型的發展狀態，甚至提前預測“能力突變”即將發生的時刻。對于工業界來說，這一點尤為關鍵，因為它直接關系到資源投入的決策：什么時候繼續訓練，什么時候停止，是否已經接近某個關鍵躍遷點。

但這一目標非常困難。首先，這類指標需要具有普適性，能夠跨任務、跨模型成立；其次，還需要足夠可靠，能夠說服研究社區。目前雖然已經有一些嘗試，但整體來看還不夠成熟，仍然缺乏穩定、可驗證的結果。這一方向依然是一個值得深入探索的重要問題。

如果從理論角度繼續推進，可以引入物理學中的一套語言來描述這些現象。例如，在統計物理中，有“序參量”（order parameter）的概念，用來刻畫系統從無序到有序的轉變程度。在相變理論中，系統在臨界點附近會表現出特殊性質，比如尺度無關性和自相似結構。這些現象與復雜系統中的涌現、以及AI中的某些突變行為，在本質上是相通的。

從計算機科學的角度，人們更習慣用“復雜性”或“信息結構”來描述這些變化；而在物理學中，則用“相變”“臨界現象”等概念來刻畫。兩套語言不同，但指向的是同一個問題：系統在某些條件下，會從一種狀態突然轉變為另一種狀態，并在這一過程中表現出新的結構和規律。

在具體問題上，這種差異也會體現出來。例如，“涌現能力”通常是隨著模型規模變化而觀察到的，它對應的是不同模型之間的比較；而像“頓悟”這種現象，則發生在同一個模型的訓練過程中，更類似于一個動態系統內部的相變。因此，從理論上看，后者更接近經典的臨界現象分析，也更容易引入序參量等工具來刻畫。

如果能夠在這些過程中找到合適的序參量，就有可能更精確地描述系統何時發生結構變化，從而把原本看似神秘的“突然學會”，轉化為可量化、可預測的過程。這不僅是理論上的問題，也具有實際應用價值，比如在訓練過程中識別關鍵階段，或者優化訓練策略。

最后，從更宏觀的角度來看，AI與復雜系統科學之間的關系是雙向的。一方面，AI的發展本身深受復雜系統和統計物理思想的影響，從早期的玻爾茲曼機到今天的大模型，都可以看到這一脈絡。另一方面，AI也正在成為研究復雜系統的重要工具，可以幫助我們分析那些傳統方法難以處理的大規模系統。

甚至有一種觀點認為，AI真正適合解決的問題，本質上都是復雜性問題。如果一個問題不涉及復雜系統結構，那么未必需要AI來處理；而當問題本身具有高度復雜性時，AI才會展現出獨特優勢。從這個角度看，AI的未來，很大程度上也會與復雜系統研究進一步融合。

相關參考文獻：

Hoel, E. P., Albantakis, L., & Tononi, G. (2013). Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49), 19790–19795. https://doi.org/10.1073/pnas.1314922110

Yuan, B., Zhang, J., Lyu, A., Wu, J., Wang, Z., Yang, M., Liu, K., Mou, M., & Cui, P. (2024). Emergence and Causality in Complex Systems: A Survey of Causal Emergence and Related Quantitative Studies. Entropy, 26(2), 108. https://doi.org/10.3390/e26020108

Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, Yingqi Rong, Bing Yuan, Jiang Zhang, Finding emergence in data by maximizing effective information, National Science Review, Volume 12, Issue 1, January 2025, nwae279, https://doi.org/10.1093/nsr/nwae279

Crutchfield, J. P. (1994). The calculi of emergence: Computation, dynamics and induction.Physica D: Nonlinear Phenomena,75(1–3), 11–54. https://doi.org/10.1016/0167-2789(94)90273-9

Langton, C. G. (1990). Computation at the edge of chaos: Phase transitions and emergent computation.Physica D: Nonlinear Phenomena,42(1–3), 12–37. https://doi.org/10.1016/0167-2789(90)90064-V

Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. https://doi.org/10.48550/arXiv.2206.07682

后記

這次我準備的內容有意無意地少了很多與涌現相關的研究與話題，比如統計物理里諸多非平衡態系統、自組織與臨界相變的研究，尤其是喬治·帕里西通過研究鳥群獲得了諾貝爾物理學獎。我們常說老三論——系統論、信息論和控制論，那比較來看，我對信息論介紹得細致了一些，似乎對系統論和控制論就沒有多少涉及。有老三論就有新三論，即協同學、突變論和耗散結構理論。尤其耗散結構理論的提出者普利高津也是諾獎得主，還和北師大系統科學學院有很深的淵源，更遑論國內的著名學者，比如錢學森錢老。

沒有講得這么全面，首先原因肯定是篇幅不夠，能力有限，不過還有一部分原因在于，對很多經常被人們提起的概念，我覺得需要細致地辨析，而不能隨便地使用。比如對于老三論，我覺得這三個概念不應該是并列的關系，而且“老”這個字似乎有過時的含義，但實際上它們的理論生命力甚至在當今仍比所謂新三論更強。

當我們說“**論”的時候，有時候實際上是在說“**主義”，這時候表達者有鮮明的立場，而且一定排斥對立的立場，比如還原主義者會直接否認涌現這樣概念的意義。而另一方面，還原論作為一種中性的方法論，存在于所有科學研究中，包括復雜系統科學。只要你遇到問題時，想要一步一步排除無關因素，找到真正重要的原因，那你就在運用還原論的思維。在這個角度上，整體論與還原論并不沖突，它們統一的一面要大于對立的一面。日常語境里，我們很容易混淆對這些概念的使用并因此可能吵得面紅耳赤。關于新老三論、整體論與還原論的討論，郝柏林先生有一篇文章已經用辛辣的語言談得很透徹了，我這里就不贅述了。

還有些概念目前只停留在剛起步的階段，沒有看到具體的科學實踐成果，所以我沒有予以介紹。比如有些工作對涌現進行分類，分弱涌現和強涌現。如果細致地辨析，它們更像是哲學上認識論與本體論的區分，如果使用“強弱”這樣的定語，在含義上就比較含糊了。另外，目前這些分類的工作還只是唯象的總結，還沒看到更進一步的科學成果。與之類似的還有目的論、向下因果與自指等等，它們在哲學上的爭論遠多于具體的實踐成果。如果它們以后結出了令人興奮的果實，我會把它們列為我分享里的座上賓。

Anyway，這次學術開放麥體驗不錯～任何時代都需要面對面的鏈接。

因果涌現第七季——從理論到應用

在神經系統中意識的生成、城市交通的擁堵演化、全球產業系統的協同與失穩之中，始終潛藏著一條貫穿微觀與宏觀的因果脈絡：個體行為本身或許簡單，卻能在尺度躍遷中孕育出高度組織化、難以還原的整體結構。復雜現象并非微觀規則的線性疊加，而是源于多尺度動力學作用下逐步形成的因果組織。正是在這一背景下，因果涌現理論被提出，并在因果涌現 2.0、工程化涌現以及多尺度因果抽象等工作中推進，逐漸發展出一套融合動力學分析、信息論度量以及譜方法與人工智能工具的研究框架，從而將研究重心從“復雜性本身”轉向“因果結構如何出現、如何被度量并在現實系統中發揮作用”。

為系統梳理因果涌現領域的最新進展，北京師范大學系統科學學院教授、集智俱樂部創始人張江老師領銜發起，組織對該主題感興趣的研究者與探索者共同研讀前沿文獻、交流研究思路。讀書會將于2026年2月22日起每周日上午（創建讀書會暫定時間為10:00-22:00）線上開展，持續約10周，包含主講分享與討論交流，并提供會后視頻回放，誠邀相關領域研究者及跨學科興趣者參與。

詳情請見：

1.

2.

3.

4.

5.

6.

7.