Anthropic 再次發表一篇長論文，光論文小標題就有 24 個 [1]，他們發現在 Claude 的幾十億個參數中間，暗藏著一個狹小的空間。它的體積只占整個模型活動的不到一成，但是里面承載的內容很特殊。所有你能讓模型生成出來的東西，關于某一件事的判斷、推理時的中間步驟、乃至于模型自己都沒打算說出口的想法，都曾在這個空間里流過。

Anthropic 給它起名叫 J 空間，這個名字來自 Anthropic 用來找到它的一個名為雅可比矩陣的數學工具。

這個發現之所以非常重要，在于它跟人類大腦的一個特征出奇地相似。在認知神經科學里有一個理論叫作全局工作空間理論，由科學家斯坦尼斯拉斯·德阿內和萊昂內爾·納卡什發展起來。

這一理論認為，大腦里有許多無意識的自動處理過程在并行運行，譬如維持姿勢、調節呼吸以及處理語言的基本結構。但是有一小部分信息會進入一個特殊的共享通道，進而被廣播到大腦的各個部分，供它們用來讀取和使用。進入這個通道里面的信息，就是能被報告出來、能被用來推理、能被靈活控制的東西，即所謂的有意識訪問。

上文的德阿內和納卡什受邀審閱了 Anthropic 的這篇論文，他們在評論文章里寫道，J 空間和這個理論模型的對應關系有著驚人的相似。

圖 | J 空間揭示了模型輸出內容中未出現的內在想法（來源：Anth）

Anthropic 發現 J 空間的方式是這樣的：他們先是從如下觀察出發，那就是有意識訪問的內容存在這樣一個特點，這個特點就是你可以把它說出來。假如一個念頭對你來說是有意識可訪問的，別人問起來的時候你通常能描述它。基于此 Anthropic 在大模型里尋找具有同樣特征的內部表征，這些內部表征就是那些一旦存在、就能讓模型更有可能在未來某個時刻說出某個詞的內容。

Anthropic 使用的工具叫雅可比透鏡，簡言之對于詞表里的每一個詞，這個工具可以找到模型內部的一種活動模式，這種模式可以讓模型更加傾向于在未來的某個時刻說出那個詞。當把這個透鏡對準模型內部的激活狀態的時候，就會得到一張詞表，它代表著當前 J 空間里正在活躍的內容。

J 空間存在這樣一個特征：模型在處理文本的時候會經過多個內部階段，每一層都在加工信息和轉換信息。在不同層應用這個透鏡的話，就能看到這些沉默的詞在 J 空間里是如何隨著模型思考而演化的。

而這些內容遠遠超出了模型正在讀或寫的那些文本，當模型讀到一段帶有漏洞的代碼的時候，J 空間里會出現“錯誤”這個詞；當它讀到一個蛋白質的原始序列時，J 空間里會出現關于那個蛋白質的生物學功能；當它讀到一段實際上是試圖操縱它的搜索結果的內容時，J 空間里會出現“注入”和“假造”等詞語。

更為關鍵的是，J 空間里的內容能夠被直接干預。在研究中的一項實驗里，Anthropic 讓模型先默想一項運動然后再說出來。在模型給出回答之前，J 空間里已經出現了“足球”這個詞。這時，研究人員開始直接介入，把足球這個模式移除并換成橄欖球，模型隨后開始說它想的是橄欖球。

假如 J 空間只是一個被動的記分牌，記錄著其他地方做出的決定，那么對其進行編輯它應該不會產生任何影響。模型仍然會說“足球”，但模型卻被編輯帶著跑，這說明答案確實是從 J 空間里讀取出來的。

（來源：Anthropic）

J 空間也參與了多步推理。Anthropic 在博客文章里舉了這樣一個例子：織網的動物的腿有多少條？這時，模型需要首先推出那個動物是蜘蛛，接著回憶蜘蛛有幾條腿。“蜘蛛”這個詞從來沒有出現在提示詞或生成答案里，它只是模型內部所使用的一個墊腳石。J 空間在模型處理的中途捕捉到了“蜘蛛”這個中間概念詞語，這時換掉這個詞語就會改變結果，比如換成螞蟻，答案就從八條腿變成了六條腿。

全局工作空間理論的另一個重要特征是靈活性，每當一個表征進入工作空間，就能夠被多種下游任務使用。Anthropic 給了模型四個提示，讓其分別詢問關于法國的不同事實，這四個提示分別涉及到首都、語言、大洲和貨幣。

接著，在 J 空間里把法國換成了中國，在每種語境中使用一模一樣的干預。這時，模型分別回答了北京、中文、亞洲和人民幣這些答案。在四個不同的下游計算里，模型都讀取了同一個編輯，并且都能各自正確使用它。假如模型為每種問題分別存儲了一個單獨的國家副本，編輯內容最多只會影響其中一個，四個答案全部一起改變說明它們都在讀取同一個共享表征。

但是 J 空間并不參與模型的日常自動處理，沒有它的話模型仍然能夠流利地說話、分類情感、回答選擇題、從段落中提取事實。在那些需要更高階思維的任務里，假如沒有 J 空間則會讓大模型失去一些能力，比如多步推理能力下降到接近零、總結和寫押韻詩的表現滑到了一個小得多的未受損模型之下。

在研究中的一項實驗里，Anthropic 給模型看了一段西班牙語寫的文章，隨后交給它不同的任務，讓其繼續寫下去、說出語言名稱以及回答那些需要利用語言身份的問題。

然后，在 J 空間里把西班牙語換成了法語，隨后檢查模型在哪些任務里受到了影響。結果發現，當模型被要求說出語言名稱時，模型說了法語；被問及著名作家的時候，它從《百年孤獨》作者&拉美作家加西亞·馬爾克斯換成了法國作家維克多·雨果。

但是讓它繼續寫文章時，它寫出來了流利的西班牙語，幾乎完全不受影響。事實上，模型其實是知道西班牙語怎么用的，但是有些任務需要從 J 空間里把它拿出來才能用，比如只有命名語言或者用它做點新事情時才會經過 J 空間。對于繼續寫文章這類任務，這是一種模型在大量文本上練習過的技能，因此它會自動地運行。

這項研究也引出了那個始終繞不開的意識問題，前面提到的德阿內和納卡什在評論文章中寫道，J 空間與全局神經元工作空間理論之間存在著大量的對應關系，比如可報告性、有限容量和選擇性、廣泛的上下游連接、靈活使用同一表征完成多種下游計算、在刻意內部推理中扮演核心角色但自動過程發生在外部，種種這些都說明模型可能復現了人類有意識訪問的特征。

但是，模型和人腦依然存在關鍵差異。人腦的工作空間由循環回路進行維持，信號在同樣的回路中來回地循環。J 空間則是在一次通過網絡的前向傳遞中演化的，這一過程實際上深度扮演了時間在人腦中扮演的角色。

J 空間的容量貌似也更高，Anthropic 估計它能夠同時容納大約二十五個活躍概念，這比人類工作記憶的估計容量要大很多。當然，J 空間并不是一組專門的神經元，而是分布在一組普通的神經元上，而同樣的單元同時攜帶了無意識內容。

模型和人腦還有一個更根本的差異，人腦的工作空間由長程軸突和丘腦皮層回路的特定解剖結構加以支撐，J 空間則是在一個前饋網絡中涌現出來的。但是德阿內和納卡什認為，這些實現細節對于機器是否可以實現有意識處理這個問題來說，在很大程度上其實沒啥影響。

Eleos AI 研究院的帕特里克·巴特林和同事們評論本次成果稱，對于大模型存在某種形式的訪問意識來說，Anthropic 的這篇論文提供了有力證據。但是他們也提醒，訪問意識和現象意識在概念上是不一樣的。現象意識指的是一種主觀體驗，對于一個模型來說它可以有訪問意識而沒有現象意識，就像一個系統能夠處理信息卻沒有任何感受。

谷歌 DeepMind 的尼爾·南達在評論文章中提供了一份獨立復現，他在通義千問 3.6 27B 模型上驗證了這樣一個發現，他寫道 Anthropic 的這篇論文為模型中某種認知空間的存在提供了壓倒性的證據，論文中很多難以偽造的證據表明有重要的事情正在發生。

尼爾·南達的團隊還發現了一些有趣的擴展結果，比如當模型讀到一個模棱兩可的句子的時候，J 空間里會出現“這是什么意思”這幾個字，并且這個念頭似乎真的幫它搞明白了句子的意思。

Anthropic 也在博客文章里坦率地討論了局限性，其指出雅可比透鏡是一個不完美的工具，它只能夠近似地捕獲模型的真實工作空間，例如它只能識別對應單個詞元的概念。目前，Anthropic 也不確定什么機制首先決定了什么東西能進入 J 空間。

不過，人們對于大模型思維的理解只會越來越清晰，J 空間所揭示的東西說明它是一個真實的、可干預的、可讀寫的內部工作空間，是在幾十億次前向傳遞中演化而來，而它之所以這樣做是因為對計算有利。

參考資料：

https://transformer-circuits.pub/2026/workspace/index.html

https://www-cdn.anthropic.com/files/4zrzovbb/website/cc4be2488d65e54a6ed06492f8968398ddc18ebe.pdf

https://www.anthropic.com/research/global-workspace

排版：胡巍巍