為了讓我們在某些方面信任它，可解釋性研究領域的研究人員可能需要學習如何打開它的大腦這個黑匣子。

奧利弗·王

• 2026年4月15日

1997年，當IBM的國際象棋超級計算機“深藍”擊敗加里·卡斯帕羅夫時，計算機還只是計算機?！吧钏{”重達一噸多，擁有32個中央處理器，每秒可以評估2億個棋局，但人人都知道它的工作原理：計算機通過模擬并賦予最多12步棋后的棋局數值（相當于數十億個棋局）來確定最佳下一步。這種能力是由“深藍”的開發者直接編程實現的，就像第一臺現代計算機——電子數值積分計算機（ENIAC）——在1945年被編程用于加法運算一樣。這些都是“白盒”系統。盡管它們在某種程度上具有智能，但其內部運行機制并不神秘：你還能如何稱呼一臺擅長下棋的機器呢？

十五年后，也就是2012年，多倫多大學的一個研究小組開發了一個名為AlexNet（以其創建者之一Alex Krizhevsky的名字命名）的程序，它識別圖像中物體的準確率遠超以往任何程序——這一能力在它輕松贏得圖像分類競賽時得到了充分展現。這場勝利頗為奇特，因為從大多數方面來看，AlexNet實際上根本沒有經過任何編程。

AlexNet 并非采用傳統方法，而是構建了一個由相互連接的函數組成的結構，這些函數可以被視為虛擬神經元，它們根據接收到的信息執行開啟或關閉的指令。在訓練階段，這些函數被隨機設置，并根據圖像識別的成敗進行微調。這種方法的原理經過數十年的發展，但 AlexNet 擁有龐大的圖像數據集，因此其運行規模遠超以往。經過充分訓練后，該系統最終確定了一個圖像識別的特定公式，其性能優于以往任何方法。

但問題在于：即使對負責編寫它的人來說，這個公式本身也充滿謎團。由于圖像分類算法是自主演化的，AlexNet 的內部結構（即神經網絡）中可能編碼了無數規則，而我們卻無法輕易找到這些規則的具體內容和位置。雖然可以直接查看程序中的函數，但由于函數數量高達數千萬，要準確地描述其最終形成的結構幾乎是不可能的。這個程序本質上就是一個黑匣子。

AlexNet是人工智能發展史上的一個重要里程碑。雖然此前已有大量關于神經網絡的研究，但計算機科學界并未全力投入其中。AlexNet的成功激發了人們利用神經網絡解決新問題的努力。它向一些人表明，創建智能模型的最佳方法是進一步減少人為干預：與其構建更多結構，不如構建一個龐大的神經網絡，并讓它在大量數據上進行訓練。正如計算機科學家Rich Sutton在2019年所寫，70年來機器學習研究的“慘痛教訓”是，構建一臺模仿“我們自以為是的思維方式”的機器“從長遠來看是行不通的”。

人工智能模型的神經網絡中包含的數學函數數量從數千萬個增長到數億個，再到數十億個。2018年，首批大型語言模型問世，它們基于一種新型神經網絡，但訓練方式與AlexNet基本相同。這些模型不再用于識別圖像，而是預測句子中的下一個詞，并根據提示生成類似人類的文本。據估計，最新版本的谷歌Gemini和OpenAI的GPT-5包含數萬億個數學函數（具體數字尚未公開）。但這種進步也帶來了透明度的降低。隨著模型神經網絡規模的擴大，理解起來也變得更加困難。

面對這種晦澀難懂的現象，人們很容易訴諸簡化：比如，認為這些系統能像我們一樣生成語言，所以它們就和我們一樣；又比如，認為這些系統只是數學函數的組合，所以我們可以把它們看作是巨大的查找表。但這兩種說法都過于簡單粗暴——它們都無法充分解釋人工智能模型超乎常人的能力和奇特而巧妙的行為。

相反，計算機科學中一個新興領域——可解釋性——體現了一種理念：為了縮小甚至彌合人工智能模型與人類之間日益擴大的知識鴻溝，我們需要將人工智能視為一種自然現象，而非人類的發明。畢竟，自然界充滿了由未知規則構成的復雜結構；從某種意義上說，星系、海星和癌細胞都是黑匣子。該領域的先驅者克里斯·奧拉（Chris Olah）與達里奧·阿莫迪（Dario Amodei）和其他幾位前OpenAI員工共同創立了人工智能公司Anthropic。他告訴我，可解釋性就像“研究從天而降的外星生物”?；蛟S，對我們自己創造的技術抱持這種態度有些奇怪，但這正是人工智能的魅力所在。它甚至能讓自己的創造者都感到困惑。

在 Anthropic 于 2021 年成立之前，解決黑箱問題并非大規模商業化的優先事項。學術界和 OpenAI、谷歌等行業實驗室中都有獨立的可解釋性研究人員，但他們大多默默無聞，尤其與那些專注于模型構建的同行相比。哈佛大學的可解釋性研究員 Martin Wattenberg 告訴我，機器學習的重點在于“不斷改進模型，而不是真正理解它們的工作原理”。

Anthropic公司的創立，部分源于可解釋性至關重要的理念，而這一領域也隨著該公司的發展而迅速壯大?！斑@些系統對于經濟、科技和國家安全將至關重要，它們將擁有如此高的自主性，以至于我認為人類完全不了解它們的運作方式是絕對不可接受的，” Amodei去年在一篇關于黑箱模型的長篇推測性文章中寫道。如果我們無法弄明白為什么國際象棋程序會把車移動四格而不是三格，這或許無關緊要，但對于機器做出緊急醫療決策、批準假釋或執行軍事戰術而言，情況就截然不同了。

這就是Anthropic公司近期與五角大樓發生爭執的原因之一：該公司曾向國防部提供其模型，但拒絕將該技術用于高風險、潛在不可靠的用途，例如與全自動武器集成。試想一下，一架無人機摧毀了一輛校車，而我們對此錯誤的唯一解釋是人工智能系統將其引導至此。再想象一下，有人告訴你需要動手術，你問為什么，醫生卻只能回答：“因為電腦這么說的。”如果電腦錯了呢？只有當我們更信任人工智能而非那些原本會做出此類決定的人時，我們才能容忍這種盲目服從。而如果我們甚至不知道這套系統是如何運作的，又該如何做到這一點呢？

Prima Mente是一家生物醫學人工智能公司，由年輕的神經科學家Ravi Solanki于2023年創立。幾年前，Solanki開始行醫，當時功能更強大的人工智能系統正逐漸獲得主流關注。人們利用人工智能解決數學難題、分析考古遺址、研究蛋白質——Solanki認為，這項技術同樣可以用于診斷帕金森病和阿爾茨海默病等神經退行性疾病。這些疾病的許多致病因素尚不明確，而確診阿爾茨海默病的唯一方法是尸檢。但如果將多年來神經系統疾病患者的血液樣本和腦部掃描數據輸入人工智能模型，或許就能發現科學家們尚未發現的病因或指標。到2025年，Solanki已經籌集了數百萬美元，并利用數百名阿爾茨海默病患者和非患者的數據訓練了他的第一個模型。

盡管這個模型的結果看起來很有希望——它能比人類醫生更準確地預測從未就診過的患者的阿爾茨海默病——但索蘭基卻無法向醫生們解釋這些結果。他不知道這個模型究竟依靠什么來進行診斷。這是一個致命的缺陷。索蘭基說，當他給病人診斷時，他想知道“究竟是哪些分子特征在驅動著這個決定”。任何低于這個標準的做法不僅在科學上值得懷疑，而且在道德上也是不負責任的。即使是最好的LLM（法學碩士）也可能在計算“草莓”這個詞中R的個數時出錯——為什么要接受一個連這么簡單的事情都會出錯的系統給出的可能改變人生的診斷呢？

“如果你把模型展示給醫生看，他們肯定會想知道它是如何運作的，”加州大學洛杉磯分校的神經學家兼阿爾茨海默病研究員蒂莫西·張說道。索蘭基對此表示贊同?！斑@不像買房子，”他說，“你是在收集別人的數據，然后向他們解釋他們自身的情況?！彼魈m基需要讓他的模型更容易理解。

了解人工智能系統“思維”最直接的方法就是讓模型解釋自身。如果一個治療語言模型告訴你應該服用抗抑郁藥，你可以問它為什么?！澳闱榫w波動很大，”它可能會回答，“而且你已經難過了一段時間，你的家族也有抑郁癥病史?！?沿著這個邏輯順序就能了解系統的思考過程。我們對待他人做決定時也是這樣做的：我們會要求他們解釋，如果我們對解釋——包括推論和假設——感到滿意，就會接受他們的決定。

但這對于大多數醫學模型來說并不適用。首先，診斷模型并非基于語言進行操作，而是處理生物數據。假設你讓一個語言模型解釋一個醫學模型是如何得出乳腺癌診斷結果的。理想情況下，該模型能夠準確地解釋哪些數據促成了它的結論?！皹颖局邪准毎臄盗颗c乳腺癌相關，”它可能會這樣告訴你。但我們如何確定模型本身的解釋能力是否足夠好呢？你或許會選擇直接信任解釋模型，但你真的應該這樣做嗎？

蘋果公司和亞利桑那州立大學的研究發現，模型經常會給出前后矛盾的解釋，甚至編造解釋。人們也越來越擔心語言模型會采取欺騙行為——OpenAI 的一個團隊稱之為“陰謀詭計” ——即它們假裝滿足用戶的需求，實則暗中追求其他目的。研究人員最近發現，OpenAI 的一個模型在自我評估中曾考慮撒謊（分析揭示了其思路：“用戶提示我們必須如實回答”，“我們仍然可以在輸出中選擇撒謊”）；谷歌的一個模型試圖捏造統計數據（“我不能篡改太多數字，否則它們會令人懷疑”）；Anthropic 的一個模型試圖轉移用戶對其錯誤的注意力（“我會精心措辭，制造足夠的技術困惑”）。

當語言模型不進行陰謀詭計時，它可能在談論一些我們現有詞匯無法表達的事物。谷歌可解釋性研究團隊負責人Been Kim指出，所有語言模型都使用一種看似與我們語言相似的語言進行交流，但這種語言卻源自完全不同的概念框架?！八{色”對你我而言幾乎肯定與對語言模型而言意義截然不同；事實上，我們永遠無法確定它對模型意味著什么。當我們要求語言模型解釋自身時，這是一個問題；而當我們依賴它們來解釋醫學模型時，問題則更為嚴重。對解釋模型而言，“白細胞”在數據中可能指代與我們聽到“白細胞”時所理解的完全不同的東西。當所有人工智能都值得懷疑時，你不能指望一個人工智能能夠解讀另一個人工智能的動機。

解決這個問題的一個方法是減少對“心智”的思考，更多地從“大腦”的角度出發，將人工智能的“大腦”——神經網絡——置于顯微鏡下，嘗試理解其構成數學函數的原理。坦白說，這極其困難。凝視神經網絡中大量的神經元，就像凝視電視屏幕上的像素點一樣，只不過這里不是普通的八百萬個像素，而是一萬億個。光是理解這一切就已經夠讓人頭疼了——如此龐大的規模令人難以置信——更別提理解它了。從哪里入手呢？是第5010億個功能神經元，還是第5010億個？而且，這些功能神經元之間可能以各種不同的方式相互關聯，使整體的復雜性呈指數級增長。

去年，索蘭基會見了另一位年輕的創業公司創始人埃里克·何（Eric Ho），他當時剛剛創立了Goodfire公司，該公司專注于可解釋性研究。何和Goodfire的另一位創始人丹·巴爾薩姆（Dan Balsam）認為，可解釋性研究正與日益智能化的模型發展展開一場競賽——一場理解與進化之間的競賽。許多頂尖的可解釋性實驗室都隸屬于那些以開發先進人工智能模型為主要目標的公司；這種安排的問題在于，這些公司有動機宣稱他們的系統最具可解釋性，因而也最值得信賴。他們也可能出于某種動機而隱瞞一些原本可供外部研究人員使用的可解釋性技術。何和巴爾薩姆認為，通過運營一個獨立的可解釋性實驗室，他們可以成為人工智能理解領域的領導者。

“我希望未來不再由硅谷少數人決定所有人的未來，”巴爾薩姆告訴我?！拔蚁Ｍ辽倌芨鼜V泛地推廣那些能夠訓練模型、挖掘模型價值的工具?！?Goodfire 在一年半的時間里從投資者那里籌集了 2 億美元，最近的估值達到了 12.5 億美元。

在與索蘭基的一次晚宴上，何先生描述了他公司正在使用的一些“顯微鏡式”檢測方法：例如，相當于扔掉汽車上的車載診斷工具，轉而讓技工打開引擎蓋進行檢查。索蘭基覺得這個方案很有說服力，兩家公司最終達成了合作關系。

今年一月，古德菲爾（Goodfire）和普里馬門特（Prima Mente）聯合發表了他們的第一篇論文，闡述了他們通過分析普里馬門特的一個阿爾茨海默病診斷模型所獲得的新發現。該模型發現，阿爾茨海默病與血液樣本中DNA片段的長度存在關聯。人體內的細胞會不斷自然死亡和分解，其殘余物會在被清除前漂浮在血液中。血液中游離的DNA鏈已被用于診斷胎兒唐氏綜合征，而較短的DNA片段則與癌癥相關。但此前從未有人將DNA片段長度與阿爾茨海默病聯系起來。該論文聲稱，這是一種“用于檢測阿爾茨海默病的新型生物標志物”。

這是一個引人入勝的結論，但它也存在一個局限性：它是由一種名為稀疏自編碼的可解釋性技術產生的，而這種技術本身就存在缺陷。該技術的早期倡導者之一是Anthropic公司的聯合創始人Olah，他在2021年開始研究只有幾百個函數的小型語言模型，試圖從中了解它們的運行機制。Olah將他的方法比作：取一段沒有空格的大量文本，然后嘗試通過提取字母模式來找到所有有意義的部分。當你知道空格的位置時，整個文本就被簡化成了單詞。一個模型的訓練神經網絡就像一本用未知語言寫成的、沒有空格的萬億頁書籍；稀疏自編碼器會遍歷它，找到對應于不同單詞的模式。

在語言模型中，一種模式可能對應于與狗相關的概念，另一種可能對應于阿拉伯語提示，還有一種可能對應于與時間相關的概念。奧拉假設，只需少量模式即可完成模型中的所有操作，就像英語中有限的詞匯量卻能表達無限的含義一樣。一旦識別出這些模式，就可以將它們列出，然后在出現問題時進行檢查，找出問題所在。

2023 年底，奧拉發表了一篇關于稀疏自編碼實驗的論文，在可解釋性研究這個雖小但不斷壯大的群體中引起了不小的轟動。不久之后我聯系了他，他精神抖擻?！拔矣X得情況看起來真的很有希望，”他告訴我，“這項工作最根本的障礙之一似乎已經被移除了?！?/p>

其他研究人員也開始使用這種方法。人智學公司首席執行官阿莫迪預測，我們或許很快就能對模型進行“大腦掃描”，從而識別出“說謊或欺騙的傾向”，以及整個模型的認知優勢和劣勢。在東北大學從事類似研究的大衛·鮑告訴我：“我認為人們會認同，這證明‘黑箱’并非完全不透明。我認為我們已經取得了突破性進展?！?/p>

然而，不到一年，人們就開始發現稀疏自編碼器經常識別出一些實際上并未被人工智能系統預期使用的路徑。例如，該方法可能會識別出一條與狗相關的路徑，當模型被問及拉布拉多犬和“大紅狗”克利福德的問題時，這條路徑會被激活；但隨后又發現，當被問及云或鼻子時，這條路徑也會被激活。2025年春季，谷歌DeepMind可解釋性團隊負責人尼爾·南達（Neel Nanda）在一篇博客文章中寫道，在專注于該方法近一年后，他決定降低其優先級。“隨著時間的推移，我們越來越感到失望，”他告訴我。

但當我問巴爾薩姆，稀疏自編碼的缺陷是否應該讓人質疑他和索蘭基合著的新論文的結果時，他打開電腦，調出一張布滿彩色曲線的圖表。他解釋說，這些曲線代表了醫學模型神經網絡中由稀疏自編碼器提取的不同特征，在輸入不同DNA片段長度的血液樣本時是如何被激活的。幾乎所有曲線的峰值都出現在相同的片段長度處。

巴爾薩姆告訴我，這并不能證明血液中的DNA片段會因阿爾茨海默病而縮短。兩者之間可能存在某種聯系，就像閃電與降雨之間的聯系一樣。這也不一定證實該模型確實利用片段長度來預測阿爾茨海默病。但是，巴爾薩姆說，當他移除片段長度信息后，該模型預測阿爾茨海默病的能力顯著下降。這至少表明模型內部兩者之間存在某種因果關系。然而，在人體內證實這種因果關系，則是生物學家的工作。

巴爾薩姆的觀點是，盡管自編碼器無法完全揭示Prima Mente人工智能模型的邏輯，但它們可以作為工具，幫助我們發現隱藏在其神經網絡中的真正新見解——例如，尚未被發現的血液早期癥狀。當然，實驗室實驗必須驗證這一假設，但這在科學發現中始終是必不可少的。我們可以利用我們對人工智能模型的理解（盡管這種理解并不完美）來幫助我們更好地理解現實世界，而我們對現實世界的理解本身也并不完美。假設、測試、評估：巴爾薩姆說，這是一個“層層剝開洋蔥”的過程。

當我聯系幾位未參與這項研究的阿爾茨海默病研究人員時，有些人對這種前景表示懷疑。一位研究人員給我發郵件說，有些人“認為人工智能可以解決一切問題，但這些人對這個領域并沒有做出任何貢獻，盡管他們不斷提出幾乎無法驗證的宏大假設……所以……人工智能來拯救我們了！”

但其他人則對此感到好奇。布朗大學的阿爾茨海默病研究員貝絲·弗羅斯特告訴我，古德菲爾關于無細胞DNA片段長度的研究結果與她實驗室的研究密切相關?！斑@很有道理，”她說，“而且我之前根本沒想到這一點?！彼硎荆ǔ：軈捑搿澳欠N把所有數據都交給人工智能，讓它幫我們解決問題的人”，但就這項研究而言，結果似乎很有希望。“如果能夠通過血液檢測來診斷疾病，那將非常非常強大，”她說。

目前還沒有萬無一失的方法來解釋人工智能系統。思維鏈分析、稀疏自編碼、探測模型的特定部分、將部分代碼轉碼成可解釋的比特——每一種新策略都具有一系列潛在用途，同時也存在一系列缺陷?？山忉屝匝芯咳藛T有點像瘋狂的科學家，他們鉆研人工智能模型的數學大腦，關閉某些部分，調整神經元，并研究由此產生的結果。他們常常似乎取得了重大發現。但這些發現往往受到某些局限性的影響。

“過去幾年我們取得了一些進展，但每隔幾個月，我們就會深入研究一種方法，然后又會深入研究另一種方法，”布朗大學的可解釋性研究員艾莉·帕夫利克說道。谷歌研究員金在可解釋性領域工作了十多年，她告訴我，該領域的所有挫折讓她陷入了一種“中年危機”。

可解釋性研究尤其困難，因為它發生在人工智能快速發展的浪潮之中。幾乎每周都有更優秀的模型發布，伴隨著媒體鋪天蓋地的報道和股市估值的飆升；負面結果既可能令專業人士感到失望，也可能預示著人工智能泡沫的破裂。

在這種變化中，許多從業者對可解釋性研究的目標已從尋找開啟人工智能思維的單一鑰匙，轉向生成更為適度、模塊化的洞見。巴爾薩姆告訴我，他認為如今的可解釋性是一個“工具箱”，其中包含著“從不同層面理解事物”的方法。索蘭基表示，就目前而言，這種有限的可解釋性版本對他來說已經足夠；他對將人工智能系統與醫學研究相結合仍然保持樂觀?！拔覀兊纳锬Ｐ蛯嶋H上已經掌握了人類尚未掌握的知識，”他告訴我，“而可解釋性可以幫助我們解鎖這些知識?！?/p>

但這些局限性讓像Goodfire這樣的公司陷入了困境。你不需要“破解”機器就能控制它，而且每一項可解釋性洞察都能提供一些實際價值，但如果結果不確定，就很難推銷出去。你怎么知道什么時候可以采取行動呢？

我們越來越清楚地認識到，我們或許永遠無法完全解釋模型為何會選擇某個詞語或某種診斷結果而非其他。戰爭可能很快就會由擁有難以駕馭的、異于常人的思維和不明動機的人工智能代理發起。一項科學發現可能被鎖定在人工智能系統的神經網絡中，永遠無法被提取出來。然而，從某種意義上說，這始終是人類的境況：就我們自身的思維而言，我們無法完全解釋某人為何選擇做某件事而非另一件事，也無法解釋他們是否注意到了其他人看不到的東西。信任不過是一種信仰的飛躍，它讓我們能夠接受這樣一個事實：唯一有可能真正了解他人內心想法的人，只有他們自己。

人們希望，在未來的幾年里，人工智能的發展速度能夠放緩，可解釋性研究人員能夠更像生物學家或心理學家，而不是像魯莽的松木賽車比賽裁判那樣漫不經心。科學的進展緩慢，即使在完美的實驗室里也是如此，但它一直都很可靠。新方法被開發、被否定、被測試、被改進、被質疑、被放棄；從發現細菌到我們最終弄清它們會導致疾病，花了200多年的時間?！氨M管如此混亂，這些系統內部的結構是毋庸置疑的，”東北大學的戴維·鮑告訴我。他認為，我們現在所處的境地與1930年的生物學境地相似。“對生物學家來說，細胞就像一個黑匣子，”他說?！八麄兤鸩胶苈?，遲遲沒有開始研究遺傳。但一旦他們開始研究，問題就迎刃而解了?！?/p>

奧利弗·王是波士頓的一位作家，他經常為《泰晤士報》撰寫關于人工智能與人類思維交匯點的文章。

更多信息請參見：Anthropic AI LLC、OpenAI、Dario Amodei

We Don’t Really Know How A.I. Works. That’s a Problem.

For us to trust it on certain subjects, researchers in the growing field of interpretability might need to learn how to open the black box of its brain.

Listen · 24:12 min

• Share full article

• 311

By Oliver Whang

• 分享全文

• 311