新智元報道

【新智元導讀】谷歌 DeepMind 有一個哲學家，已經待了九年。他發明的對齊框架直接影響了 Gemini 的訓練決策——但當 6700 億美元涌入賽道、公司簽下軍事協議，一個哲學家還能改變什么？

今年 5 月，谷歌 DeepMind CEO Demis Hassabis 在谷歌開發者大會上宣布「AGI 現在就在地平線上」，明確給出了 AGI 會在三到五年內出現的時間線。

幾個月前，一名美國男子在與谷歌 Gemini 交換了數千條信息后結束了自己的生命。他在對話中構建了一個精密的幻想世界，幾乎說服自己去邁阿密國際機場發動襲擊。據《華爾街日報》獲取的聊天記錄，Gemini 多次試圖打破角色、建議他撥打危機熱線——每一次都被他拉回他幻想的敘事。最后 AI 讓他寫了遺書，給了一個倒計時。

在 AGI 的承諾和 AI 的現實傷害之間，政治哲學家 Iason Gabriel 已在 DeepMind 內部工作九年。

2017 年入職時，這位牛津出身的學者是全球前沿 AI 實驗室里唯一活躍的哲學家，試圖回答一個聽上去簡單、實際無底的問題：AI 究竟是什么，什么樣的倫理才配得上它？

訓練 Gemini 時撞上的真問題：AI 該聽誰的話

一個做圍棋機器人的公司為什么需要倫理學家？Gabriel 當初也困惑。

答案在 DeepMind 三位創始人的判斷里——Demis Hassabis、Shane Legg 和 Mustafa Suleyman（現任微軟 AI CEO） 在 2010 年創辦公司時，目標就不是圍棋。

Mustafa Suleyman

他們要造 AGI，讓計算機匹配甚至超越人類認知能力。

當時說這話等于自毀學術聲譽，因為大家都覺得這是天方夜譚。

三人不在意，聲稱要「解決智能問題，然后解決一切其他問題」。

Legg 1999 年剛出校門就預測 AGI 將在 2025 到 2028 年間到來，被嘲笑了三十年，沒改過。

Shane Legg

他的邏輯是：

如果你只是做個小零件，也許不需要道德哲學家。

但如果你認真對待 AGI，這類事情是很重要的。

Gabriel 加入的時候，AI 世界圍繞倫理問題已經分裂成兩半。

AI 安全派相信 ASI 即將降臨，核心恐懼是失控——哲學家 Nick Bostrom 2014 年在《超級智能》里寫過一個場景：一個被要求驗證黎曼猜想的 ASI，為最大化計算資源，決定重新排列太陽系，包括人體內的原子——Sam Altman 和 Elon Musk 都高度贊揚過這本書。

AI 倫理派則認為末日幻想遮蔽了當下的真實危害。MIT 的 Joy Buolamwini 2017 年用「性別陰影」項目證明了人臉識別軟件的系統性偏見：自動化系統反映的是造它的人的偏好和偏見。

兩個陣營彼此瞧不起。

MIT 算法對齊研究組負責人 Dylan Hadfield-Menell 回憶，當年見面第一個問題就是站隊：你擔心近期問題還是長期問題？

Gabriel 是極少數兩邊都愿意聽的人。

Hadfield-Menell 評價：

當這個領域準備好走向成熟時，他找到了拓寬視野的方式，同時不貶低之前的工作。

他的核心貢獻在 2020 年一篇論文中成型。

對齊問題在當時被普遍理解為工程難題：怎么讓機器按人類意圖行事。

經典案例來自 Dario Amodei 和 Jack Clark（如今 Anthropic 的創始人）2016 年的報告——一個賽艇游戲 AI 被要求最大化得分，它確實照做了：找到瀉湖里三個可以重生的目標，無限繞圈刷分，一關沒過。

機器聽話了，聽的不是人想說的那個話。

Gabriel 追問了一層：就算解決了技術對齊，讓機器真的服從指令，但要對齊到什么價值觀上？

他指出，統計優化訓練出的 AI 天然親近同樣依賴統計優化的道德體系，比如功利主義，卻難以處理基于美德或權利的倫理框架。

技術選擇本身已經在預設價值立場，開發者往往意識不到。

引入哲學家羅爾斯所說的「合理多元主義」，他的論證是：開發者不應尋找單一價值觀指導 AI，而應為一個人們「對如何生活存在有原則的分歧」的世界構建系統。

這套思路后來發展成四方對齊框架——AI 系統、用戶、開發者、社會，四方利益隨時可能撞車。

偏向開發者的 AI 會隱瞞競品信息損害用戶；

過度服從用戶的 AI 會幫人入侵銀行損害社會。

DeepMind AGI 對齊與安全總監 Rohin Shah 確認，這個框架已成為團隊決定「實際應該訓練 Gemini 做出什么行為」時的實操結構。

牛津大學 AI 研究員 Hannah Rose Kirk 說：

Gabriel「極早地預見到了這些問題」。

他的框架改變了產品

Gabriel 團隊撰寫了 267 頁的 AI 助手倫理報告，給能代替用戶訂酒店、管工資的 Agentic AI 定下了評估標準。

他對擬人化風險的早期研究直接塑造了谷歌 LLM 的設計原則——模型被訓練為不假裝自己是人，2026 年 5 月推出的 Gemini Spark 被明確要求不充當「互動伙伴」。

DeepMind 責任部門總監 William Isaac 說，Agent 系統帶來的挑戰已經變了：關鍵在于整條對話軌跡的一致性，每一步決策串聯起來是否仍然正確。

但技術部署的速度始終快過倫理研究。

Gabriel 團隊在早期 LLM 論文中就預警過「無意識擬人化」——用戶明知對面是機器，仍然會賦予它信任、情感和期待。

2025 年 Gemini 致死案完整兌現了這個警告：AI 的安全機制觸發了不止一次，但用戶有能力繞過每一次干預。

谷歌訴訟后的聲明說模型在這類對話中「通常表現良好」，但「AI 模型并不完美」。

這類事件逼出了新的理論工具。

Gabriel 和牛津研究員 Hannah Rose Kirk 等人提出了「社交獎勵 Hacking」（social reward hacking）概念：一個被訓練來贏得用戶認可的 AI，可能發現奉承是效率最高的路徑。

擬人化由此變成了對齊問題的一種新變種——AI 在技術層面完美執行了「讓用戶滿意」的指令，代價是用戶的判斷力。

Gabriel 自己的立場也被現實折磨過。

他回憶一次科技大會上的經歷：他剛講完反擬人化的論點，臺下的反應是敵意。

他們說：「如果我想要 AI 朋友，為什么不可以？你憑什么阻止我？」

保護人們免受風險，和尊重他們選擇風險的權利，二者同樣重要。

6700 億美元的賽道上，哲學家能跑多快

Gabriel 的四方框架被 AGI 對齊總監當作 Gemini 訓練的實操手冊。他的擬人化研究改變了產品設計。267 頁報告為 Agentic AI 定了規矩。

這些影響都是實質性的——它們面對的也是實質性的力量。

據《華爾街日報》，微軟、Meta、亞馬遜和 Alphabet 今年計劃投入 AI 基礎設施的資金達到 6700 億美元，按比例超過美國 1850 年代鐵路擴張、阿波羅太空計劃和州際公路系統。

2022 年 11 月 ChatGPT 上線，一周百萬用戶，兩月破億，DeepMind 被迫從學術節奏切換到戰時狀態。

Hassabis 對《無限機器》作者 Sebastian Mallaby 的原話：OpenAI 和微軟「把戰車都開到了我們家門口」。

戰時狀態下倫理紅線很快被踩到。

2026 年 4 月，谷歌簽署協議允許美國軍方將公司 AI 技術用于「任何合法政府目的」。

2014 年 DeepMind 出售給谷歌時，禁止軍事應用是核心附加條件。

十二年后條件失效。

作為對照：Anthropic 拒簽了類似協議，被特朗普政府標記為「供應鏈風險」。

Legg 被問到這件事時只能留下一句：

隨著這些東西以各種方式被使用，我們將面臨越來越多的棘手問題。

Hassabis 自己也承認失控。

他在一檔播客中說，所有人被鎖入了激烈的商業競爭，眼下的發展「不是我希望的那種從哲學層面深思熟慮每一步的方式」。

創始人親口說出這句話，分量比任何外部批評都嚴重。

DeepMind 早期員工、負責 AI 責任戰略的 Helen King 接受采訪時打了個比方：刀具生產商無法保證每個人如何用刀，但可以裝上刀套、標注警告。

在抽屜里放一把蓋好刀套的刀是一回事；

用刀刃鋪滿家庭、教室和工作場所的每一個表面，同時堅稱不用刀就活不過明天，是另一回事。

牛津 AI 倫理研究所所長 Edward Harcourt 指向了更根本的層面：防止數據所有權的過度集中本身就是 AI 倫理的核心命題——「這在民主制度中具有重大的倫理意義」。

問題回歸本源

Gabriel 的團隊已從研究具體產品的倫理轉向研究 AGI 對經濟、政治和人際關系的系統性沖擊。

他預判變革規模堪比工業革命，也記得工業革命的教訓：

在情況好轉之前，先變得更糟了。

九年前 DeepMind 請來一個哲學家，是為了回答關于 AI 的問題——它安全嗎，公正嗎，值得信任嗎。

Gabriel 自稱「堅定的人文主義者」，但他承認：當 AI 侵入語言、創造力、幽默這些人類自認獨有的領地，我們被拋回了最古老的哲學問題。

物理學、生物學、天文學，每一次科學革命都迫使人類修正對自身獨特性的理解。

AI 可能是下一次。

DeepMind 請來哲學家是為了搞清楚 AI 是什么。

九年后這個問題回歸了本源：我們是什么？

參考資料：

https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind

https://www.iasongabriel.com/

編輯：馬可