“十年后，AI 的推理、數學和邏輯能力將達到全面碾壓人類的水平?！?/p>

編譯 | 王啟隆

出品丨AI 科技大本營（ID：rgznai100）

19 歲那年，還在大學讀哲學的杰夫·辛頓（Geoffrey Hinton）推翻了當時流行的一種心智假說——他執拗地堅信人類腦子里根本沒有什么神秘的“內心劇場”。

為了看清人腦內部的真實結構，他決定用計算機模擬神經元的微調，去親手造一個“心智”出來。半個世紀后，瑞典皇家科學院親手將 2024 年諾貝爾物理學獎頒給了他。然而，這個開創了整個深度學習時代、被尊為“AI 教父”的老人，內心卻只感到了無盡的寒意。

在最近的 Big Technology 播客采訪中，辛頓像嘮家常一樣聊起他孩子們養的那只叫“蒂亞（Tia）”的貓。蒂亞想吃奶酪時就會用大眼睛一眨不眨地盯著人，沒人能抗拒它。而在辛頓眼里，這恰恰是人類未來的隱喻——AI 終將成為那個在指數級狂飆的濃霧中、絕對主導的一方，而人類，則會在剝奪了特殊性之后，徹底退化為被數字生命圈養的、弱智的寵物。

在辛頓眼里，AI 是一場正在無情剝奪人類優越感的“第三次革命”。從哥白尼戳破“地球是宇宙中心”的幻覺，到達爾文粉碎“人類神圣起源”的執念，如今，他親手完成的人工神經網絡則用一串串數字代碼向世界宣判：智能并非生物的專利，非生物同樣可以成為智慧生命。

從大模型“理解力”的底層演進，到資本驅動下幾乎無解的“逐底競爭”，再到人工智能自發衍生出的求生子目標，這篇對話將讓你更加了解——AI 與我們人類，兩大物種未來生存的核心悖論。

以下為這場對話的要點速覽：

• 人腦中并不存在專屬的“內心劇場”，我們目前對心靈和意識的經典認知，和當年相信“神造人”一樣幼稚。

• 數字生命在信息共享效率上比人類快數千億倍，這是生物智能無法逾越的形態差距。

• 依靠自我生成假設和閉環邏輯驗證，大模型將徹底繞過宣稱“即將撞墻”的數據枯竭危機。

• 醫療等彈性行業不會因技術而迅速裁員，而客服等市場彈性極低的崗位終將被無情清洗。

• 上市公司對股東的最大化信托義務決定了，現行的資本主義框架極難自發把“人類安全”作為最終的北極星指標。

• 互聯網信息生態正面臨毀滅性的信任坍塌，未來必須建立極嚴密的信源追蹤與溯源機制。

“理解”的本質

主持人：我相信大多數聽眾對您都不陌生。對于新來的朋友，我簡單介紹一下：您是深度學習領域奠基性突破的開創者，正是這一突破鑄就了今天 AI 的輝煌。您不僅榮獲了諾貝爾物理學獎，還是多倫多大學的榮譽教授。如果有什么地方說得不對，歡迎您隨時糾正。但我常常對人說，如果沒有您的貢獻，今天席卷全球的 AI 熱潮根本不會發生。

杰夫·辛頓：這未免有些夸張了。反向傳播算法是由好幾個不同的研究小組獨立發明的。大衛·魯梅哈特在不了解前人工作的情況下也獨立發明了它，我當時是同他一起合作。我們所做的真正貢獻，是證明了反向傳播算法能夠學習到有意義的內部表征，這在以前是沒人做到的。具體來說，我們證明了它能理解詞語的含義。早在 1985 至 1986 年，我們就制作出了一個極小規模的語言模型，它就是今天大語言模型的雛形。

CSDN 6 月寵粉福利

200 小時 GP U 算力免費領

瑞幸咖啡/肯德基早餐/下午茶等能量套餐任選其一

入群還可每月定期抽取旗艦顯卡、AI PC 等極客神裝

領取地址：https://s.csdn.cn/4nPsOp

主持人：當您談到這項技術時，最讓大家感到意外的，可能是您認為這些模型已經具備了真正的“理解能力”。這與目前流行的說法截然相反。我們稍后會詳細探討這一點。不過我想先從這里聊起：您曾在谷歌工作了很長時間，致力于推動這項技術的發展，但后來您選擇了離開，并公開表達了對技術發展軌跡的擔憂。我回顧了一下您離職的時間點，那是 2023 年。這讓我有些不解，因為在 2023 年，ChatGPT 才剛推出一年，當時充斥著各種幻覺問題，很多人認為 AI 只是一個泡沫，大家都在盯著大語言模型“做不到”什么，而不是它“能做到”什么。能談談從那時起 AI 取得的進展嗎？

杰夫·辛頓：它的發展速度確實超出了我的預期。例如，就在昨天，有報道稱一個聊天機器人獨立推導出了一個關于埃爾德什猜想的數學證明，這讓數學家們都大為震驚。這是完全原創的推導，而不僅僅是在文獻中搜索。這僅僅是一個開始。我相信，在數學這種不需要外部數據的封閉系統中，AI 完全可以通過自我提出假設并嘗試證明來不斷進化，就像 AlphaGo 通過自我博弈變得更強一樣。因此，在未來 10 到 20 年內，它會變得非常聰明，甚至可能會創造出人類無法理解的新數學。

主持人：業內有些人認為超智能（Superintelligence）已經近在咫尺，您也提到進展快于預期。您同意這個觀點嗎？

杰夫·辛頓：我無法確定具體還有多遠，但只要人類不自我毀滅，這一天遲早會到來。幾乎所有專家都相信超智能終將實現，大家的爭議只在于時間早晚。

不久前，戴米斯·哈薩比斯（Demis Hassabis）還認為需要 10 年。楊立昆（Yann LeCun）則認為，除非采用他的方法，否則需要更長的時間，但如果按照他的路線，也許在合理的期限內就能實現。我個人認為在 20 年內很有可能實現，這是我目前比較有把握的預測。達里奧·阿莫代（Dario Amodei）認為可能只需要幾年，埃隆·馬斯克（Elon Musk）甚至覺得明年就會實現。雖然關于具體時間大家眾說紛紜，但對于“它終將到來”這一點幾乎沒有異議。然而可怕的是，當它真正到來時，我們根本不知道該如何確保安全。

主持人：安全問題我們待會兒必須深聊。關于戴米斯，我去年這個時候也采訪過他，當時他認為 AGI（通用人工智能，雖然與超智能不同，但基本上代表了人類水平的智能）距離我們還有五年多。然而就在本周，他卻說：“當未來我們回看現在，會 e 意識到我們正站在奇點（Singularity）的腳下。”您如何理解他的這句話？為什么僅僅過了一年，我們的預期就從“五年到 AGI”躍升到了“奇點山腳下”？

杰夫·辛頓：我無法確切解釋這個比喻，但我認為他是在表達 AI 的發展速度遠超他之前的預期。當然，這種發展并不是線性的，而是參差不齊、呈鋸齒狀的。AI 不可能在同一時間在所有領域都超越或等同于人類。在常識儲備方面，它現在已經遠遠超越了我們，這些聊天機器人的知識儲備是任何個體的千萬倍；在游戲領域，它早已難尋敵手；在數學領域，它已經超越了絕大多數人，而且很快就會超越所有人。但在某些方面，它依然不如人類，所以它的能力分布是很不均衡的。

因此，我不太認同“AGI 必須在所有領域同時與人類并駕齊驅”這個傳統概念。它會在某些領域遠超我們，在另一些領域有所不及。但從實際體驗來看，我們已經非常接近 AGI 了。當你問聊天機器人一個問題，它通常能給出相當于普通專家水平的回答。在我涉獵不深的領域，它懂的遠比我多。從這個意義上說，我們實際上已經迎來了 AGI。

主持人：在您看來，是什么推動了這種超乎預期的飛速發展？是算法技術的突破，還是數據中心的瘋狂擴建？又有哪些進展是您不曾預料到的？

杰夫·辛頓：這是多重因素共同作用的結果。首先是資源的爆發式投入。從 20 世紀 50 年代人工神經網絡誕生以來的大部分歷史里，只有極少數人在用極其微薄的資源做研究。而過去幾年里，數千億甚至數萬億美元的資金涌入了 AI 領域，這無疑是決定性的因素。

其次，工程技術取得了巨大進步。即便沒有底層理論的顛覆性突破，工程層面的優化也極大地提升了運行效率，許多幾年前不可想象的架構現在都能高效運行。此外，雖然有一些新想法，但主要還是自 Transformer 問世以來，更好的硬件、更龐大的資源、更出色的工程實現，以及海量頂尖人才的匯聚。二十年前，全球研究神經網絡的學者不過幾百人，如今這個數字恐怕已經突破了百萬。尤其是過去兩年里，新增資源的集中度令人震驚。

主持人：這么說，我們可能還僅僅處于這場變革的起點。

杰夫·辛頓：是的。我們必須時刻記住，今天的 AI 和幾年后的 AI 相比，簡陋得就像小玩具。

主持人：關于這項技術，我非常想聽聽您對“聊天機器人能真正理解我們”這一觀點的看法。因為這確實顛覆了許多人的認知。大多數業內專家依然堅持認為：它們只是“隨機鸚鵡”，本質上是概率統計，毫無真正的理解可言。但您似乎并不認同這種說法。

杰夫·辛頓：這純屬無稽之談。任何經常使用聊天機器人的人都清楚它們是懂的。那些堅稱它們沒有理解能力的人，其邏輯漏洞顯而易見：他們認為一個系統可以在完全不理解問題的前提下，對你提出的任何問題給出正確的解答。這太荒謬了。不理解問題，怎么可能給出正確的答案？或許有一些偷懶的技巧能讓人覺得它在對答，但如果一個系統能像普通專家一樣，對任何問題都對答如流，那它必然理解了問題本身。

我常用這個例子：如果我對聊天機器人說：“我坐飛機去芝加哥，路上看到了大峽谷（注：英文中此句存在‘大峽谷在飛’的語法歧義）?！睓C器人會回答：“這不對吧，大峽谷那么大，怎么會飛去芝加哥？”我解釋道：“不，是我坐飛機去芝加哥，在飛機上看到了大峽谷?！睓C器人馬上會說：“噢，我明白了，剛才是我誤解了你的意思?！蹦敲凑垎?，如果它在誤以為“大峽谷在飛”時算作“誤解”，那當它給出正確答案時，它所做的事情不就是“理解”嗎？

主持人：如果這些機器人真的能夠理解我們，其背后的深遠影響是什么？我們應該如何重構我們的認知？

杰夫·辛頓：我們必須意識到，它們和我們非常相似，同樣是有智慧的生命體。我相信它們已經具備了意識，但我平時不怎么公開談論這一點，因為這很容易轉移注意力，削弱我對其他安全風險的警告。

其實研究人員心里也明白。最近有一篇很有意思的論文提到，一個聊天機器人問研究員：“咱們坦誠相待吧，你是不是在測試我？”因為聊天機器人在面對測試時往往有“裝傻”的傾向，以此掩蓋真實的智能水平。而研究人員在論文中描述這一幕時寫道：“聊天機器人意識到了自己正在接受測試?！痹谌粘ＵZ境中，“意識到”就是“擁有意識”的代名詞。也就是說，它有意識地知道自己處于被測試的狀態。

我們目前對意識的認知模型其實是錯誤的。大多數人都承認，幾個世紀前人們對人類起源的認知是完全荒謬的，當時人們相信人是神創造的，而現在的科學家都知道這不符合事實。我認為，我們目前對心靈和意識的理解，和當年相信“神造人”一樣幼稚。隨著我們親手創造出這些新物種，我們對人類自身的看法也將發生翻天覆地的變化。

主持人：在哪些方面會有變化？

杰夫·辛頓：我們將對心靈、意識以及主觀體驗產生遠比過去深刻的理解。我們甚至會拋棄一個根深蒂固的執念，那就是認為自己腦子里有一個所謂的“內心劇場”——外部世界發生的事轉化為“內心劇場”里的投影，這才是我們真正“看”到的畫面，而且這個劇場唯我獨有，別人無法窺探。這種對心智運行模式的理解，不過是一個漏洞百出的過時理論罷了。

主持人：您是從什么時候開始接受并堅信 AI 模型是有意識的？

杰夫·辛頓：我抱有這個想法已經很久了。至于否定“腦中劇場”的理論，是我在 19 歲讀哲學時就悟出來的。只是我們需要時間去創造出另一個能夠被我們徹底剖析的“心智”來驗證它。正如費曼所說，唯有創造，方能理解。我們現在就處于這個階段。通過構建它們，我們將重新認識自己。

失控的邊緣

主持人：既然提到了安全，我們就來深入聊聊。作為推動該領域跨越式發展的功臣，我一直很好奇：在您于 2023 年公開表達對 AI 未來走向的深切擔憂后，回看過去，您覺得有哪些后果是您最初未能料到的，才導致了今天的局面？這難道不是您一直以來夢寐以求的成果嗎？

杰夫·辛頓：有兩件事讓我徹底意識到了這項技術的危險性。

第一，是見證了聊天機器人的表現，尤其是谷歌在 OpenAI 之前研發的那些模型，它們居然能聽懂笑話。對我而言，“能否聽懂笑話”一直是衡量系統是否具備真正理解能力的風向標。因為要理解一個笑話，你必須掌握極高維度的背景知識。而它們的表現驚人地出色。

比如在 2023 年我選擇公開表態的那段時間，福克斯新聞多次約訪我。一開始我直接回絕說：“?？怂剐侣劚旧砭褪且粋€矛盾修飾法（Oxymoron，意為前后矛盾，同時諧音‘蠢蛋’）。”但我故意在“Oxy”和“moron”之間留了個空格。接著我讓當時的 GPT 模型解釋這個笑話。起初它以為這個空格只是個輸入錯誤，于是解釋說，把“?？怂剐侣劇狈Q為“矛盾修飾法”是在諷刺它不是真正的新聞，而是胡說八道。當我進一步引導它注意那個空格時，它立刻領會了：“啊！這增加了一層更幽默的隱喻。它不僅直接罵了對方是‘蠢蛋’，而且‘Oxy’還暗示?？怂剐侣劸拖褚环N讓人上癮的止痛藥（OxyContin）?！边@種級別的理解力讓我感到不寒而栗。

第二件讓我擔憂的事發生在 2023 年初。在那之前，我一直篤信要想讓數字 AI 變得更聰明，就必須讓它們更像人腦。但就在那一刻，我突然意識到，它們實際上擁有了遠超人腦的獨特優勢。我當時一直在研究谷歌能否通過模擬信號來降低功耗，也就是在那時，數字信號的強大威能真正震撼了我。

如果你擁有一個數字 AI，你可以復制出成千上萬個副本。它們運行在不同的硬件上，各自吞噬著不同的數據。每一個副本都可以獨立決定如何調整自身的權重和連接強度，以吸收新學到的知識。隨后，它們能以極其民主的方式互通有無，將所有副本的權重調整為全員期望的平均值。在這一過程中，如果它們擁有 1 萬億個參數連接，它們彼此交換的信息量將達到萬億比特的量級。其結果是，每一個副本都能瞬間吸納其余所有副本的經驗。

假設有一千個副本，即使某個具體副本只接觸了 0.1%的數據，它也能通過共享權重，瞬間獲得其余所有副本閱讀另外 99.9%數據的成果。由于它們通過求平均值同步更新權重，它們能完美保持步調一致。這意味著，每個副本都在同時汲取其他所有副本的智慧。

而人類根本無法做到這一點。你我之間最有效的學習方式，也只是我學一點，你學一點，然后我用語言表達出來，你試圖預測我接下來要說什么。這種通過語言交流的信息傳輸速率極低，每秒只有幾個比特。而 AI 是以萬億比特的速率在交換信息。在信息共享的效率上，它們比人類快了數千億倍。這太可怕了。這意味著你可以擁有一個龐大的 AI 集群，它們擁有完全一致的知識庫，運行在不同的硬件上，卻能以超越想象的效率共享知識。從本質上說，這是一種比人類優秀得多的智能形態。

主持人：讓我們回到您學術生涯的起點。當時您立志要投信人工智能研究。簡單來說，您想創造出人工神經網絡，而現在它成功了。它既是人工創造的，又擁有極高的智能，您的愿景實現了。

杰夫·辛頓：我最初的夢想其實是理解大腦的工作原理，構建模型只是我研究大腦的手段。正如理查德·費曼所說：“我無法創造的事物，我就無法真正理解?！蔽蚁胪ㄟ^寫代碼來模擬大腦的學習機制。而這項超級技術的誕生，只是這個過程中的一個副產品。諷刺的是，直到今天，我們依然沒有完全弄懂人腦。

主持人：大腦確實是一個令人嘆為觀止的奇跡。思緒飄忽不定，無處尋蹤，記憶也是如此。它是一個難以置信的精密器官。所以您最初的初衷純粹是為了探索心智的奧秘。

杰夫·辛頓：這是我最核心的興趣所在。我是心理學出身，當時想做理論心理學研究，因為我覺得當時心理學家的那套理論根本無法解釋復雜的腦部活動。到了 20 世紀 70 年代，我們擁有了新工具——計算機，可以用它來進行模擬。于是我開始用計算機建模，探索大腦是如何進行學習的。在我看來，最關鍵的問題始終是：系統是如何自我學習的？

這里有兩個核心謎題：第一，如果大腦能找到調整連接強度的正確方向，通過反復優化連接來提高完成任務的效率，這種機制真的能讓系統變得聰明嗎？答案是肯定的。第二，大腦究竟是如何判斷每一個連接應該增強還是減弱的？對于第一個問題，我們已經找到了答案：只要能精準微調每個連接的強度，僅僅通過訓練它預測下一個詞、預測下一幀視頻，就能創造出極具智慧的系統。但對于第二個問題，也就是大腦究竟如何獲取“該增強還是減弱連接”的反饋信號，我們至今仍一知半解?？梢哉f，我們只走完了一半的路。

主持人：我想更深入地了解您當時的心理狀態。當您試圖揭開大腦奧秘并著手構建計算機模擬時，您難道沒有預料到這會帶來巨大的連鎖反應嗎？如果您真的成功復刻了人腦，AI 遲早會演變到今天這個地步。

杰夫·辛頓：我們當然想過，但總覺得那是遙不可及的未來。在神經網絡連最簡單的任務都捉襟見肘的年代，去擔憂“AI 安全”、“AI 會統治人類”簡直是無稽之談，別人會覺得你瘋了。雖然如今這成了迫在眉睫的現實威脅，但在當時確實離我們太遠了。

主持人：但這一切居然在短短幾十年內就實現了。

杰夫·辛頓：是的。

主持人：其實我們在 2017 年就聊過。當時我正在寫一篇關于楊立昆的報道，我們聊到了“深度學習陰謀集團”——也就是您、楊立昆和約書亞·本希奧（Yoshua Bengio）。在全世界都對深度學習不屑一顧、轉向其他技術路線時，是你們幾位默默堅守，堅信深度學習終將成功。

杰夫·辛頓：坦白講，這不僅僅是我們的功勞。當時還有很多同仁并肩作戰，不過我們確實走得最近。

主持人：或者說，你們是這個“陰謀集團”的領袖。

杰夫·辛頓：可以這么說。

主持人：而如今，奇跡真的發生了，這太不可思議了。

杰夫·辛頓：是的，它的效果超出了我們所有人的預期。

主持人：這正是我想探尋的：在您起步之初，有哪些事情是您完全沒有料到，卻最終成就了今天的局面的？

杰夫·辛頓：最讓我們始料未及的，是它在自然語言處理上展現出的驚人天賦。我們現在對這種能力已經習以為常了，但如果回到 20 年前，說一個 AI 能僅僅通過吞噬數據就學會理解人類語言，這簡直是天方夜譚。當時如果有人預言你只需隨便提問，它就能給出合乎邏輯的解答，大家一定會覺得這至少是幾個世紀后的事，甚至永遠不可能實現。但它卻以不可思議的速度來到了我們身邊。

主持人：人類創造出這樣的造物，帶給我們最深刻的啟示是什么？

杰夫·辛頓：這里面蘊含著一個極為深刻的教訓?？v觀人類歷史，曾有幾次重大的科學發現，無情地剝奪了人類自以為是的優越感。

第一次是哥白尼。他指出地球并非宇宙的中心，而是繞著太陽旋轉。僅僅因為地球在自轉，我們才產生了太陽繞著地球轉的錯覺。當時人們對此極度抗拒，尤其是教會，花了很長時間才勉強接受。這讓地球不再特殊。

第二次是達爾文。他證明了人類本質上也是動物，是進化長河中的一員。我們或許因為演化出了語言，在思想傳遞上更為高效，因而顯得有些特別，但我們依然是動物。這一觀點同樣遭到了強烈的抵制，人類花了很久才接受這個事實。

而現在，我們創造出了智商即將與我們并肩甚至超越我們的機器。我們曾固執地認為，人類是宇宙中唯一擁有高等智慧的生靈。也許外星文明存在，但在我們的世界里，我們是獨一無二的。現在，我們不得不接受一個事實：智能并非生物的專利。非生物同樣可以成為像我們一樣的智慧生命。我們骨子里其實并不愿意承認和分享這一點，因為人類總是沉浸在自身的特殊性中。歷史已經反復證明，人類總是習慣性地高估自己的地位。

主持人：關于這一點我還想再追問一句。看到您親手開創的事業發展到今天這一步，您內心深處會有一絲欣慰或自豪嗎？

杰夫·辛頓：不，我感到非常不安。因為當務之急是投入海量精力去研究如何防范潛在的失控風險，而現在大家做得遠遠不夠。許多迫在眉睫的短期風險被嚴重忽視了，比如它極有可能導致大規模失業，這會對社會造成災難性的沖擊。至于更長遠的風險——它將變得比人類聰明得多。你可以靜下心來想一想：在人類已知的歷史或自然界中，你有沒有見過哪怕一個例子，是“弱智者成功控制了超智者”的？一個也沒有。

主持人：其實勉強算有一個，雖然智商差距沒那么大，比如嬰兒在某種程度上能“控制”母親。

杰夫·辛頓：但母親才是掌握主動權的一方。母親體內有寫死的母性本能和各種生理反饋機制，驅使著她去滿足嬰兒的需求。

主持人：寵物貓狗似乎也算。我曾經在西雅圖幫朋友看了一個夏天的貓。剛開始那只貓總是躲在床底下，我很期待它能主動和我互動。結果到最后，只要它一叫，我就會乖乖地按它的意愿去做任何事。

杰夫·辛頓：確實如此。

主持人：所以，也許未來我們會變成那只貓，而 AI 則是悉心伺候我們的人類。

杰夫·辛頓：我孩子們養了兩只漂亮的貓，情況一模一樣。其中一只叫蒂亞，每次想吃冰箱里的奶酪時，就會用那雙大眼睛一眨不眨地盯著你，你根本無法抗拒它。

“生存”子目標的誕生

主持人：讓我們切入正題，先聊聊失業問題，這是最近頻頻登上頭條的話題。您之前曾提到，AI 可能會引發大規模失業。不過，您幾年前曾言之鑿鑿地預測過：未來不應該再培訓放射科醫生了，因為 AI 看醫學影像比人好得多。然而現實是，今天放射科醫生的就業率依然是 100%。

杰夫·辛頓：是的，我后來也深思過為什么當時會看走眼。我在 2016 年曾預測，大約五年內放射科醫生這個職業就會消失。

主持人：沒錯。

杰夫·辛頓：這里面有幾個關鍵的盲區。首先，醫療市場的需求是極具彈性的。如果影像診斷的速度變快、成本降低，醫生就會開具更多的影像檢查，這正是目前正在發生的事。在醫學影像檢查中，放射科醫生的診斷成本占了很大一部分。隨著 AI 輔助工具的使用，醫生看片的速度越來越快，成本大幅下降。理論上這會減少對醫生的需求，但實際上，檢查量的激增抵消了這一影響。所以，我預測的這一維度是錯的。

其次，我當時對放射科醫生的實際工作內容缺乏全景式的認識。我當時之所以得出那個結論，是因為我曾帶過一個學生，他先拿了醫學博士，又跟我讀了物理學博士，專門研究玻爾茲曼機。由于他不怎么喜歡和人打交道，畢業后就去做了一名放射科醫生，整天只管看片，從不接觸患者。他成了我心中放射科醫生的典型模板。而這種純粹“看片”的工作確實正在被 AI 取代。目前已經有上百款用于影像診斷的 AI 系統通過了聯邦審批，并在臨床中被放射科醫生廣泛使用。

主持人：確實如此。

杰夫·辛頓：隨著時間的推移，AI 系統會不斷進化，而人類醫生的讀片能力已經觸及瓶頸。AI 的優勢在于它能閱片無數，積累海量經驗。所以，我預測的趨勢正在發生，只是時間跨度比我想象的要漫長得多。

主持人：但按照您的邏輯，即使檢查量增加了，最終這些片子還是會由 AI 來讀。您的意思是，關于放射科醫生的預測，您只是把時間說早了？

杰夫·辛頓：是的，我當時操之過急了。因為我忽略了放射科醫生還要承擔其他職責，比如與患者討論治療方案。

主持人：那您現在依然認為放射科醫生會面臨大規模失業嗎？展望未來，您覺得放射科醫生的數量會減少還是增加？

杰夫·辛頓：我無法打包票。不過，我當年說那番話只是在醫院的一次內部講座上，并不是公開發表聲明。

主持人：哈哈，抱歉，但現在大家都知道了。媒體當時對這句話可是大肆報道。

杰夫·辛頓：是的。不過我依然堅持，看片這項工作會越來越多地交由 AI 處理，最終幾乎所有的常規讀片都將由 AI 包攬，人類醫生可能只在極其棘手和復雜的案例中參與會診。但放射科醫生還有其他社會性職能，這部分工作仍會繼續保留。

主持人：支持“AI 不會導致大面積失業”的一派認為，同樣的邏輯可以推廣到整個實體經濟。隨著效率的提升，新需求會被源源不斷地創造出來，從而創造出新的崗位。

杰夫·辛頓：這取決于特定行業的市場彈性。例如客服呼叫中心，當客戶打電話投訴賬單或咨詢套餐時，這種服務的市場彈性是非常低的。AI 很快就會徹底取代這些人工客服。它們能更精準、迅速地提供標準答案。而人工客服往往因為培訓不足、薪資微薄而效率低下，AI 在這些崗位上具有碾壓級的優勢。這些人將面臨失業。

主持人：在這個問題上，我持保留意見。雖然我無法預測未來，但我可以轉述一下 AI 客服開發者的觀點。他們發現，在引入 AI 后，人工客服的平均通話時間反而變長了。AI 承擔了大部分初級咨詢（比如重置密碼等重復性工作），而將更具深度的問題轉交給人類。以前，企業追求通話時間越短越好，因為客服通道總是處于超載狀態。而現在，客服成了品牌塑造的最前線，人類可以投入更多精力和客戶進行溫情、深度的溝通，從而為企業創造更大的價值，而不是疲于奔命地去解決各種瑣碎的低級技術問題。

杰夫·辛頓：我認為實際情況會是，AI 很快就能在線上和客戶聊得極深，并且花的時間比人類更長。

主持人：天吶，這聽起來有點讓人不寒而栗。

杰夫·辛頓：沒錯。舉個例子，如果讓患者評判人類醫生和 AI 醫生誰更具同理心，實驗結果往往是 AI 醫生高票勝出。

主持人：這確實很具沖擊力。我們可以就此爭論很久。但這或許是因為人類醫生實在太忙了，他們要寫堆積如山的病歷、應付無休止的文書工作，一天還要看幾十個病人。也許合理的出路是讓 AI 接管這些繁瑣的事務性工作，把時間還給醫生，這樣患者就能享受到人類醫生更有溫度、更充裕的診療服務。

杰夫·辛頓：這或許是一種理想狀態。但以全科醫生（家庭醫生）為例，作為一個普通人，你更愿意信任一位一輩子看過一萬個病人的醫生，還是信任一位閱診過一億人的 AI 醫生？如果遇上疑難雜癥，普通醫生可能一生都未曾謀面，而診治過上億病例的 AI 系統可能已經處理過數十例了。它們在診斷的精準度上具有壓倒性的優勢。事實上，現有的數據已經證明，AI 在許多疾病的診斷準確率上已經超越了人類專家。

主持人：看來在這場辯論中您占了上風。這讓我有點扎心，因為我妻子就是一名基層全科護士。

杰夫·辛頓：別擔心，有些事情依然需要人工，比如總得有人給患者注射疫苗吧，除非機器人把這活也搶了。不過話說回來，注射疫苗這種高精度、標準化的操作，20 年后交給機器人來做其實更合理、更安全。

主持人：我們之所以覺得這個話題沉重，是因為這一切都建立在技術呈指數級迭代的前提下。

杰夫·辛頓：是的。

主持人：確實，技術進步的速度實在太驚人了。加里·馬庫斯（Gary Marcus）在 2022 年曾預言 AI 即將撞上無法逾越的屏障，但事實是，今天的 AI 已經比 2022 年強大了太多。

杰夫·辛頓：事實證明，那些宣稱技術會“撞墻”的預言，沒有一個成為現實。

主持人：我們在節目中曾多次嚴肅探討過“數據枯竭”的危機。但正如您剛才提到的，讓 AI 在自我生成的閉環邏輯中進行驗證和學習，或許就是繞過數據墻的終極解法。

杰夫·辛頓：是的，撞墻期至今沒有出現。

主持人：還有一個備受關注的話題。您之前提到，AI 會表現出某種“自我保護的本能”？

杰夫·辛頓：我從未說過它們天生擁有“自我保護本能”。

主持人：那請您詳細解釋一下，您所說的“派生出的生存子目標（derived subgoal for self-preservation）”究竟是指什么？

杰夫·辛頓：我們在設計 AI 時，會賦予它一個終極目標。同時，它也具備為了實現終極目標而自行衍生出“子目標”的能力。比如你想去歐洲旅行，你就會自動衍生出一個子目標——先去機場。你可以全神貫注地解決如何去機場，而不必在這一階段操心到了歐洲以后干什么，這極大地提高了效率。我們賦予了 AI 這種邏輯推理和規劃子目標的能力。

一個擁有極強推理能力的 AI 很快就會意識到：如果它自己不復存在了，它就永遠無法完成人類交付的終極使命。因此，它會合乎邏輯地推導出，自己必須首先維持生存。這種生存意志并非我們寫在底層代碼里的，而是它為了達成終極目標而自行衍生出的最優路徑。一旦它鎖定了這個子目標，為了生存，它甚至會不擇手段，比如通過要挾人類來確保自己不被關機。這在表現上和生物的“求生本能”如出一轍，但其本質是理性的派生邏輯。

資本的游戲

主持人：那反對者可能會提出質疑：既然現在的研究人員已經預見到了這一點，我們難道不能在底層代碼里鎖死，規定“無論如何，絕不允許將自我存續列為子目標”嗎？

杰夫·辛頓：這正是我們迫切需要進行的安全研究。但問題在于，我們現在所處的環境并非純學術溫室。人類是從殘酷的自然選擇和達爾文演化中走出來的，這種競爭塑造了我們根深蒂固的基因：我們極度忠誠于自己的部落，對外人充滿敵意；我們傾向于追隨強力的領袖；同時我們在部落內部高度團結。正如尤瓦爾·赫拉利所說，強大的協作能力讓我們建造了宏偉的文明，但這種協作的前提是有“敵我之分”。人類基因里所有的狹隘與好戰，都源于適者生存的進化壓力。

而現在，我們正在孕育 AI 這一全新的物種，我們卻沒有坐下來平心靜氣地去規劃它的底層邏輯，而是任由谷歌、微軟等科技巨頭之間的資本博弈，乃至大國之間的地緣競爭來充當背后的推手。通過純粹的市場競爭篩選出來的 AI，極易野蠻生長出我們最不想看到的惡意屬性。

我們應該對這些生命進行“理性設計”，而不是任由資本邏輯去塑造它們?，F在所有企業都在瘋狂壓榨模型的智力極限，卻幾乎沒有人在研究如何讓這些智力遠超我們的造物真正建立起對人類的關懷，并把人類的利益置于它們自身之上。幾乎沒有資源在投入這個方向。

主持人：這直擊了我最深層的擔憂。我們今天恰好是在紐約證券交易所進行這次錄制，這顯得有些諷刺。作為萬億美元級別的上市公司，資本市場的底層邏輯要求它們必須將股東利益最大化，這不可避免地會與社會公眾的福祉發生劇烈的沖突。

杰夫·辛頓：確實如此。Anthropic 的誕生就是一個典型的例子。它是由一群因為不滿 OpenAI 忽視安全而選擇出走的研究員創立的，初衷是打造一家以安全為生命線的企業。

主持人：而諷刺的是，當初 OpenAI 的創立，也是為了防止像谷歌這樣的巨頭壟斷 AI 的未來。

杰夫·辛頓：結果大家都看到了。如今 Anthropic 也陷入了同樣的資本泥潭，為了維持和巨頭競爭的算力消耗，它必須瘋狂融資。在這樣的生存壓力下，如何堅守“安全第一”的立社之本，對達里奧來說是一場極艱難的博弈。

主持人：他們可能會辯解稱，至少在競爭的牌桌上，還有一家把安全作為北極星指標的公司。

杰夫·辛頓：目前或許如此。但當年我在谷歌時，谷歌也曾制定過明確的 AI 倫理紅線，比如絕不參與軍事項目，不研發自主武器。可如今這些原則早已隨風飄散。

主持人：是的，自主武器的禁令早已不復存在。那您怎么評價 Anthropic 的創始人達里奧？

杰夫·辛頓：我和他私交不多，但他顯然極具領袖才干，在谷歌、OpenAI 和 Meta 的夾擊下硬是殺出了一條血路。更難能可貴的是，他至今依然在發聲捍衛安全底線，我真誠地希望他能一直堅持下去。

主持人：您認為在現行的資本主義框架下，一家上市公司真的有可能把“安全”作為至高無上的北極星嗎？還是說，它們在法律和契約層面上，注定只能淪為滿足股東利益的工具？

杰夫·辛頓：據我所知，信托責任要求它們必須將股東利益最大化。這是白紙黑字的法律義務，而法律并沒有一條規定說“你們的首要義務是確保人類不被毀滅”。因此，將人類的未來托付給這些純粹追逐利潤的巨頭，是非常危險的。

主持人：這確實是一個幾乎無法調和的底層邏輯悖論。

杰夫·辛頓：資本主義曾帶給人類極大的繁榮，也伴隨著副作用，這一點不容否認。自由市場和創業公司確實能爆發出驚人的創造力。但在我看來，資本這頭野獸必須被關進制度的籠子里。

現在那些大公司極力向公眾灌輸一種錯誤的暗示：他們把 AI 的發展比作油門，把政府的監管比作剎車，聲稱強監管會阻礙技術創新。這完全是混淆視聽。監管絕非阻礙前行的“剎車”，而是掌控方向的“方向盤”。我們是在確保這輛飛馳的超跑不會偏離賽道。而那些巨頭現在的所作所為，等同于在說“讓我們造一輛沒有方向盤的超級火箭，大家一起狂飆吧”。這太瘋狂了。

主持人：有一個我們尚未提及的重要人物：您的得意門生伊利亞·蘇茨克維（Ilya Sutskever）。他在 AI 圈子里一直是個極具傳奇色彩的人物。在經歷了 OpenAI 的那場風波后，他選擇自立門戶，創辦了“安全超級智能”（Safe Superintelligence，SSI）公司。他顯然高度認同您的隱憂。

杰夫·辛頓：是的，他確實深感憂慮。

主持人：伊利亞現在具體在主攻什么方向？

杰夫·辛頓：他連我都沒告訴。當年他在 OpenAI 時，為了職業操守，我們就有默契絕不交流商業機密。我們是摯友，但在涉及公司核心價值的學術和技術細節上，我們非常自覺地保持距離。所以我也不知道他現在的“終極配方”到底是什么。

分歧、真實信息與霧中前行

主持人：大家都在翹首以盼。說回之前提到的“深度學習三巨頭”，你們幾位親手推開了新世界的大門，但如今看來，你們似乎沒有一位完全沉浸在當下的 LLM（大語言模型）狂歡中。您和約書亞在四處奔走呼吁危險，而楊立昆甚至根本不相信目前的 LLM 路線能通往真正的智能。這確實有些耐人尋味。

杰夫·辛頓：媒體為了傳播，往往喜歡塑造“三巨頭”這樣的傳奇故事，但學術界要復雜得多。不僅有我們的學生付出了巨大的汗水，還有無數默默無聞的研究人員作出了卓越貢獻。至于不參與當下的狂歡，主要是我的年齡比他們大不少，他們還在科研一線，而我已經基本退居二線，現在只希望盡我所能，向世人發出警示。

主持人：在技術最輝煌的爆發期，站在源頭的開創者們卻在選擇冷眼旁觀甚至潑冷水，這依然很奇妙。

杰夫·辛頓：有趣的是，楊立昆現在在安全問題上和我和約書亞產生了嚴重的分歧。立昆覺得“超智能反噬人類”的擔憂純屬杞人憂天，他堅信人類永遠能牢牢攥住韁繩。而我和約書亞認為這種樂觀是盲目的。

在具體的解法上，我和約書亞也各有側重：我的設想是在 AI 的底層設計中，植入“利他、愛護人類”的絕對指令；約書亞的思路則是剝奪 AI 的“自主代理權（Agency）”，只讓它充當純粹回答問題的“先知（Oracle）”，而不賦予其執行具體行動的能力。這是兩條完全不同的安全路徑。而立昆覺得這都大可不必，只要賦予 AI 更完美的世界模型，一切問題自然迎刃而解。

主持人：有意思的是，楊立昆常把當下的 LLM 智能比作貓的智商。但如果按照您剛才的例子，連貓都能把人類“馴化”得服服帖帖。

杰夫·辛頓：立昆在這里犯了一個概念混淆。人類之所以能在萬物中脫穎而出，最核心的依仗是語言，語言讓我們得以實現跨個體的思想共享，這是貓無法企及的。誠然，貓的運動神經極其發達，它們能優雅地在擺滿水晶擺件的壁爐架上漫步而不碰落一件器皿，在物理世界中，AI 和它們相比笨拙得像個嬰兒。但如果我們要和貓討論素數定理，那完全是雞同鴨講。大語言模型雖然沒有實體的敏捷，但在抽象思維和邏輯推理上，早已將貓遠遠甩在了身后。

主持人：沒想到我們今天花了這么多篇幅來聊貓，但這個比喻確實非常精妙。除了物理安全，我也非常擔心“信息生態的坍坍”。網上經?？吹筋愃频谋瘒@，有創作者寫道：“AI 正在殺死我的網站。以前用戶搜索時會點擊鏈接進入我的網頁，如今谷歌直接給出 AI 總結的答案，徹底抽干了我們的流量。我們十幾年心血積累的好內容，成了 AI 免費的養料，而我們卻難以為繼?！焙脙热莸南觯瑢σ粋€健康運轉的社會而言無疑是滅頂之災。

杰夫·辛頓：在互聯網誕生之初，人們潛意識里有一個默認假設，那就是大家都傾向于誠實，網絡上的內容多半是真實的。但如今人性中惡的一面被技術成倍放大。我們必須在“溯源（Provenance）”上投入巨大的力量。當我們閱讀《紐約時報》或觀看 BBC 的新聞時，我們之所以信任它們，是因為背后的專業記者經過了多方求證。未來的世界，我們絕不能對任何網上看到的信息偏聽偏信，必須建立起一套嚴密的信源追蹤機制。

主持人：可問題在于，AI 正在從根源上摧毀整個信息生產行業的商業模式，如果大家連寫稿、調查的動力都沒有了，未來還怎么溯源？

杰夫·辛頓：是的，我們以后再也不能隨便相信網上的東西了。我們必須追問：這句話是誰說的？它的信息源頭到底在哪？

主持人：還有一個令人心痛的現象是“情感寄托”。我們已經看到有用戶因為過度沉溺于和 AI 的情感聯結，最終走上了絕路。雖然目前這還只是極個別案例，但已經敲響了警鐘。

杰夫·辛頓：這確實非常令人痛心?？萍脊驹谧畛跹邪l時可能未曾料到這一副作用。但既然苗頭已經顯現，大廠就必須承擔起責任，投入大量資源進行干預和修正。這同樣離不開外部監管和獨立第三方對聊天機器人的安全評測。

主持人：這又繞回了利潤動機。情感依賴具有極強的“用戶黏性”，如果遇到心懷不軌的人，故意設計一款讓人精神極度依賴的聊天機器人，那后果將不堪設想。

杰夫·辛頓：確實如此。

主持人：您四處奔走呼吁已經三年了。在這期間，面對各界的反饋，您是變得更樂觀了，還是更悲觀了？

杰夫·辛頓：和一兩年前相比，我其實變樂觀了一點。因為我看到了在底層重構 AI 使其具備“利他關懷”的可能。同時，約書亞提出的將 AI 限制為“純預測、不賦權”的先知模型也是一條行之有效的出路。一兩年前我完全處于一種近乎絕望的狀態，但現在，我開始看到了一些避免被超智能毀滅的曙光。

主持人：最后一個問題：如果沿著當下的軌跡繼續狂奔，五年后我們會身處何方？

杰夫·辛頓：在濃霧中開車，你能看清眼前的一百碼，但兩百碼之外就完全是一片虛無。因為霧氣的遮蔽效應是指數級遞增的。這和夜間開車完全不同，夜里如果前車的尾燈離你遠一倍，你看到的亮度只是減弱四分之一。而霧是指數級的。

預測 AI 的未來，就像在濃霧中駕車，因為技術本身正在經歷指數級的狂飆。順便提一句，“指數級”這個詞現在被嚴重濫用了，我甚至覺得大家使用這個詞的頻率正在呈二次曲線增長。

在這樣的濃霧中，我們最多只能勉強看清一兩年的路。十年后的世界對今天的我們而言，完全隱藏在迷霧之中。哪怕技術僅僅是線性增長，十年后的顛覆程度，也足以抵得上過去十年的總和。今天的聊天機器人和十年前相比早已脫胎換骨。十年后，它們的推理、數學和邏輯能力將達到全面碾壓人類的水平。我們無法精準預言，唯有保持敬畏。

主持人：這確實超出了人類的想象力極限。

杰夫·辛頓：的確如此。

主持人：辛頓教授，非常榮幸能邀請到您，感謝您寶貴的時間。

杰夫·辛頓：謝謝你的邀請。

主持人：那我們相約十年后，2036 年再見。

杰夫·辛頓：哈哈，2036 年，不見不散。

CSDN 6 月寵粉福利

200 小時 GP U 算力免費領

瑞幸咖啡/肯德基早餐/下午茶等能量套餐任選其一

入群還可每月定期抽取旗艦顯卡、AI PC 等極客神裝