谷歌最貴叛徒演講曝光：《下一階段AI的預測》

27億美元天價回歸！

谷歌最貴「叛徒」、

Transformer作者揭秘AGI下一步

來源：新智元

【導讀】在AI熱潮中，大模型最「渴求」的究竟是什么？是算力、是存儲，還是復雜的網絡互聯？在Hot Chips 2025 上，Transformer發明者之一、谷歌Gemini聯合負責人Noam Shazeer給出了答案。

大模型需要什么？

在硅谷舉行的科技盛會Hot Chips 2025首日的主題演講上，谷歌DeepMind的Noam Shazeer回答了這一問題，發表了題為《下一階段AI的預測》的主題演講。

除了是Transformer論文《Attention Is All You Need》的作者之一，他還推動了許多技術創新，例如顯著提升谷歌搜索中的拼寫校正功能。

早在2017年，他就發明了Transformer模型，至今已深耕LLM領域十年。

后來，他開發了一款聊天機器人，但谷歌拒絕發布這項成果，這也促使他選擇離職，創辦了Character.AI。

不久之后，谷歌意識到自身短板，最終以27億美元的高價與Character.AI達成合作。

如今，Noam已回歸谷歌，擔任Gemini項目的聯合負責人。

正如他所展示的，大語言模型可以借助硬件等各方面資源的提升，不斷改善性能與準確性。

AI下一階段

算力，算力，還是算力

Noam Shazeer主要分享了LLM的需求、個人的LLM研究之路以及硬件與LLM的關系。

他強調幾點關鍵內容。

首先，Noam認為語言建模是當前最重要的研究領域。

他在演講中用一張幻燈片專門闡釋了這一點，可見他對該話題熱情之高。

然后他談到了「LLM到底需要什么」(What LLMs want)。

他更關注的是：更多的FLOPS意味著更好的性能。

這非常重要，因為隨著參數的增加、深度的增加、非線性以及信息流的增加，LLM的規模也隨之增加。

這可能需要更多的計算資源。更多的優質訓練數據也有助于創建更好的LLM。

他還談到了2015年時，在32個GPU上訓練是一件大事；但十年后，可能需要數十萬個GPU。

另一個有趣的小細節是，他說在2018年，谷歌為AI構建了計算節點。

這是一件大事，因為在此之前，谷歌工程師通常在一千個CPU上運行工作負載。但隨后它們會變慢，另作他用，比如爬取網絡。

擁有專門用于深度學習/ AI工作負載的大型機器，使得性能有了巨大的提升。

接著是芯片會議上的一大亮點，即LLM對硬件的需求。

從這張幻燈片中，可以看到一個有趣的觀點

更多的計算能力、內存容量、內存帶寬和更多的網絡帶寬，對于推動未來AI模型的進步都至關重要。

在「所有層級」上，這不僅僅是DDR5的容量和帶寬，還包括HBM和芯片上的SRAM。

降低精度以幫助更好地利用這四個方面，在很多情況下也被視為好事。

確定性有助于更好地編程。

演講的信息歸結為：在集群中擁有更大、更快的設備將導致LLM的增益。

這對谷歌和其他一些公司來說可能是個好消息。

大模型要什么硬件？

Noam是典型的「反向跨界者」：作為AI研究者，他對硬件充滿好奇，總想知道這些機器如何運作。

在Mesh-TensorFlow項目中，他對TPU的底層網絡結構產生了極大興趣。

論文鏈接：https://arxiv.org/abs/1811.02084

他提出了很多讓人耳目一新的問題：

你們的芯片居然是環形網絡結構？

那數據包在里面怎么跑？

怎么映射到神經網絡的張量計算里？

這種好奇心最終促成了谷歌在軟硬件協同設計上的諸多突破。

在這次演講中，Noam Shazeer深入剖析了LLM到底需要什么硬件。

AI需要的硬件支持：不止GPU

毫無疑問，算力是LLM最需要的因素。

當大家說「LLM想要什么」時，實際上也是在問：

為了讓AI更聰明，我們的硬件系統需要如何變化？

Noam的答案清晰直接：越多越好，越大越好。

1.更多算力（More FLOPs）

算力越多越好，最好是數以千萬億次的浮點運算能力（petaflops）。它直接決定你能訓練多大的模型，用多大的batch，覆蓋多少訓練數據。

2.更大內存容量&更高內存帶寬

Noam指出，內存帶寬如果不足，會限制模型結構的靈活性，比如不能輕易加非線性層。而更高的帶寬=更細粒度的控制。

內存包括：片上存儲（on-chip SRAM）、高帶寬內存（HBM）、顯存或DRAM等其他中高速緩存

內存容量方面，直接決定了：

能塞下多大的模型；

在推理時，能保留多少中間狀態（比如長上下文、緩存、注意力頭等）。

3.網絡帶寬（Network Bandwidth）

這個是很多人忽視但至關重要的一項。

因為無論是訓練還是推理，LLM幾乎一定會：模型被分到多個芯片，數據在它們之間來回傳遞。

舉個例子，大家現在都在追求「長思維鏈」（long chain of thought），也就是說模型要花更長的時間「思考」才能得出更強的答案。

可這也意味著每一步推理要更快完成，否則響應就變慢了。

這時候，瓶頸往往就在于你是否能迅速訪問完所有模型參數——

不只是芯片上的那一份，而是分布在一整塊計算網格中的所有部分。

因此，Noam總結說：

想推理得快，核心問題就是——你這一群芯片， 總共能提供多少內存帶寬？

AI加速發展，人類路在何方？

他補充了一些其他對硬件設計的「愿望清單」。

1.低精度（Low Precision）

在傳統科學計算中，精度至關重要。

但在LLM中，模型本身就具有一定「模糊性」，低位數往往影響不大。

因此，低精度換算力完全合理，能用8-bit、甚至4-bit來換更多FLOPs，值得如此做。

行業確實在嘗試越來越低的精度格式（FP8、INT4、二進制等）——只要能保持收斂，越低越好。

當然，不能犧牲可重復性。

核心挑戰是「訓練時精度夠用」「推理時誤差夠小」。

2.可復現性（Determinism）

Noam認為這是關鍵，因為機器學習實驗的失敗率本就很高。

很多時候你都不知道，某個結果失敗，是因為模型結構不對，數據有問題，還是你代碼里有bug。

如果每次訓練都跑出不同結果，那連「調試」都無從下手。

他回憶早期在Google Brain做異步訓練的時候，經常出現「這次跑通了，下次又崩了」的情況，工程體驗極差。

所以，他給硬件設計者的建議是：

除非你能給我10倍性能，否則請不要犧牲可重復性。

3.運算溢出與精度損失問題

有現場觀眾提問：低精度運算經常會溢出或出現不穩定，怎么處理？

Noam回答：

確保accumulator（累加器）使用更高精度；

或者進行裁剪（clipping），不要讓數值爆掉；

最差的方案是「數值回繞」（wrap around）。

主持人Cliff補充了一句俏皮話：

我們要的是，加載checkpoint后，機器要按原樣崩掉 ——

這才算真正的可重復性。

Waymo工程師提出的一個刁鉆問題：如果今天起硬件就不再進步，我們還能搞出通用人工智能（AGI）嗎？

Noam給出意外但堅定的回答：可以。

他指出，AI會加速自身發展，推動軟件、系統設計持續進化，即使硬件原地不動，我們也能靠軟件層面的革新繼續進步。

當然——他話鋒一轉：不過如果你能繼續搞出更好的硬件，自然更好。

如果AGI真的到來，人類又該何去何從？

AI是拯救還是終結人類？

在算力和數據的驅動下，AI不斷向更復雜的領域進發。

「只要投喂足夠的數據和算力，就有可能學習并揭示宇宙的內在結構?！?/strong>

在最近的訪談中，微軟AI的CEO Mustafa Suleyman如此說。

他指出，當前的LLM（大語言模型）還只是「單步預測引擎」，尚處于AI發展的早期階段。

但隨著持久記憶和長期預測能力的加入，LLM將有望發展為具備完整規劃能力的「行動型AI」：

不僅能像人類一樣制定復雜計劃，還能持續執行任務。

這一飛躍可能在2026年底前實現。

Suleyman用「breathtaking」（驚艷）來形容這一未來，并強調，我們還只是剛剛起步，一切都將很快發生深刻變化。

25歲豪賭未來AI，如今預測AI失業潮

時間回到2010年，智能手機才剛剛普及、應用商店尚在萌芽，AI更像是科幻小說的陳詞濫調，而非嚴肅的科學課題，即使是頂尖學者也對此不屑一顧。

當時年僅25歲的Mustafa Suleyman與兩位「勇敢而有遠見的」聯合創始人Demis Hassabis和Shane Legg，卻篤信一個革命性的理念：

如果能創造出真正理解人類的智能，那將是改善人類狀況的最佳機會。

Suleyman尖銳地指出，歷史上充滿了帶來「凈傷害」的發明。

因此，在AI這項「有史以來最強大的通用技術」面前，從價值觀出發，將人類福祉置于首位，不是一句空洞的口號，而是一個必須時刻堅守的起點。

但Suleyman直言，在未來20年內，將面臨大規模的失業潮。

今天許多白領從事的「認知上的體力勞動」，如數據錄入、郵件處理等，將被AI高效替代。

他直言，這些恐懼「非常真實」，并強調政府必須強力介入，通過稅收等再分配機制來緩沖這一社會巨變。

在此基礎上，他提出了自己著作《即將到來的浪潮》中的核心概念——「遏制困境」（The Containment Problem）。

他指出，技術的趨勢是讓權力被小型化、集中化，并以極低的成本普及給每個人。

當AI成為一個可以代表你打電話、寫代碼、執行計劃的智能體時，每個人執行自己想法的成本和時間都將趨近于零。

這將帶來巨大的創造力爆發，但同時也埋下了沖突的種子。

「如果我能點擊一個按鈕執行我瘋狂的想法，你也能，那將引起大量的沖突?！?/p>

「摩擦對于維持和平與穩定很重要，」Suleyman一針見血地指出。當執行一件事情的阻力（摩擦）消失時，混亂就可能接踵而至。

如何「遏制」這種以零邊際成本擴散的力量，是我們時代最嚴峻的考驗。

何時應該「拔掉電源」

在所有對AI的擔憂中，最令人恐懼的莫過于「失控」。

對此，Suleyman明確劃出了四條不可逾越的紅線。

一旦一個AI同時具備以下能力，它將成為一個需要「軍事級別干預」才能阻止的系統：

1. 遞歸式自我改進（能修改自己的核心代碼）

2. 自主設定目標

3. 獲取自身資源

4. 在世界上自主行動

這引出了一個關鍵問題：我們能「拔掉電源」嗎？

答案是肯定的，因為AI存在于物理的數據中心里。

但真正的挑戰在于，我們如何識別那個時刻的到來，以及如何集體做出關停的決定。

重新定義「你的飯碗」

對于AI引發的失業恐慌，Suleyman提供了一個更為烏托邦的視角。

他引用瑞典的理念——「我們不關心工作崗位，我們關心工人」，并將其推向極致。

他認為，社會的任務不應是為人們創造「飯碗」，而是創造一個和平、支持性的環境，讓人們找到自己的激情，過上充實的生活。

「我夢想一個人們可以自己選擇做什么并擁有真正自由的世界。」

他相信，如果技術應用得當，產生的巨大價值足以讓社會資助人們去追求這些真正有意義的事情。

這將釋放巨大的創造力，但也會帶來深刻的存在主義問題：「我是誰？我為什么在這里？」

參考資料：

https://youtu.be/v0beJQZQIGA

https://youtu.be/tQ5wO1lznCQ

https://www.servethehome.com/thank-you-for-the-supercomputers-google-predictions-for-the-next-phase-of-ai-at-hot-chips-2025/

為偉大思想而生！

AI+時代，互聯網思想（wanging0123)，

第一必讀自媒體