昨天中午，埃隆·馬斯克領銜主持了萬眾期待的“地表最強人工智能”——Grok 3的發布會。

他與xAI的首席工程師Igor Babuschkin、聯合創始人Jimmy Ba、Yuhuai "Tony" Wu共同亮相，詳細介紹了Grok 3的核心特點，包括其顯著提升的推理能力、自然語言處理能力以及新推出的“Deep Search”（深度搜索）工具。這一工具被設計用來處理復雜的查詢，能夠整合網絡搜索和X平臺上的實時信息，為用戶提供更精準、深入的回答。

在回答最后一個觀眾提問時，埃隆介紹了xAI團隊如何創下另一個工程奇跡：克服重重困難，在短短122天內，搭建并上線了10萬張卡的全球最大訓練集群。

觀眾提問：

在這個項目（Grok 3）中，最困難的部分是什么？你對此感到興奮的是什么？

Jimmy Ba：

回想起來，我認為最困難的部分是讓整個模型在10萬個H100 GPU上協調訓練，這幾乎就像在與宇宙的最終BOSS——熵——作斗爭。因為在任何時候，都有可能射下來一根宇宙射線，翻轉晶體管中的一個比特，如果梯度更新中有一個比特出錯，整個梯度更新就會亂套。

而現在我們有10萬個這樣的GPU，每次我們都必須讓它們協同工作，任何時候任何一個GPU都可能出問題。

Jimmy Ba，華人，多倫多大學助理教授，人工智能先驅杰弗里·辛頓（Geoffrey Hinton）的學生，xAI團隊創始12員工之一

埃隆·馬斯克：

是的，值得分解一下，我們是如何在122天內讓世界上最強大的訓練集群投入運行的。

一開始，我們其實并沒有打算自己建數據中心。我們去找了數據中心提供商，問他們在一個地方協調運行10萬個GPU需要多長時間。他們給出的時間范圍是18到24個月。我們想，18到24個月，這意味著失敗是必然的。

所以唯一的辦法就是自己動手。

于是，我們分解了這個問題。比如我們需要一棟建筑，我們不能自己建，必須使用現有的建筑。所以我們基本上尋找了一些被廢棄、但本身狀況良好的工廠，比如因為某家公司破產了之類的。

我們在孟菲斯找到了一家伊萊克斯工廠。這就是為什么它在孟菲斯——貓王的故鄉，也是古埃及的首都之一。

這其實是一座非常不錯的工廠，我不知道伊萊克斯為什么離開了，但它為我們的計算機提供了庇護所。

然后，我們需要電力，最初至少需要120兆瓦，但建筑本身只有15兆瓦。而最終為了20萬個GPU，我們需要0.25吉瓦的電力。

我們最初租了一大堆發電機。在建筑的一側，我們有一排排的發電機，直到我們能夠接入公用電力。

然后，我們還需要冷卻。所以在建筑的另一側，我們有一排排的冷卻設備。我們租用了美國大約四分之一的移動冷卻能力。

然后，我們需要安裝所有的GPU，它們都是液冷的。為了實現必要的密度，這是一個液冷系統。所以我們必須為液冷系統安裝所有的管道。沒有人曾經大規模地搭建過液冷的數據中心。

這是一個非常才華橫溢的團隊付出了極大的努力才能實現的結果。

你可能會想，現在應該可以跑起來了吧？

不。問題是GPU集群的電力波動非常劇烈，這就像一場巨大的交響樂。想象一下，一場有10萬或20萬人參與的交響樂，整個樂團會在100毫秒內從安靜變到響亮。這導致了巨大的電力波動，進而導致發電機失控，它們從沒預料到這種情況。

為了緩沖電力，我們使用了特斯拉的Megapack來平滑電力。Megapack必須重新編程，于是xAI與特斯拉合作，我們重新編程了Megapack，讓它能夠應對這些劇烈的電力波動，平滑電力，以便計算機能夠正常運行。

這個方法奏效了，雖然過程相當復雜。

運抵孟菲斯的特斯拉Megapack

但即使到了那個時候，我們仍然必須讓所有計算機有效地通信，所有的網絡問題都必須解決。我們調試了無數的網絡電纜，凌晨四點鐘還在調試網卡問題，我們大約在凌晨4點20分解決了問題。

我們發現有很多問題，其中之一是BIOS不匹配。

Igor Babuschki：

沒錯，BIOS沒有正確設置。我們必須在兩臺不同的機器之間比較lspci命令（注：一個Linux命令，用于列出系統中所有PCI設備）的輸出。一臺工作正常，一臺不正常。還有很多其他問題。

埃隆·馬斯克：

是的，沒錯。如果我們真的列出所有問題，會需要很長的時間。但這很有趣，這并不是說，哦，我們神奇地做到了。

我們必須像Grok在推理時那樣，將問題分解成各個組成部分，然后解決每個組成部分，以便在比其他人短得多的時間內完成一個協調的訓練集群。

Igor Babuschki：

然后，一旦訓練集群啟動并運行，可以交付使用，我們就必須確保它在整個過程中保持健康，這本身就是一個巨大的挑戰。

然后，我們必須確保訓練的每一個細節都正確，才能得到一個Grok 3級別的模型，這其實非常非常困難。

我們不知道是否有其他模型具備Grok 3的能力，但任何訓練出比Grok 3更好的模型的人，都必須在深度學習的科學和工程的各個方面都非常出色。

要做到這一點并不容易。