大型掛機現場：馬斯克的55萬英偉達GPU，利用率才11%

編輯 | 澤南

AI 時代堆 GPU，原來是這么個堆法？

馬斯克旗下的 xAI 目前 GPU 資源利用率只有大概 11%。相關報告指出，其 AI 軟件棧的優化效果不盡如人意。近日，《The Information》的報道引發了人們的關注。

目前，xAI 在其 Memphis 和 Colossus 數據中心集群中運營著約 55 萬塊英偉達 GPU，包括 H100 和 H200 兩種型號，其中部分設備采用了液冷散熱配置。盡管這些 GPU 屬于上一代產品（早于最新的 Blackwell 系列），但其規模已經令人嘆為觀止。

擁有如此龐大的 GPU 存量，xAI 的模型算力利用率（MFU，Model FLOPs Utilization）卻只有 11%。打個不恰當的比喻，在 xAI 服務器中已安裝的這 50 萬塊 GPU 中，實際可用的算力僅相當于約 6 萬塊 GPU 的水平。究竟是什么原因導致了如此低的效率？

首先，對于較小規模的部署環境（例如 1000-10000 塊 GPU）而言，多節點之間的協調計算通常不成問題。但隨著服務器規模的不斷擴大，當需要集成數十萬顆 GPU 時，設備的空閑時間便會迅速累積，導致整體利用率急劇下滑。由此引發的軟件棧內部的一系列不一致性問題，目前正在 xAI 的實際運行中暴露無遺。

在超級集群中，GPU 芯片本身的計算速度相對很快，瓶頸在于高帶寬內存（HBM）的數據讀寫速度和成千上萬臺服務器之間網絡傳輸的通信開銷。只要數據傳輸出現微小的延遲或網絡擁堵，整個集群的 GPU 就會被迫 “原地掛機” 等待數據加載。

另一方面，AI 模型的訓練通常是間歇性的。GPU 在實際計算時滿載運轉，但在研究人員分析訓練結果、調整參數或處理數據管道時，大量設備就會處于閑置（Idle）狀態。

雖然 11% 是一個顯然偏低的數字，但 The Information 的報道也揭示了 AI 領域的一些行業潛規則：算力浪費是普遍的現象，有些大廠的研究人員為了避免被管理層批評，或者害怕閑置的 GPU 配額被其他團隊搶走，甚至會故意重復運行一些無意義的訓練任務來 “刷高” 利用率數據。

該說不說，這么做也是為了保住團隊自己的 GPU 配額。

當然，這并非 xAI 獨有的難題，它實際上是整個 AI 行業普遍存在的一種結構性問題 ——AI 基礎設施要在如此龐大的規模下實現高效運行，是一項極其艱巨的挑戰。

運行 AI 云基礎設施所需的優化技能涵蓋數據、算法、模型、計算、內核、交互（人類 - AI - 世界、智能體之間），以及全局優化，在工程上難度極高。

一些科技巨頭著重優化了大規�；A設施堆棧，已經能夠實現超過 40% 的利用率。Meta 和谷歌便是此類典范，其 GPU 的利用率分別高達 43% 和 46%。

xAI 遇到的困境證明了在當前的 AI 軍備競賽中，“買到 GPU” 只是第一步，用好才是關鍵。硬件規模已經超出了現有軟件架構的調度能力。

不過，xAI 已在著手解決這一問題，并設定了利用率達到 50% 的目標。盡管目前尚無確切的時間表，但其核心改進將聚焦于基礎設施與軟件堆棧的優化。隨著未來工作負載逐步遷移至那些專為驅動 “智能體 AI”（Agentic AI）需求而設計的硬件平臺之上，xAI 極有可能將其龐大的 GPU 集群對外提供租賃服務。

馬斯克也在尋求轉變，押注于自研算力的 “TeraFab” 項目：一方面，他正在推動多款自研芯片，將其納入 xAI 的 “AI 芯片家族” 之中；另一方面，馬斯克也希望借助英特爾的 14A 制程技術，為未來的 xAI、SpaceX 及其它相關業務打造尖端解決方案。

xAI 的困境提醒了所有追趕者：AI 競賽的下半場，拼的可能不再是誰能買到更多顯卡。

參考內容：

https://www.theinformation.com/newsletters/ai-agenda/xai-shows-hard-use-lot-gpus