作者 | 冬梅

傳統數據中心過去主要用于數據的存儲、檢索與處理。但在生成式 AI 與代理式 AI 時代，這些設施已演變為 AI Token 工廠。隨著 AI 推理成為其核心工作負載，它們的主要產出已轉變為以 Token 形式制造的智能。

這一轉變也需要對包括總體擁有成本（TCO）在內的 AI 基礎設施的經濟效益評估的方式相應地進行調整。然而，在評估 AI 基礎設施時，企業仍過于關注芯片峰值規格、計算成本，或每美元所能獲得的浮點運算性能，即每美元 FLOPS。

關鍵區別在于：

• 算力成本是企業為 AI 基礎設施所支付的費用，無論是從云服務提供商租用，還是在本地自建部署。

• 每美元 FLOPS 衡量的是企業每投入一美元所獲得的原始算力，但原始算力并不等同于現實世界中的 Token 產出。

• 每 Token 成本指的是企業生成并交付每一個 Token 的綜合成本，通常以每百萬 Token 成本來表示。

前兩者僅是投入指標。但當業務圍繞產出運轉時，只針對投入優化，本質上是一種根本性的錯配。

每 Token 成本決定了企業能否實現 AI 的規模化盈利。它是唯一能夠直接綜合反映硬件性能、軟件優化、生態系統支持以及實際利用率的 TCO 指標，而 NVIDIA 在這一指標上實現了行業最低的每 Token 成本。

能夠降低每 Token 成本的因素有哪些？

要理解如何優化每 Token 成本，首先需要了解用于計算“每百萬 Token 成本”的計算公式。

在這個公式中，許多評估 AI 基礎設施的企業往往只關注分子項，即每 GPU 每小時成本。對于云部署而言，這對應支付給云服務提供商的小時費用；而對于本地部署，則是通過攤銷自有基礎設施得到的等效小時成本。然而，降低每 Token 成本的關鍵在于分母，即最大化實際交付的 Token 產出。

這個分母傳遞了兩層商業含義：

• 最小化每 Token 成本：當 Token 產出增加被代入公式時，將降低每 Token 成本，從而提升每一次交互服務的利潤空間。

• 最大化收入：每秒交付更多 Token，也意味著每兆瓦產出更多的 Token，這將帶來更高的智能供給能力，使 AI 驅動的產品與服務能夠在相同基礎設施投入下創造更高收入。

因此，如果只關注分子，就會忽視真正決定分母的因素?？梢詫⑵淅斫鉃橐粋€“推理冰山”：分子位于水面之上，直觀可見且易于橫向比較；而分母則隱藏在水面之下，那才是決定實際 Token 產出的關鍵因素。對 AI 基礎設施的準確評估，應從探究水面之下的部分開始。

表層問題：

• 每 GPU 小時的成本是多少？

• 峰值 PetaFLOPS 性能和高帶寬內存容量是多少？

• 每美元可獲得多少 FLOPS？

深度成本分析：

• 每百萬 Token 的成本是多少？尤其是針對大規?；旌蠈＜遥∕oE）推理模型（當前部署最廣泛的一類 AI 模型），其每百萬 Token 成本是多少？*

• 每兆瓦可交付多少 Token 產出？尤其是對本地部署而言，由于在土地、電力與基礎設施上的資本投入較大，最大化每兆瓦所產生的智能產出至關重要。*

• 縱向擴展（scale-up）互連是否能夠支撐 MoE 模型所需的“all-to-all”通信模式？

• 是否支持 FP4 精度？推理棧是否能夠在保持高精度的同時充分利用 FP4？*

• 推理運行時是否支持 投機解碼或多 Token 預測，以提升用戶交互體驗？

• 服務層是否支持 解耦服務、KV 感知路由、KV 緩存卸載* 以及其他優化？

• 平臺是否支持代理式 AI 的獨特工作負載需求，包括超低延遲、高吞吐以及長輸入序列長度等？

• 平臺是否支持從訓練、后訓練到大規模推理的完整生命周期，并覆蓋所有模型架構，從而實現基礎設施可互換性與高利用率？

這些算法、硬件與軟件化中的每一項優化都必須有效并且是可以相互集成的，否則分母項將無法成立。一塊看似“更便宜”的 GPU，如果其每秒 Token 產出數量明顯更低，反而會導致更高的每 Token 成本。能夠做到全棧真正優化的 AI 基礎設施，才能夠確保每項優化都相互增強，從而持續提升整體效率。

為什么每 Token 成本比每美元 FLOPS 更重要？

以下 DeepSeek-R1 AI 模型的數據展示了理論指標與實際商業結果之間的差異。

僅從算力成本來看，NVIDIA Blackwell 平臺的成本似乎約為 NVIDIA Hopper 的 2 倍，但算力成本并不能說明這項投入究竟能帶來多少實際產出。如果僅以每美元 FLOPS 進行分析，相較于 NVIDIA Hopper 架構，NVIDIA Blackwell 僅有約 2 倍優勢。然而，實際結果卻呈現出數量級差異：Blackwell 每瓦的 Token 產出量是 Hopper 的 50 倍以上，每百萬 Token 的成本降低至其 1/35 左右。

注：數據來源于 NVIDIA 分析報道及 SemiAnalysis InferenceX v2 基準測試。

這一懸殊差異表明，相較于上一代 Hopper，NVIDIA Blackwell 在商業價值上實現了巨大的躍遷，其提升幅度遠超系統成本的增加。

如何選擇合適的 AI 基礎設施？

僅憑算力成本或每美元理論 FLOPS 來比較 AI 基礎設施，不僅是不充分的，也無法真實反映推理經濟學。正如數據所展示的，要準確評估 AI 基礎設施的營收潛力與盈利能力，需將衡量維度從輸入指標轉向每 Token 成本和實際 Token 產出量。

NVIDIA 通過在計算、網絡、內存、存儲、軟件以及合作伙伴技術上的 極致協同設計，實現了業內最低的 Token 成本與最高的 Token 吞吐量。此外，諸如 vLLM、SGLang、NVIDIA TensorRT-LLM 以及 NVIDIA Dynamo 等基于 NVIDIA 平臺構建的開源推理軟件的持續優化，意味著在現有 NVIDIA 基礎設施部署后，Token 產出仍可不斷提升，每 Token 成本會持續下降。

一些云服務提供商與 NVIDIA 云合作伙伴，已在規?；渴鹬谐浞煮w現這一優勢。包括 CoreWeave、Nebius、Nscale 與 Together AI 在內的合作伙伴，已部署 NVIDIA Blackwell 基礎設施，并對其技術棧進行了優化，為企業提供當前最低的 Token 成本，同時充分發揮 NVIDIA 在硬件、軟件與生態系統協同設計方面的全部優勢，使每一次 AI 交互的處理都建立在這一完整體系之上。

會議推薦

世界模型的下一個突破在哪？Agent 從 Demo 到工程化還差什么？安全與可信這道坎怎么過？研發體系不重構，還能撐多久？

AICon 上海站 2026，4 大核心專題等你來：世界模型與多模態智能突破、Agent 架構與工程化實踐、Agent 安全與可信治理、企業級研發體系重構。14 個專題全面開放征稿。

誠摯邀請你登臺分享實戰經驗。AICon 2026，期待與你同行。

今日薦文

你也「在看」嗎？