北京
傳統數據中心過去主要用于數據的存儲、檢索與處理。但在生成式 AI 與代理式 AI 時代，這些設施已演變為 AI Token 工廠。隨著 AI 推理成為其核心工作負載，它們的主要產出已轉變為以 Token 形式制造的智能。
這一轉變也需要對包括總體擁有成本（TCO）在內的 AI 基礎設施的經濟效益評估方式相應地進行調整。然而，在評估 AI 基礎設施時，企業仍過于關注芯片峰值規格、計算成本，或每美元所能獲得的浮點運算性能，即每美元 FLOPS。
關鍵區別在于：
- 算力成本是企業為 AI 基礎設施所支付的費用，無論是從云服務提供商租用，還是在本地自建部署。
- 每美元 FLOPS 衡量的是企業每投入一美元所獲得的原始算力，但原始算力并不等同于現實世界中的 Token 產出。
- 每 Token 成本指的是企業生成并交付每一個 Token 的綜合成本，通常以每百萬 Token 成本來表示。
前兩者僅是投入指標。但當業務圍繞產出運轉時，只針對投入優化，本質上是一種根本性的錯配。
每 Token 成本決定了企業能否實現 AI 的規；。它是唯一能夠直接綜合反映硬件性能、軟件優化、生態系統支持以及實際利用率的 TCO 指標，而 NVIDIA 在這一指標上實現了行業最低的每 Token 成本。
以上為摘要內容，點擊鏈接閱讀完整內容：重新思考 AI TCO：為何每 Token 成本才是唯一重要的指標 | NVIDIA 英偉達博客
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
