NVIDIA Vera Rubin POD：7 個芯片、5 個機架級系統、1 臺 AI 超級計算機

AI 是由 Token 驅動的。每個提示、推理步驟和智能體交互都會生成 Token。過去一年，Token 的消耗量增長了數倍，現在每年已超過 1 億億 Token。雖然 Token 的大部分由人類與 AI 交互生成，但在新時代，大多數 Token 將由 AI 與 AI 交互生成。

現代智能體系統可規劃任務、調用工具、執行代碼、檢索數據，并在由多個 AI 智能體參與的連續多步驟工作流中進行協同。這些交互會生成大量推理 Token，擴大 KV 占用緩存，并且需要基于 CPU 的沙盒環境來測試和驗證加速計算系統生成的結果。這對 GPU、CPU、縱向擴展（scale-up）域、橫向擴展（scale-out）網絡和存儲提出了低延遲、高吞吐量的要求。

為這些現代智能體系統提供有價值的智能，需要一組專門構建的機架級系統，這些系統作為一個統一的 AI 超級計算機協同運行。

隆重推出 NVIDIA Vera Rubin POD

NVIDIA Vera Rubin 通過對涵蓋計算、網絡和存儲的七款芯片進行極致協同設計，構建了迄今最復雜的 POD 級 AI 平臺。該平臺包含 40 個機架、1200 萬億個晶體管、近 20,000 個 NVIDIA 裸片、1,152 個 NVIDIA Rubin GPU、60 exaflops 和 10 PB/s 的縱向擴展總帶寬。

Vera Rubin POD 引入了五種全新的專用機架級擴展系統，適用于需要高吞吐量、超低延遲推理、高密度 CPU 沙盒和大規模上下文內存存儲的代理式 AI 工作負載。這些機架共同構成了一個統一的系統，將為全球最具能效和和成本效益的數據中心提供動力支持。

NVIDIA Vera Rubin POD 包含 5 個機架級系統、1 臺 AI 超級計算機、1 臺 NVIDIA MGX 機架架構和生態系統

POD 中的每個芯片都通過第三代 NVIDIA MGX 機架進行擴展，并由 80 多家 NVIDIA MGX 生態系統合作伙伴組成的全球供應鏈提供支持。由于所有 NVIDIA MGX 機架在供電、冷卻和機械結構上保持一致，因此可以實現快速部署和無縫過渡。

本文將介紹 NVIDIA Vera Rubin POD，其由五個專用機架級系統組成，基于第三代 NVIDIA MGX 機架架構構建，專為代理式 AI 時代打造。

通過以下幾個方面具體了解：

• 隆重推出 NVIDIA Vera Rubin POD
• • NVIDIA Vera Rubin NVL72 GPU 機架：四大擴展定律平臺
  • NVIDIA Groq 3 LPX 機架：推理加速器機架
  • NVIDIA Vera CPU 機架：大規模代理式 AI 和強化學習
  • NVIDIA BlueField-4 STX 存儲機架：AI 原生存儲
  • NVIDIA Spectrum-6 SPX 以太網機架：網絡機架
• 第三代 NVIDIA MGX 機架級架構
• • 實現彈性和可擴展性
  • 確保從芯片到電網的峰值能效
  • 釋放更多計算能源預算
  • 開放標準
• NVIDIA MGX NVL 機架
• • NVIDIA Vera Rubin NVL72 的簡化設計
  • NVIDIA Vera Rubin Ultra NVL576
  • NVIDIA Kyber NVL1152：下一代
• NVIDIA MGX ETL 機架
• • NVIDIA Spectrum-X 以太網 spine
  • 芯片間 spine 直連
• NVIDIA Vera Rubin DSX AI 工廠平臺

以上為摘要內容，點擊鏈接閱讀完整內容：NVIDIA Vera Rubin POD：7 個芯片、5 個機架級系統、1 臺 AI 超級計算機 - NVIDIA 技術博客