公眾號記得加星標??,第一時間看推送不會錯過。
人工智能對技術的巨大需求迫使整個技術棧的各個層面都必須做出改變。在機架間傳輸數據時,計算機制造商越來越多地采用硅光子技術來突破銅的局限性。這其中就包括英偉達,該公司在該領域進行了大量投資。但許多決策都是迫不得已的。
在最近的GTC開發者大會上,英偉達CEO黃仁勛簡要介紹了公司打造NVL1152“Kyber”超級計算機的計劃。這是一款全新的巨型擴展型超級計算機,將搭載1152個GPU。NVL1152預計將采用目前計劃于2028年出貨的“Feynman”一代GPU,其處理器數量將是公司目前最大的擴展型超級計算機NVL72的16倍。
NVL72 是目前世界上性能最強大的單機架式計算機之一。它由機架頂部和底部的 18 個計算托架組成,中間穿插著 9 個交換機托架。每個計算托架包含兩顆英偉達超級芯片(VR200 或 GB200/GB300),每顆芯片包含一個 CPU(Vera 或 Grace)和兩個英偉達 GPU(Rubin 或 Blackwell)。每個交換機托架包含兩顆 NVSwitch ASIC,每個托架共提供四個 NVLink 端口,可在兩顆超級芯片之間實現每秒 1.8 TB 的數據傳輸速率。
計算和交換機托架的擺放位置體現了NVLink作為無源全銅纜網絡的物理限制。在當前速度下(NVLink 6.0每鏈路200Gb,NVLink 5.0每鏈路100Gb),無源銅纜網絡中的信號在距離約2米至2.5米處就會衰減到無法使用的程度,因此需要將它們物理放置得盡可能近。
英偉達正在不斷突破機架式計算能力的極限。目前,Blackwell NVL72 在滿負荷運行時功耗約為 132 千瓦,而 Rubin NVL72 機架式顯卡的功耗則約為 220 千瓦。為了防止硅芯片因過熱而熔化,目前的 NVL72 系統均采用液冷散熱。隨著 2028 年 Feynman 代 GPU 的推出,英偉達將轉向 800 伏直流機架式架構,這將使其計算密度進一步提升,但目前尚不清楚具體能提升多少。
這就是英偉達下一代縱向擴展NVLink系統面臨的局限性。在目前的計算密度下,NVL1152理論上可以將16個NVL72連接成一個位于同一內存空間內的縱向擴展系統,這將使人工智能公司能夠訓練和運行比現在規模大一個數量級的人工智能模型。縱向擴展機器的連接速度比橫向擴展機器快10倍,因此在訓練或運行大規模模型時,即使芯片間和芯片與內存之間的微小延遲也會累積成顯著的性能瓶頸,而縱向擴展機器正是首選方案。
雖然英偉達尚未透露NVL1152系統的具體設計方案,但表示將采用銅和硅光子技術的混合方案。這體現了計算機領域的一條古老格言:能用銅的地方用銅,必須用光子技術的地方用光子技術。
英偉達市場營銷高級副總裁吉拉德·沙伊納表示:“如果能用銅線,我肯定會在所有地方都用銅線。我希望它能無處不在。但銅線的局限性在于傳輸距離。隨著網絡速度的不斷提升,銅線的傳輸距離卻在不斷縮短。”
Shainer表示,在200Gb/s的傳輸速率下,超過約2.5米后,無源銅的插入損耗(dB)會變得非常大,因此必須考慮其他方案。一種替代方案是使用有源銅,它會在特定距離間隔處增加信號放大器,以保持信號的可用性。有源銅在某些方面與硅光子技術類似,后者也需要額外的電力來驅動激光器。
但有源銅纜還有另一個缺點:線纜尺寸。Shainer 表示,有源銅纜的傳輸距離超過 50 米后,線纜尺寸就會變得像消防水帶一樣粗。“有源銅纜其實沒什么意義,”他告訴HPCwire。
硅光子技術的應用方式也多種多樣。目前,大多數硅光子技術都采用可插拔收發器,其本質上是沿網絡線路部署的激光器,能夠將電信號轉換為光信號,反之亦然。英偉達已經推出了一系列可插拔收發器,用于其以太網和InfiniBand橫向擴展交換機,即LinkX產品線。
雖然可插拔收發器技術具有一些優勢,但人工智能的蓬勃發展正促使計算機制造商采用共封裝光學器件 (CPO) 技術,該技術將激光收發器直接集成到芯片上。在 CPO 設置中,收發器直接連接到 NVLink 交換機核心 ASIC 的 SerDes(串行器/解串器),或者連接到 GPU 或其他 XPU 本身的 SerDes。
英偉達首席執行官謝納表示,英偉達已經開始出貨采用CPO技術的Quantum-X InfiniBand交換機,并計劃在第三季度末開始出貨采用CPO技術的Spectrum-X以太網交換機。隨著2028年費曼級GPU的問世,英偉達將邁出下一步,把CPO技術直接集成到NVLink交換機中,這將使公司能夠構建龐大的NVL1152系統。該系統表面上將以可擴展的方式連接16個采用硅光子技術的NVL72(盡管如前所述,轉向800V直流MGX架構可能會提高計算密度,從而減少實現1152個GPU所需的機架數量)。
雖然很明顯英偉達正在轉向采用 CPO 和硅光子技術,但英偉達究竟如何使用這項技術來構建 NVL1152 的許多架構細節仍在商榷中。
“目前,在橫向擴展方面,我們將使用與交換機和交換網絡集成的共封裝光模塊。在縱向擴展方面,我們將把它用于NVLink網絡,”Shainer說道。“它可以部署在交換機上,也可以部署在其他設備上。GPU的連接方式多種多樣。我們目前還沒有透露具體方案,因為我們還在研究中。但NVLink交換網絡顯然會采用共封裝光模塊,因為我們需要將多個機架連接在一起。”
使用 NVL1152 的 NVLink 機架間連接顯然將采用硅光子技術,但英偉達可以選擇保持每個機架內部的通信完全采用銅纜。“NVL1152 的設計方案還有待確定,”Shainer 說,“現在討論這個問題還為時過早。”
正如黃仁勛在GTC主題演講中簡要提及的那樣,英偉達正準備推出Feynman架構的重大變革,該架構將采用芯片堆疊技術和定制的HBM顯存。除了GPU之外,英偉達還將推出新版Groq LPU,即可插入NVLink的LP40。Vera CPU的后續產品將被命名為Rosa。此外,英偉達還在研發BlueField-5 DPU和CX10 SuperNIC。NVLink 8.0 CPO也在產品路線圖上。
英偉達正與眾多合作伙伴攜手開發其硅光子產品。該公司采用臺積電的緊湊型通用光子引擎(COUP)平臺,將光連接直接集成到先進芯片封裝中。上個月,英偉達分別向兩家光子公司Lumentum 和 Coherent投資了 20 億美元。此外,還有許多其他硅光子廠商也獲得了英偉達的投資,但尚未公開宣布。
黃仁勛在GTC主題演講中表示:“對于我們生態系統中的所有參與者來說,我們需要更多的產能。我們需要更多的銅纜產能,我們需要更多的光纜產能,我們需要更多的CPO產能。”
Shainer表示,英偉達正在與至少20家硅光子生態系統合作伙伴開展合作,涵蓋光纖、光纖陣列、激光器和封裝等領域。不同的芯片需要不同的光子連接。
Shainer表示,將硅光子器件連接到高基數以太網交換機的方式未必適用于網卡或GPU。有些設計可能需要將收發器直接集成在芯片上,而另一些應用則可能更適合將收發器放置在芯片之外或附近,這種方法被稱為近封裝光(NPO)。
他表示,臺積電的COUP技術將在系統整體協同工作的設計中發揮關鍵作用。“我們希望開發一種新的封裝,能夠容納這些光學引擎,并能進行規模化驗證,最終實現所需的性能,”Shainer說道。“硅片本身是相同的,但封裝方式不同,因此我們能夠真正容納這些光學引擎。”
若您對硅光SiGe技術及流片相關話題有更多探討需求,歡迎添加微信深入交流。
(來源:編譯自hpcwired)
*免責聲明:本文由作者原創。文章內容系作者個人觀點,半導體行業觀察轉載僅為了傳達一種不同的觀點,不代表半導體行業觀察對該觀點贊同或支持,如果有任何異議,歡迎聯系半導體行業觀察。
今天是《半導體行業觀察》為您分享的第4383內容,歡迎關注。
加星標??第一時間看推送
求推薦
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.