點(diǎn)贊關(guān)注轉(zhuǎn)發(fā)明日漲停
10%+20%+30%
最近最難受的事情一個(gè)是霍爾木茲海峽的開開關(guān)關(guān),第二個(gè)就是Q1的財(cái)報(bào)和大家的展望以及技術(shù)面帶來(lái)的波動(dòng)了
其實(shí)最近在openclaw催化后,gpt的圖形模型也是很大的突破
ai的驅(qū)動(dòng)仍未停歇
還有谷歌的大會(huì)帶來(lái)的新預(yù)期,我們今天一起看
一、谷歌新一代 TPU 芯片深度解析:光模塊與 OCS 需求迎來(lái)爆發(fā)式增長(zhǎng)
![]()
Virgo ?絡(luò)拓?fù)浼?達(dá) 4 倍的數(shù)據(jù)中??絡(luò)提升:為了?持TPU 8t 海量的數(shù)據(jù)需求,我們引?了 Virgo ?絡(luò)。這種全新的?絡(luò)架構(gòu)使 TPU 8t 在數(shù)據(jù)中??絡(luò)(DCN)上的訓(xùn)練帶寬提升了?達(dá) 4 倍。
與上?代相?,TPU 8t 的芯?間互連(ICI)擴(kuò)展帶寬提升了 2倍,原始擴(kuò)展(scale-out)DCN 帶寬提升了?達(dá) 4 倍,從??幅減少了數(shù)據(jù)瓶頸。此外,為了進(jìn)?步加速前沿模型的開發(fā),我們將分布式訓(xùn)練擴(kuò)展到了單個(gè)集群之外。借助 JAX 和Pathways,我們現(xiàn)在可以在單個(gè)訓(xùn)練集群中擴(kuò)展到超過(guò) 100 萬(wàn)個(gè) TPU 芯?。
Virgo ?絡(luò)可以在單個(gè)架構(gòu)中連接超過(guò) 134,000 個(gè)TPU 8t 芯?,提供?達(dá) 47 PB/s 的?阻塞對(duì)分帶寬。該架構(gòu)可提供超過(guò) 160 萬(wàn) ExaFlops 的算?,并具有近乎線性的擴(kuò)展性能。
根據(jù)市場(chǎng)信息的總結(jié)如下
TPU 8t 作為大規(guī)模訓(xùn)練專用芯片,從芯片直連到集群擴(kuò)展實(shí)現(xiàn)了全方位升級(jí),核心分為 Scale Up 與 Scale Out 兩大維度:
Scale Up(芯片內(nèi) / 集群內(nèi)直連)
沿用升級(jí)版 3D Torus 環(huán)形拓?fù)洌瑑?yōu)化芯片間直連鏈路,單 SuperPod 超節(jié)點(diǎn)芯片規(guī)模從 9216 顆擴(kuò)容至 9600 顆,共享內(nèi)存池達(dá) 2PB。
單芯片 ICI 互聯(lián)帶寬提升至 9.6T(6 1.6T),帶寬較前代翻倍,1.6T 光模塊開始在訓(xùn)練場(chǎng)景大規(guī)模應(yīng)用,卡比維持 1:1.5 不變,9600 卡集群約需 48 臺(tái) 320 320 端口 OCS。
Scale Out(跨集群擴(kuò)展)
采用全新 Virgo 兩層無(wú)阻塞扁平化網(wǎng)絡(luò)替代前代拓?fù)洌瑔涡酒瑱M向擴(kuò)展帶寬從 100Gbps 躍升至 400Gbps,整體數(shù)據(jù)中心網(wǎng)絡(luò)帶寬提升 4 倍。
規(guī)模上限突破至單數(shù)據(jù)中心 13.4 萬(wàn)顆 TPU,跨站點(diǎn)可擴(kuò)展至百萬(wàn)級(jí) TPU 集群,單 13 萬(wàn)卡集群將產(chǎn)生 13 萬(wàn) 400G FR4 端口,對(duì)應(yīng) 200 臺(tái) 320*320 端口 OCS 交換機(jī),800G/1.6T 光模塊隨帶寬與集群規(guī)模同步擴(kuò)容
配套升級(jí):全浸沒(méi)式 + CDU 集中液冷架構(gòu)全面升級(jí),支撐高密度算力集群穩(wěn)定運(yùn)行。
TPU 8i 聚焦低延遲推理場(chǎng)景,采用專屬 Boardfly 拓?fù)浼軜?gòu),大幅優(yōu)化推理數(shù)據(jù)轉(zhuǎn)發(fā)效率,同樣從 Scale Up 與 Scale Out 兩大維度實(shí)現(xiàn)突破:
- Scale Up(推理集群內(nèi)優(yōu)化)
采用全新分層 Boardfly 專屬拓?fù)洌? 顆 TPU 組成 1 個(gè) BB 單元,8 個(gè) BB 通過(guò)銅線組成 Group,36 個(gè) Group 經(jīng) OCS 互聯(lián),單 SuperPod 超節(jié)點(diǎn)芯片規(guī)模從 256 顆躍升至 1152 顆,F(xiàn)P8 算力提升 8.67 倍,HBM 容量提升 5.74 倍。
網(wǎng)絡(luò)直徑從 16 跳降至 7 跳,大幅降低 MoE 模型專家路由與推理數(shù)據(jù)轉(zhuǎn)發(fā)時(shí)延,完美適配低延遲推理核心需求;單卡擁有 9.6T ICI 帶寬,1.6T 光模塊卡比為 1:1.25,1152 卡集群約需 5 臺(tái) 320*320 端口 OCS 交換機(jī)。
- Scale Out(推理集群擴(kuò)展)
基于 Boardfly 拓?fù)溲由欤钆?OCS 光路交換實(shí)現(xiàn)動(dòng)態(tài)鏈路重構(gòu),可直接連接任意機(jī)柜,OCS 用量顯著增加,支撐推理集群靈活擴(kuò)展。
- 配套升級(jí)
:采用分區(qū)浸沒(méi)式 + 模塊化液冷架構(gòu) + CDU 分區(qū)設(shè)計(jì),按 Boardfly Group 做獨(dú)立液冷分區(qū),保障推理集群高密度穩(wěn)定運(yùn)行。
最后是數(shù)量關(guān)系,我用ai做了表格
![]()
![]()
核心對(duì)比與結(jié)論
訓(xùn)練側(cè)(TPU 8t):
芯片直連場(chǎng)景,1.6T 光模塊卡比維持 1:1.5不變,只是速率從 800G 升級(jí)到 1.6T;
集群擴(kuò)展場(chǎng)景,帶寬提升 4 倍,帶動(dòng)光模塊配比從 1:1 提升至1:2.5,是訓(xùn)練場(chǎng)景的核心增量來(lái)源。
推理側(cè)(TPU 8i):
推理芯片的 1.6T 光模塊卡比為 1:1.25,低于訓(xùn)練側(cè)的 1:1.5,但單集群規(guī)模大幅提升(256 卡→1152 卡),且 OCS 互聯(lián)帶來(lái)額外端口需求,整體用量依然顯著增長(zhǎng)。
所以今天的一些擾動(dòng)有點(diǎn)沒(méi)必要。。。。。。。。。
大家耐心等待今晚xys業(yè)績(jī)即可,而且,q1的業(yè)績(jī),其實(shí)也不重要!
給大家看看最近圖片大模型的實(shí)力吧
![]()
![]()
![]()
很強(qiáng),學(xué)設(shè)計(jì)的直接嘎巴一下脆了。。。。。。。。。。。。。。
ai只會(huì)越來(lái)越強(qiáng)
很多人抱怨說(shuō)抱團(tuán)沒(méi)有輪動(dòng),我只能說(shuō)抱團(tuán)也是一致性的一種體現(xiàn)吧
但是惡心的地方在于,有位老師很猛的來(lái)了個(gè)發(fā)言
![]()
emmmmmmmmmmmmmmmm
最后希望大家關(guān)注一下催化和預(yù)期
![]()
最近呢,雖然利好只為美股服務(wù),但是我們不氣餒,面對(duì)結(jié)果投資即可
![]()
祝各位投資順利
感謝您的點(diǎn)贊在看以及特別關(guān)注!
漲停
微信公眾號(hào):小楓楓同學(xué)
小紅書:小楓楓同學(xué)
知識(shí)星球
調(diào)研紀(jì)要、會(huì)議錄音
事件驅(qū)動(dòng)、盤中作文
減少信息差就在此刻
兩新人朋友同時(shí)進(jìn)入務(wù)必
聯(lián)系楓楓獲得6.5折
祝您明日投資順利,買入即漲停!
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.