衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

一家只做Transformer專用芯片的創(chuàng)業(yè)公司成功流片，連帶官宣了一串大進展：

不僅籌集到了8億美元的資金，還喜滋滋獲得了10億美元的客戶大單。

卡帕西、李飛飛、辛頓，都是這家公司的投資人。

這家公司就是Etched。

它創(chuàng)立于2022年，在別的AI芯片公司強調(diào)兼容、通用、生態(tài)的時候，Etched從Day 1開始就一心一意撲在Transformer專用芯片上。

中間好長一段時間，Etched沒有太多公開動靜。

結(jié)果六月最后一天突然冒出來，一口氣宣布走出隱身狀態(tài)。

Transformer專用芯片流片了，錢融到了，客戶單子也大大的有。

公司官號還在上說，他們基于現(xiàn)有進展，已經(jīng)造了第一批機柜，“早期客戶測試表明，我們在推理工作負載方面實現(xiàn)了最先進的吞吐量、延遲和能效”。

古人云一鳴驚人，大概如此。

作為資方爸爸之一的卡帕西老激動了：

Etched突然“詐尸”搞了波大的

在它家官推突然“詐尸”之前，Etched給人留下的些許印象，都來自于“這是一家只給Transformer做AI芯片的初創(chuàng)公司”。

結(jié)果冷不丁梆梆一頓宣布，現(xiàn)在做的已經(jīng)不只是Transformer專用芯片了。

匯總目前的信息，他家從芯片、機柜、軟件到制造方法一起設(shè)計都在著手，搞的是一整套面向前沿模型推理的集群系統(tǒng)。

先說芯片和機柜。

官網(wǎng)信息顯示，今年早些時候，Etched的A0版芯片已從臺積電N4P工藝流片回片。

現(xiàn)在推出首款機柜產(chǎn)品，主要也是為了滿足10億美元大單的需求。

直言不諱表示第一批機柜計劃今年夏天出貨，那Etched的商業(yè)化節(jié)奏也不也就擺上桌面了？

至于軟件和制造方法層面——

按照官方說法，它的推理系統(tǒng)是為前沿模型準備的，覆蓋萬億參數(shù)級MoE、長上下文和Agent工作負載。

為了跑這些任務，Etched共同設(shè)計了新的芯片、封裝、PCB、冷板、互連等組件。

此外，Etched引入了低電壓推理（LVI）技術(shù)，適用于高吞吐量工作負載。

大家先嘗點前情提要。

現(xiàn)在的情況是AI芯片如果不進行熱節(jié)流，就無法擴展浮點運算能力。

而隨著浮點運算能力的提升，AI芯片會消耗更多電力并降低時鐘頻率。這通常會導致持續(xù)的推理吞吐量低于峰值浮點運算能力的一半。

針對這個問題，Etched設(shè)計了一種全新的架構(gòu)，使芯片的數(shù)學模塊能夠在不到大多數(shù)AI芯片一半的電壓下運行。

這使得芯片的浮點運算密度比目前的AI芯片高出數(shù)倍。

官推稱，這套設(shè)計可以讓萬億參數(shù)級稀疏MoE在80%以上峰值FLOPs下運行，同時不出現(xiàn)熱降頻。

要做到這一點，需要從晶體管到token統(tǒng)籌設(shè)計，包括可拆分數(shù)學陣列、電路技術(shù)、tiling和調(diào)度算法、供電網(wǎng)絡、VRM架構(gòu)、高級封裝和冷板設(shè)計。

與此同時，Etched還推出適用于低延遲工作負載的集群規(guī)模內(nèi)存 （CSM）。

當前采用HBM的AI芯片受限于內(nèi)存子系統(tǒng)和互連瓶頸，難以達到接近SRAM的解碼速度；而純SRAM架構(gòu)的芯片雖然延遲更低，卻往往受限于浮點運算密度和內(nèi)存容量，難以兼顧吞吐量。

通常咱都不得不在兩者之間做取舍：要么以更慢的速度提供服務，要么壓低批量規(guī)模運行，從而承受更高成本。

在運行巨型MoE模型時，token需要在不同專家之間路由、數(shù)據(jù)必須穿過多層內(nèi)存體系和網(wǎng)絡交換網(wǎng)絡，才能到達目標專家。

每多一層內(nèi)存，延遲就會增加一分；因此，從延遲角度看，最好的內(nèi)存層級，某種意義上就是“少一層是一層”。

為此，Etched團隊設(shè)計了一種新架構(gòu)，在整個scale-up域內(nèi)構(gòu)建共享的低延遲內(nèi)存池。

他們采用了專有的超低延遲、高帶寬互連技術(shù)，大幅提升跨芯片內(nèi)存訪問速度。

基于HBM/SRAM的混合設(shè)計，同時解決了容量和mem2mem延遲問題，讓高吞吐與強交互性得以兼得。

“CSM不僅改善了延遲表現(xiàn)，也避免了當前純SRAM 芯片、3D DRAM芯片或光互連方案在成本、可靠性、良率、散熱和算力上的種種取舍。”

這家公司有啥來頭？

公司還表示，現(xiàn)在團隊已有超過400名工程師，分別來自英偉達、谷歌TPU、博通、SK海力士、臺積電等公司。

說到團隊，我們來詳細講講創(chuàng)始三劍客。

這個團隊的標簽就是非常符合刻板印象里“硅谷范兒”的那種。

畢竟“哈佛輟學生創(chuàng)業(yè)團隊”是他們身上最醒目的標簽doge。

CEO叫Gavin Uberti（下文簡稱G哥），是“給Transfomer做專用AI芯片”的最早推動者。

本科時期他入學哈佛，一方面繼續(xù)學數(shù)學與計算機相關(guān)課程，另一方面開始接觸AI編譯器優(yōu)化與系統(tǒng)層問題。

2020年到2022年前后，G哥分別在做端側(cè)AI和低功耗計算的初創(chuàng)公司（后被蘋果收購）、做高等教育學術(shù)運營管理軟件的公司以及做機器學習模型部署和推理基礎(chǔ)設(shè)施的公司實習過。

干過編譯器相關(guān)的活，也干過算法和后端。

2022年，Etched有了雛形。

在研究Transformer推理過程中，G哥逐漸有了自己的判斷：推理瓶頸其實是底層計算架構(gòu)不適配transformer workload。

所以他的思路就從“優(yōu)化模型”轉(zhuǎn)向“重構(gòu)計算系統(tǒng)”。

G哥后來對外頻頻回憶，“正是對Transformer未來走向的判斷，推動他和團隊押注做專用芯片”。

另外兩位聯(lián)合創(chuàng)始人Chris Zhu和Robert Wachen同樣是哈佛校友（輟學版）。

想創(chuàng)業(yè)的G哥，轉(zhuǎn)身就拉上了和自己在校園合作過的Chris一起退學，媒體大多對這個人的評價是“更偏工程實現(xiàn)與系統(tǒng)落地”。

然后2023年，倆人已經(jīng)明確可能要走向芯片路線之后，拿到了約550萬美元的種子輪投資，然后一鼓作氣拉了Wachen入伙。

Wachen的背景是計算機相關(guān)方向，在學校階段，他重點關(guān)注計算機系統(tǒng)基礎(chǔ)、軟件與硬件之間的抽象關(guān)系理解、工程實現(xiàn)思維三個方向。

創(chuàng)業(yè)第二年，兄弟三個一起入選了2024屆Thiel Fellowship。

Thiel Fellowship是個由彼得·蒂爾（Peter Thiel）創(chuàng)辦的獎學金/創(chuàng)業(yè)扶持項目，它面向22歲以下的年輕人，鼓勵他們暫停或放棄大學，直接去創(chuàng)業(yè)、做研究或做項目。

要不說人家是Etched創(chuàng)業(yè)核心三劍客呢，一般創(chuàng)始團隊所有成員同時入選同一屆Thiel Fellowship的概率還挺小的。

00后、哈佛、哈佛輟學創(chuàng)業(yè)、AI、Transformer專用芯片……這么一聽，有沒有感覺這團隊身上的硅谷范兒的標簽烙得更深了……

公開融資記錄顯示，Etched在2023年完成了種子輪，金額約536萬到540萬美元區(qū)間。

2024年6月，Etched對外宣布完成1.2億美元A輪融資，并同步推出首款芯片，強調(diào)它是首款專為Transformer模型設(shè)計的ASIC，主打高吞吐推理。

當時給出的說法是：

一臺8芯片服務器在Llama 70B場景下，可以達到遠高于8卡H100的token吞吐。

但那個時候都只是紙上談兵嘛，直到今天才宣布流片成功。

同年10月，他們又和Decart合作，公開發(fā)布了稱為“the first playable AI-generated game”的Oasis項目，這是一個“可以用鍵盤操控、但整個世界由模型逐幀生成”的交互式生成系統(tǒng)。

合作中，Decart負責世界模型本身的訓練、架構(gòu)設(shè)計以及“用Transformer做實時視頻生成”的核心算法。

Etched負責推理側(cè)和系統(tǒng)優(yōu)化，重點在如何讓擴散Transformer在H100級別GPU上跑到接近實時的幀率，并且把這種能力進一步映射到他們未來的專用芯片上。

這應該算Etched最會講故事的一次產(chǎn)品演示。

后來，Etched就有點默默潛伏的意思，只在去年年末、今年年初之際，曝出新一輪又融到了5億美元、投后估值50億美元。

既然官方已經(jīng)宣布第一批機柜今年夏天就會對外發(fā)售，到這一步，故事已經(jīng)很難只靠“天才休學生創(chuàng)業(yè)”來撐了。

客戶機房、真實負載、穩(wěn)定運行和真金白銀的驗收，是Etched接下來要打的硬仗。

[1]https://x.com/Etched/status/2071972062202343590?s=20
[2]https://x.com/patrick_oshag/status/2071972025896489452?s=20
[3]https://x.com/karpathy/status/2072061140943921550?s=20