SambaNova新芯片瞄準10萬億參數AI模型

SambaNova發布了其最新芯片SN50，聲稱其速度比英偉達Blackwell快五倍，吞吐量高三倍，足以為超過10萬億參數的智能體AI模型提供動力。該公司還宣布將SN50部署到日本軟銀，與英特爾建立新的合作伙伴關系，以及完成3.5億美元融資輪。

背景與架構

AI繁榮及其引發的數據處理無限需求使SambaNova成為新興芯片制造商之一。該公司開發了其可重構數據單元(RDU)架構，該架構實現自定義處理管道，數據在其中流經完整計算圖，以解決傳統CPU和GPU使用的指令集架構(ISA)中遇到的數據移動低效問題。

SN50芯片特性

與SN40一樣，SN50采用分層內存架構，結合了64GB高帶寬內存(HBM)、432MB靜態隨機存取存儲器(SRAM)和256GB至2TB的DDR5。SambaNova表示，這種內存架構使其能夠托管最大的AI模型，包括高達10萬億參數的模型。

"駐留在HBM和SRAM中的模型可以在幾毫秒內進行數據交換，這是智能體工作負載在多個模型之間頻繁切換所必需的能力。"該公司在一篇博客文章中寫道。

SambaNova表示，與SN40相比，SN50每個加速器提供五倍的計算能力和四倍的網絡帶寬。該公司表示，內部基準測試顯示，與英偉達的Blackwell B200 GPU相比，SN50在運行像Meta的Llama 3.3 70B等模型的智能體推理工作負載時提供5倍的最大速度和超過3倍的吞吐量。

擴展與部署

SambaNova將芯片預先配置在名為SambaRacks的機架中銷售，每個機架最多可容納16個獨立SN50。該公司支持將其SambaRacks向外擴展，以支持通過每秒多T字節帶寬連接最多256個SN50集群。每個SambaRack平均消耗20kW電力，這使其能夠使用風冷而非液冷。

專注AI推理

AI推理工作負載是SambaNova及其芯片的目標，這一原則在SN50上沒有改變。該公司表示，其在內存中緩存輸入令牌（Token）的能力減少了相對于主流GPU架構的首令牌時間(TTFT)。它還聲稱可以在內存中保持多個AI模型，并以比英偉達GPU所需更少時間進行數據交換。

客戶與合作

SambaNova表示，軟銀將是首家部署SN50的公司。該日本公司將在其下一代AI數據中心部署SN50。該公司還宣布與英特爾的新合作，據報道英特爾曾在一月份嘗試以16億美元收購SambaNova。而當下，英特爾是SambaNova價值3.5億美元的E輪融資的參與者，SambaNova表示將用這筆資金擴大制造和云能力。

展望未來

"AI不再是構建最大模型的競賽。"SambaNova聯合創始人兼首席執行官Rodrigo Liang在新聞稿中說。"憑借SN50和我們與英特爾的深度合作，真正的競賽是誰能夠用能夠即時回答、從不卡頓、且成本使AI從實驗轉變為云端最盈利引擎的智能體點亮整個數據中心。"