西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

哦豁，馬斯克一個“不小心”，把Claude參數(shù)抖出來了？？？

長話短說：Sonnet 1T、Opus 5T。

起因是老馬發(fā)帖表示，xAI的Colossus 2超算正在訓(xùn)練7個模型，其中最大的一款，參數(shù)量直接沖到了10萬億。

完整清單：

Imagine V2
2個1萬億（1T）參數(shù)的變體模型
2個1.5 萬億（1.5T）參數(shù)的變體模型
6萬億（6T）參數(shù)模型
10萬億（10T）參數(shù)模型

P.S. Colossus 2，就是老馬巨硬計劃（Macrohard）的一部分。據(jù)2025年8月披露的信息，Colossus 2已經(jīng)安裝了119臺風(fēng)冷式冷水機組，提供約200MW的冷卻能力，足以支持約11萬個GB200 NVL72 GPU。

按照當時規(guī)劃，Colossus 2第一階段部署11萬個英偉達GB200 GPU，最終目標是超過55萬個GPU，峰值功率需求預(yù)計超過1.1GW。

這次發(fā)推文，也是馬斯克為數(shù)不多地對外公開Colossus超算的具體訓(xùn)練計劃。

消息一出，網(wǎng)友開啟好奇寶寶模式，馬斯克也是心情不錯的樣子，看到提問也回復(fù)了不少。

比如有人問“訓(xùn)練一個10T模型，大概要花多久？”，馬斯克說預(yù)訓(xùn)練階段大約需要2個月。

哎，就有這么一段對話出現(xiàn)了。

Grok 4.2的參數(shù)量，僅為xAI目前在訓(xùn)最大模型的5%。也就是5000億（500B）對比10萬億（10T），后者是前者20倍。
Grok 4.2真的是總參數(shù)量500B嗎？還是說只是在一個更大的MoE里，激活的參數(shù)量是500B億？

面對疑問，老馬又親自回應(yīng)了：

總參數(shù)量就是0.5T（5000億）。現(xiàn)在的Grok，參數(shù)量是Sonnet的一半、Opus的十分之一。以它的規(guī)模來說，是非常強的模型。

網(wǎng)友一眼瞄到顯眼信息，這不就是說Sonnet是1T，Opus是5T。

于是有人追問：

純好奇，你（馬斯克）怎么知道Sonnet、Opus大小？

對此老馬閉麥了，網(wǎng)友提出的點倒不無道理，“頂尖人才在這么幾家公司間流動，似乎也沒什么秘密能藏太久”。

Claude各版本參數(shù)，來自網(wǎng)友推測

自打Claude系列模型問世，Anthropic就一直嚴格保密參數(shù)規(guī)模，不管是Opus還是Sonnet，愣是一點沒披露。

越不說，網(wǎng)友討論得越起勁。

我們用AI總結(jié)了一下網(wǎng)友們分析討論的不同版本的Claude參數(shù)規(guī)模。

你還別說，你還真別說。最新模型Claude 4.6 Sonnet ~1-2T、Claude 4.6 Opus ~1.5-2.5T/2-5T，還真和老馬手滑泄露的“Sonnet1T、Opus5T”對上了。

具體來看網(wǎng)友都討論出來了啥。

目前主流推測方法有四類：

• 推理成本與吞吐量反推法：模型推理成本與激活參數(shù)量呈近似線性關(guān)系，而總參數(shù)量則可通過架構(gòu)類型和行業(yè)經(jīng)驗系數(shù)推算。
• 性能基準對標法：通過與已知參數(shù)的開源模型在標準化基準上的表現(xiàn)對比，推斷閉源模型的參數(shù)規(guī)模。
• 內(nèi)部文件泄露與傳聞分析法：官方意外暴露的信息&一些小道消息。
• 架構(gòu)特性分析法：通過對模型行為特性的觀察，推斷其采用的架構(gòu)類型，進而縮小參數(shù)估計范圍。

首先來看Claude 3系列，2024年3月發(fā)布，這是首個形成清晰產(chǎn)品矩陣的Claude系列，包含三個定位不同的版本。

小杯Haiku、中杯Sonnet以及大杯Opus，成本和性能依次遞增。

對于它們的參數(shù)規(guī)模，LifeArchitect.ai創(chuàng)始人Alan D. Thompson曾給出估算：

Claude 3 Haiku (~20B)、Claude 3 Sonnet (~70B)、Claude 3 Opus (~2T)。

對于Claude 3 Sonnet，Reddit社區(qū)后續(xù)也展開了持續(xù)討論，也有網(wǎng)友基于性能等推測Claude 3 Sonnet參數(shù)量在150-250B之間。

再來看Claude 3.5，這是Claude的一次重大升級，多個關(guān)鍵指標吊打GPT-4o。

不過，Anthropic最初只發(fā)布了獨苗Claude 3.5 Sonnet。

其速度是Claude 3 Opus的兩倍，成本卻僅為后者的1/5。

關(guān)于模型參數(shù)量，微軟等曾發(fā)布了一篇論文。

其中指出據(jù)行業(yè)估算，Claude 3.5 Sonnet參數(shù)約175B。

順帶附上其它模型估算參數(shù)：ChatGPT約175B、GPT-4約1.76T、GPT-4o約200B、o1-mini約100B、o1-preview約300B。

之后，Anthropic跳過了3.5命名，未發(fā)布3.5 Opus，在Claude Sonnet 3.7后直接進入4系列，發(fā)布了兩個模型：

Claude Opus 4和Claude Sonnet 4。

圈內(nèi)對于Claude 4的參數(shù)估計，存在較大分歧。

行業(yè)估算Claude Opus 4參數(shù)約在300–500B之間，Claude Sonnet 4約在50B-100B之間。

接下來Claude Opus 4.1發(fā)布。

其編程性能再次突破，超越Claude Opus 4，在Agent任務(wù)和推理方面也進一步升級。

不過發(fā)布時，官方表示計劃在未來幾周對模型進行更大規(guī)模升級與改進，看來4.1真就只是一次小更新，替代Opus 4。

甚至網(wǎng)友討論，Anthropic可能本來不想發(fā)模型，但是奈何GPT-5/Gemini-3的消息太多，為了保持市場競爭力所以先更新一波。

這可能也是關(guān)于其參數(shù)討論并不多的原因之一。

Hacker News有網(wǎng)友認為，其可能是Anthropic嘗試超大參數(shù)規(guī)模的實驗性產(chǎn)品，后續(xù)4.5版本反而縮小了參數(shù)規(guī)模以優(yōu)化效率。

Anthropic對Opus 4/4.1進行了蒸餾，得到了Opus 4.5。這也是該模型的運行速度比Opus 4快約3倍，同時API調(diào)用成本僅為后者的三分之一的核心原因。
整個AI行業(yè)的發(fā)展方向，正在摒棄萬億參數(shù)規(guī)模的超大模型。當下的核心命題是提升現(xiàn)有參數(shù)規(guī)模的利用效率。
Opus 4.5參數(shù)量撐死也就在2T左右。Opus 4/4.1的參數(shù)量或許能達到約6T（MoE架構(gòu)）。

再往下就是4.5系列了。

Claude Sonnet 4.5先發(fā)布，計算機操作方面，在OSWorld測試中取得了60.2分的SOTA成績，比Sonnet 4提升了近一半。

Claude Opus 4.5后腳跟上，前端開發(fā)、視覺能力顯著提升，更擅長使用電腦；在深度研究、PPT制作與電子表格處理等日常任務(wù)方面的表現(xiàn)也全面升級。

今年2月剛發(fā)布的最新4.6系列，各項能力再上一個臺階。

Anthropic表示，對填寫復(fù)雜Excel、網(wǎng)頁清單等計算機操作任務(wù)，Sonnet 4.6已經(jīng)接近人類水平。

而Opus 4.6，在GDPval-AA（一項評估金融、法律和其他領(lǐng)域經(jīng)濟價值知識工作任務(wù)的性能指標）上，比GPT-5.2高出144Elo；編程依舊獨領(lǐng)風(fēng)騷，在Agent編程評估Terminal-Bench 2.0中取得了最高分，并在“人類最后考試”中領(lǐng)先所有其它前沿模型。

越往后，技術(shù)迭代步入深水區(qū)，底層技術(shù)和模型架構(gòu)還一個勁地搞創(chuàng)新，想估算模型參數(shù)量，越來越難了。

最近，一篇發(fā)表在Substack的技術(shù)逆向工程分析，通過OpenRouter在Google Vertex和Amazon Bedrock上的Token吞吐數(shù)據(jù)，估算了Claude Opus 4.5和4.6的激活參數(shù)量。

作者署名unexcitedneurons，他以3個開源MoE模型為校準基準，推算出Vertex平臺的有效內(nèi)存帶寬約為4.0–4.5TB/s，進而得出：

Opus 4.6在FP8精度下的激活參數(shù)量為93–105B。

若假設(shè)模型采用FP8精度稠密層+FP4精度混合專家層的配置，Opus 4.6的激活參數(shù)量約為127–154B。

結(jié)合不同專家稀疏度方案，最終他認為，Opus 4.5絕非網(wǎng)傳的10T+規(guī)模，它是一款體量小得多的模型，由Claude Opus 4/4.1蒸餾而來，參數(shù)量規(guī)模應(yīng)落在1.5T-2T之間。

這一點也能從API定價中得到印證，Claude Opus 4.1的輸入/輸出定價為每百萬Token 15美元/75美元，而Claude Opus 4.5/4.6目前的定價僅為每百萬Token 5美元/25美元，價格直接降至原先的三分之一。

作者也提到，Claude Opus 4/4.1參數(shù)量大概率在5T-6T左右。

除了已發(fā)布模型的模型外，前幾天Anthropic團隊因權(quán)限配置失誤，把自家未發(fā)布模型泄露了。

模型Claude Mythos（內(nèi)部代號Capybara）。

泄露文件中，曾多次使用質(zhì)的飛躍這種說法來形容Mythos，在具體能力上，相較于Claude Opus 4.6，Mythos在軟件編碼、學(xué)術(shù)推理和網(wǎng)絡(luò)安全等測試中的得分顯著更高。

Claude Mythos，被稱為是迄今為止公司開發(fā)過的最強大的AI模型。

傳言稱模型參數(shù)達10T。

參考鏈接：
[1]https://x.com/lifetimization/status/2042285703162397167
[2]https://www.reddit.com/r/ClaudeAI/comments/1ixuxln/estimate_of_model_size_for_claude_37/
[3]https://lifearchitect.substack.com/p/the-memo-special-edition-claude-3
[4]https://arxiv.org/pdf/2412.19260v1
[5]https://medium.com/@bob.mashouf/claude-4-vs-llama-4-benchmarking-55b99c17d3f7
[6]https://news.ycombinator.com/item?id=47319205
[7]https://unexcitedneurons.substack.com/p/estimating-the-size-of-claude-opus