夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

Claude最強(qiáng)“神話(huà)”模型，可能用到來(lái)自字節(jié)的技術(shù)？

這條猜測(cè)直接沖上熱搜榜。

這款“強(qiáng)到不敢公開(kāi)發(fā)布”的Mythos模型，確實(shí)刺激了人們對(duì)下一代LLM架構(gòu)的想象。

社區(qū)正在熱烈討論它是否采用了循環(huán)語(yǔ)言模型（Looped Language Model）架構(gòu)。

這個(gè)概念來(lái)自字節(jié)Seed團(tuán)隊(duì)與多個(gè)高校合作的一篇論文，Yoshua Bengio也參與其中。

關(guān)鍵線(xiàn)索在于Anthropic公布的一組測(cè)試數(shù)據(jù)。

字節(jié)論文指出，圖搜索是循環(huán)算法相比標(biāo)準(zhǔn)RLVR具有巨大理論優(yōu)勢(shì)的領(lǐng)域之一。

再看Mythos，正是在廣度搜索優(yōu)先的圖搜索測(cè)試GraphWalks BFS中，超越對(duì)手GPT5.4最多。

80%對(duì)21.4%，接近4倍的差距。

在其他類(lèi)型的任務(wù)上，并沒(méi)有出現(xiàn)如此異常的分差。

說(shuō)明這種進(jìn)步很可能不是來(lái)自通用的Scaling Law，而是架構(gòu)創(chuàng)新。

循環(huán)語(yǔ)言模型：同一層”多轉(zhuǎn)幾圈”，小模型碾壓大模型

GraphWalks BFS測(cè)試，就是給模型一個(gè)復(fù)雜的圖結(jié)構(gòu)，讓它做廣度優(yōu)先搜索，從起點(diǎn)出發(fā)，一層一層地訪(fǎng)問(wèn)所有相鄰節(jié)點(diǎn)。

標(biāo)準(zhǔn)Transformer處理這類(lèi)問(wèn)題只能一次前向傳播，從頭走到尾，輸出結(jié)果，沒(méi)有“迭代”這個(gè)概念。

Mythos在圖遍歷上拿到了80%的分?jǐn)?shù)，表明它內(nèi)部很可能在“”反復(fù)計(jì)算”，對(duì)同一組信息來(lái)回處理了好幾遍。

那么什么樣的架構(gòu)能實(shí)現(xiàn)“反復(fù)計(jì)算”？

字節(jié)Seed團(tuán)隊(duì)在論文中提出LoopLM循環(huán)語(yǔ)言模型。

簡(jiǎn)單總結(jié)LoopLM有三個(gè)特點(diǎn)。

1、不寫(xiě)長(zhǎng)文思考，在模型內(nèi)部潛空間迭代，不額外輸出更多token。

2、簡(jiǎn)單題少想幾步，難題多想幾步，自動(dòng)調(diào)節(jié)。

3、預(yù)訓(xùn)練時(shí)就學(xué) “怎么在潛空間思考”，而不是只學(xué) “怎么預(yù)測(cè)下一個(gè)token”。

在實(shí)驗(yàn)中，團(tuán)隊(duì)訓(xùn)練了Ouro系列循環(huán)語(yǔ)言模型，內(nèi)置了循環(huán)思考。

測(cè)試結(jié)果，1.4B的Ouro模型性能對(duì)標(biāo)約4B的傳統(tǒng)模型。2.8B的Ouro模型相當(dāng)于8B–12B的傳統(tǒng)模型。

至于循環(huán)模型的能力提升來(lái)自何處，論文詳細(xì)分析了知識(shí)存儲(chǔ)vs知識(shí)操作的區(qū)別。

知識(shí)存儲(chǔ)（Knowledge Storage）的容量是有限的，大約每個(gè)參數(shù)2bits，不管用什么架構(gòu)，這個(gè)數(shù)字基本不變。

循環(huán)也不會(huì)讓你“記住”更多東西。

但知識(shí)操作（Knowledge Manipulation）不一樣，把已知事實(shí)組合起來(lái)做多跳推理、執(zhí)行程序、搜索圖結(jié)構(gòu)，這類(lèi)能力隨循環(huán)步數(shù)和訓(xùn)練tokens指數(shù)級(jí)增長(zhǎng)。

換句話(huà)說(shuō)，循環(huán)模型沒(méi)有給AI一個(gè)更大的知識(shí)庫(kù)，但它讓AI在知識(shí)庫(kù)庫(kù)里的搜索和組合能力提升了一個(gè)量級(jí)。

那么Mythos究竟是不是循環(huán)模型架構(gòu)，有人總結(jié)出除了GraphWalks之外的更多線(xiàn)索。

三條線(xiàn)索指向循環(huán)模型架構(gòu)

第一條線(xiàn)索，也就是廣度優(yōu)先圖搜索測(cè)試結(jié)果。

Mythos除了分?jǐn)?shù)是GPT5.4的4倍，比上一代Opus提升幅度也異常大。

第二條線(xiàn)索，Anthropic報(bào)告Mythos每個(gè)任務(wù)使用的token數(shù)量是Opus4.6的1/5，但速度更慢。

（價(jià)格也貴5倍！）

這在標(biāo)準(zhǔn)Transformer框架下很難說(shuō)得通，token少，生成步驟就少，應(yīng)該更快才對(duì)。

但循環(huán)模型剛好解釋了這個(gè)矛盾：推理不發(fā)生在token層面，而是發(fā)生在潛空間，計(jì)算量花在了看不見(jiàn)的地方。

線(xiàn)索三，Mythos在網(wǎng)絡(luò)安全方面非常突出。

Mythos在CyberGym測(cè)試上拿到83.1%，Opus4.6是66.6%，領(lǐng)先近17個(gè)百分點(diǎn)。

以及找到上千個(gè)零日漏洞，主流操作系統(tǒng)和瀏覽器全都沒(méi)逃過(guò)。

漏洞發(fā)現(xiàn)的本質(zhì)就是對(duì)控制流圖做遍歷。找到一條從輸入到危險(xiǎn)函數(shù)的路徑，也就是圖的可達(dá)性問(wèn)題。

又是圖遍歷。又是循環(huán)架構(gòu)的天生強(qiáng)項(xiàng)。

說(shuō)了這么多，終歸只是大家的猜測(cè)，Anthropic沒(méi)有公開(kāi)任何關(guān)于Mythos架構(gòu)的信息，很可能以后也不會(huì)公開(kāi)。

但有一句話(huà)值得思考：

Scaling Law改善一切，相對(duì)均勻，架構(gòu)創(chuàng)新在匹配其歸納偏置的任務(wù)上創(chuàng)造異常尖峰值。

循環(huán)Transformer的歸納偏置就是迭代圖算法。Mythos的異常尖峰，恰好出現(xiàn)在圖遍歷任務(wù)上。

Anthropic不說(shuō)，但測(cè)試數(shù)據(jù)已經(jīng)替它說(shuō)了。

字節(jié)論文：
https://arxiv.org/abs/2510.25741

參考鏈接：
[1]
https://x.com/ChrisHayduk/status/2042711699413926262
[2]
https://aiia.ro/blog/claude-mythos-looped-language-model-theory