新智元報(bào)道

【新智元導(dǎo)讀】拖更了三年的博客，Lilian Weng終于發(fā)出來了。

就在剛剛，前OpenAI副總裁Lilian Weng一篇拖了三年多的長文刷屏了。

在這篇名為《Scaling Laws, Carefully》博客里，她直接把Scaling Laws從頭拆到尾——

AI行業(yè)砸了數(shù)百億美元押注的這條定律，遠(yuǎn)比任何人想象的脆弱。

一分鐘速覽：這篇萬字長文講了什么

• 一條公式管了全行業(yè)五年。Scaling Laws說「模型做大、數(shù)據(jù)喂多、算力堆夠，性能就會(huì)按固定比例往上漲」。它讓AI從玄學(xué)變成了能算賬的生意，間接指揮了上千億美金的流向。

• OpenAI和DeepMind給出了相反的答案。同一個(gè)問題「算力預(yù)算怎么分配」，2020年OpenAI說模型該比數(shù)據(jù)漲得快，2022年DeepMind說兩邊得一起漲。后來發(fā)現(xiàn)，分歧的根源是一個(gè)參數(shù)統(tǒng)計(jì)口徑的差異，加上實(shí)驗(yàn)規(guī)模不夠大。

• 贏家的公式里也藏著bug。DeepMind那條被全行業(yè)照抄兩年的最優(yōu)配比，2024年被人逐行復(fù)現(xiàn)時(shí)發(fā)現(xiàn)：損失函數(shù)取了均值而不是求和，導(dǎo)致優(yōu)化器提前停了，輸出的參數(shù)根本不是最優(yōu)解。

• 拿小模型的規(guī)律去預(yù)測大模型，要非常小心。這條曲線是在相對小的模型上擬合出來的，外推到萬億參數(shù)級(jí)別時(shí)，一個(gè)四舍五入的差別就能讓結(jié)論差出一大截。博客里附了一個(gè)交互式模擬器，拖一下滑塊就能親眼看到。

• 還有個(gè)更根本的問題：數(shù)據(jù)快用完了。公式默認(rèn)數(shù)據(jù)可以無限供應(yīng)，但高質(zhì)量文本是有限的。這也是為什么整個(gè)行業(yè)集體轉(zhuǎn)向強(qiáng)化學(xué)習(xí)、測試時(shí)計(jì)算和合成數(shù)據(jù)。

一條直線，千億美金

眾所周知，Scaling Laws的核心可以簡單地總結(jié)成一句話——

模型越大、數(shù)據(jù)越多、算力越猛，表現(xiàn)就越好。而且這個(gè)「越好」不是隨機(jī)的，它有精確的數(shù)學(xué)規(guī)律。

把模型訓(xùn)練的損失畫在對數(shù)坐標(biāo)上，它隨著模型參數(shù)量N、數(shù)據(jù)量D、算力C的增加，呈一條直線下降。

用公式寫就是L(x) = E + A/x^α，其中x可以是N、D或C，E是理論最優(yōu)損失（數(shù)據(jù)本身的熵），A和α是擬合出來的常數(shù)。

訓(xùn)練一個(gè)N參數(shù)的模型跑D個(gè)token，總算力C ≈ 6ND——前向傳播2ND，反向傳播4ND。

這條直線意味著性能提升是可預(yù)測的。

先跑幾個(gè)小模型，擬合出那條直線，往右外推，就能預(yù)估大模型訓(xùn)出來的表現(xiàn)。不用真花幾億美元把大模型訓(xùn)完才知道它行不行。

在這之前，深度學(xué)習(xí)一直被譏諷為「煉金術(shù)」，知道什么有效，不知道為什么有效。

2020年OpenAI的Kaplan發(fā)表了這條冪律，第一次把玄學(xué)拽進(jìn)了「可預(yù)測」的地界。

這就是所有大模型公司敢砸錢的底氣。

但公式給出的最關(guān)鍵建議，給定算力預(yù)算，模型和數(shù)據(jù)怎么分配，OpenAI和DeepMind給出了相反的答案。

同一道題

OpenAI和DeepMind做出了相反的答案

2020年OpenAI的Kaplan團(tuán)隊(duì)得出的結(jié)論是：最優(yōu)模型大小N_opt ∝ C^0.73。

翻譯過來就是：算力翻10倍，5.5倍給模型、1.8倍給數(shù)據(jù)——模型漲得要比數(shù)據(jù)快得多。

這直接指導(dǎo)了GPT-3的訓(xùn)練方案。

1750億參數(shù)的模型，只喂了3000億個(gè)token（token是模型處理文本的最小單位，大約一個(gè)詞對應(yīng)1-2個(gè)token）。

按后來的標(biāo)準(zhǔn)看，這屬于嚴(yán)重訓(xùn)練不足。

2022年DeepMind的Chinchilla團(tuán)隊(duì)得出了相反的結(jié)論：N_opt ∝ C^0.50，模型和數(shù)據(jù)應(yīng)該等比增長。

工程師們后來把它提煉成一個(gè)張口就來的數(shù)字：最優(yōu)token和參數(shù)比大約20:1。

然后DeepMind做了一場正面對決。

自家的Gopher，2800億參數(shù)配3000億token。Chinchilla，700億參數(shù)配1.4萬億token。兩個(gè)模型用了相同的算力。

Chinchilla全面碾壓。

一個(gè)又小又「吃得多」的模型，把又大又「餓著」的對手打趴下了。

整個(gè)行業(yè)的共識(shí)因此翻轉(zhuǎn)：從「把模型做大」變成「大多數(shù)模型都訓(xùn)練不足」。

0.73 vs 0.50，同一個(gè)問題，相反的答案，會(huì)讓你把算力預(yù)算往兩個(gè)完全不同的方向分配。

原因竟是一個(gè)「簿記問題」

2024年，兩位研究者在機(jī)器學(xué)習(xí)頂刊TMLR發(fā)了一篇調(diào)和論文，把這個(gè)分歧追到了底。

結(jié)論讓人哭笑不得。

第一個(gè)原因：兩邊數(shù)參數(shù)的方式不一樣。

模型里有一類叫embedding的參數(shù)層，負(fù)責(zé)把文字轉(zhuǎn)換成模型能理解的數(shù)字向量。小模型里這一層占總參數(shù)量的比例非常大，幾千萬參數(shù)的模型可能占到三分之一。

Kaplan在統(tǒng)計(jì)參數(shù)量時(shí)把embedding排除在外，Chinchilla則把它算進(jìn)去了。

就這么一個(gè)參數(shù)統(tǒng)計(jì)口徑的差異，就足以扭曲最終擬合出來的冪律指數(shù)。

他們給出了一個(gè)簡潔的校正公式：N = N_\E + ω·N_\E^(1/3)，其中N_\E是去掉embedding后的參數(shù)量，ω是常數(shù)。小模型時(shí)第二項(xiàng)占比大，embedding影響顯著；模型越大，第二項(xiàng)趨近于零，兩種數(shù)法殊途同歸。

第二個(gè)原因：Kaplan的實(shí)驗(yàn)規(guī)模太小。

Kaplan測試的最大模型只到15億參數(shù)，而Chinchilla的實(shí)驗(yàn)掃到了160億以上。在對數(shù)坐標(biāo)里，微小的擬合偏差在外推時(shí)會(huì)被急劇放大。

他們用統(tǒng)一的參數(shù)統(tǒng)計(jì)口徑重新推導(dǎo)了Chinchilla的公式，發(fā)現(xiàn)了一個(gè)關(guān)鍵規(guī)律——

冪律指數(shù)會(huì)隨著算力規(guī)模的增大而變化。在Kaplan的小規(guī)模實(shí)驗(yàn)范圍內(nèi)，指數(shù)確實(shí)接近0.73；但規(guī)模增大后，指數(shù)收斂到0.50。

Kaplan沒有「錯(cuò)」，他在自己的實(shí)驗(yàn)范圍內(nèi)是對的。

但他把一個(gè)局部成立的規(guī)律，外推成了全局結(jié)論。

一個(gè)參數(shù)怎么數(shù)的簿記問題，加上實(shí)驗(yàn)規(guī)模不夠大，就讓兩個(gè)頂級(jí)團(tuán)隊(duì)給出了相反的資源分配建議。

全行業(yè)照著這個(gè)結(jié)論調(diào)了兩年的訓(xùn)練配方。

連贏家也有bug

Kaplan被Chinchilla糾正了，這是大家都知道的標(biāo)準(zhǔn)敘事。

但Weng往前走了一步——Chinchilla自己的方法論，也有問題。

Chinchilla論文用了三種獨(dú)立方法交叉驗(yàn)證自己的結(jié)論：

• 方法1固定模型大小變數(shù)據(jù)量

• 方法2畫等算力曲線（IsoFLOP profiles）

• 方法3直接對損失公式L(N,D) = E + A/N^α + B/D^β做參數(shù)擬合

三條路指向同一個(gè)結(jié)論，看起來非常扎實(shí)。

方法3的數(shù)學(xué)推導(dǎo)尤其優(yōu)雅：在約束C ≈ 6ND下對L(N,D)求最優(yōu)，可以得到閉合解N_opt ∝ (C/6)^(β/(α+β))。當(dāng)α ≈ β時(shí)，指數(shù)約等于0.5，也就是模型和數(shù)據(jù)等比增長。這就是0.50的數(shù)學(xué)來源。

2024年，AI研究機(jī)構(gòu)Epoch AI的團(tuán)隊(duì)從Chinchilla論文的圖表中手動(dòng)提取原始數(shù)據(jù)點(diǎn)，重新跑了方法3的擬合。

兩個(gè)bug，一個(gè)比一個(gè)離譜。

Bug 1：損失函數(shù)取了均值而不是求和。

Chinchilla在擬合這五個(gè)參數(shù)時(shí)，需要最小化預(yù)測損失和實(shí)際損失之間的差距。

完整的優(yōu)化目標(biāo)如下：min Σ Huber_δ(log L?(N?,D?) ? log L?)，其中Huber Loss是一種對異常值不敏感的損失函數(shù)（δ = 10?3），配合L-BFGS-B優(yōu)化器來搜索最優(yōu)解。

問題出在一個(gè)細(xì)節(jié)上：他們對每個(gè)樣本的Huber Loss取了平均值（mean）而不是求和（sum）。幾百個(gè)樣本一平均，損失值被壓縮到了極小的量級(jí)。

L-BFGS-B優(yōu)化器有一個(gè)內(nèi)置的收斂判據(jù)。當(dāng)損失值足夠小時(shí)自動(dòng)停止。它看到這么小的數(shù)值，誤以為已經(jīng)收斂，直接停了。

優(yōu)化器根本沒有跑完。輸出的參數(shù)不是真正的最優(yōu)值。

Bug 2：關(guān)鍵參數(shù)只保留了兩位小數(shù)。

Chinchilla論文里有兩個(gè)控制冪律形狀的核心指數(shù)，只保留到了小數(shù)點(diǎn)后兩位。

看起來是無傷大雅的四舍五入。

但從這兩個(gè)粗糙的數(shù)反推其他常數(shù)時(shí)，誤差被指數(shù)級(jí)放大。最終的置信區(qū)間窄得不合理，窄到需要超過60萬次實(shí)驗(yàn)才能達(dá)到的精度，而他們實(shí)際只跑了不到500次。

一個(gè)被全行業(yè)奉為圭臬的公式，背后藏著一個(gè)loss函數(shù)沒跑完的bug，而且這個(gè)bug藏了整整兩年。

Weng在博客里還附了一個(gè)交互式模擬器，三個(gè)滑塊分別控制損失精度、損失噪聲和擬合區(qū)間。

每動(dòng)一下，擬合出來的Scaling Law就變一個(gè)樣。

OpenAI的結(jié)論有局部性偏差，DeepMind的結(jié)論有方法論瑕疵。AI行業(yè)最重要的學(xué)術(shù)爭論，雙方都有裂縫。

數(shù)據(jù)快燒完了

前面三節(jié)講的都是擬合方法的問題，參數(shù)怎么數(shù)、損失怎么算、精度取幾位。

但即使這些問題全部修好，經(jīng)典Scaling Laws還有一個(gè)更根本的隱患——

它假設(shè)每個(gè) 訓(xùn)練數(shù)據(jù) 都是唯一的，不重復(fù)、不訓(xùn)多輪，默認(rèn)你有無限的數(shù)據(jù)。

現(xiàn)實(shí)是，高質(zhì)量文本數(shù)據(jù)預(yù)計(jì)在2026到2028年之間就會(huì)被各大實(shí)驗(yàn)室掃蕩殆盡。

數(shù)據(jù)重復(fù)訓(xùn)練不可避免，經(jīng)典公式的前提正在崩塌。

2023年的一項(xiàng)大規(guī)模實(shí)驗(yàn)訓(xùn)了約400個(gè)模型，從千萬到90億參數(shù)，最多重復(fù)訓(xùn)練1500輪。

核心思路是引入「有效數(shù)據(jù)量」的概念來替代實(shí)際數(shù)據(jù)量——

如果你有U條唯一數(shù)據(jù)重復(fù)了R輪，有效數(shù)據(jù)量并不是U×R，而是按D_eff = U·(1 - e^(-R))的指數(shù)衰減曲線折算。第一輪重復(fù)還能學(xué)到不少新東西，到第五輪、第十輪，邊際學(xué)習(xí)收益趨近于零。

他們還發(fā)現(xiàn)了一個(gè)反直覺的結(jié)論：多余的參數(shù)比重復(fù)的數(shù)據(jù)「貶值」得更快。也就是，預(yù)算有限時(shí)，與其加大模型，不如多跑幾輪訓(xùn)練更劃算。

2026年5月的一篇新論文換了思路。

他們不折算有效數(shù)據(jù)量，而是直接在經(jīng)典損失公式后面加了一個(gè)顯式的過擬合懲罰項(xiàng)——模型重復(fù)看同一批數(shù)據(jù)越多次，懲罰越大，而且這個(gè)懲罰和模型大小掛鉤。

他們的完整公式長這樣：

最后那個(gè)紅色的懲罰項(xiàng)是關(guān)鍵。

R是重復(fù)次數(shù)，N/U是模型參數(shù)量和唯一數(shù)據(jù)量的比值（模型相對于數(shù)據(jù)有多「過?！梗?，P、δ、κ都是從實(shí)驗(yàn)中擬合出來的。重復(fù)越多、模型越大，懲罰越重。

這篇論文的核心發(fā)現(xiàn)是：大模型對數(shù)據(jù)重復(fù)更敏感。同樣把數(shù)據(jù)重復(fù)訓(xùn)練10輪，一個(gè)5億參數(shù)的模型可能還扛得住，但一個(gè)50億參數(shù)的模型性能下降會(huì)嚴(yán)重得多。

另一個(gè)工程上直接有用的發(fā)現(xiàn)為：加強(qiáng)權(quán)重衰減（weight decay）可以顯著緩解重復(fù)訓(xùn)練帶來的過擬合。

這也是為什么2025到2026年，整個(gè)行業(yè)的注意力集體轉(zhuǎn)向了三條繞過數(shù)據(jù)墻的路——

強(qiáng)化學(xué)習(xí)，DeepSeek R1、OpenAI o系列，讓模型在數(shù)學(xué)和編程等可驗(yàn)證的任務(wù)上自我博弈，產(chǎn)生訓(xùn)練信號(hào)。

測試時(shí)計(jì)算，不增加訓(xùn)練成本，讓模型在回答問題時(shí)多「想」幾步來換取更好的表現(xiàn)。

合成數(shù)據(jù)，用現(xiàn)有的強(qiáng)模型生成新數(shù)據(jù)來訓(xùn)練下一代模型。

三條路的潛臺(tái)詞一樣：純粹靠「堆規(guī)?！沟哪菞l冪律，已經(jīng)不夠用了。

從北大到OpenAI到自己的公司

Lilian Weng，北大本科，印第安納大學(xué)伯明頓分校博士。

有意思的是，她的博士方向不是深度學(xué)習(xí)，而是網(wǎng)絡(luò)科學(xué)與復(fù)雜系統(tǒng)，研究的是信息在社交網(wǎng)絡(luò)里怎么傳播。

她畢業(yè)后先去了Dropbox做數(shù)據(jù)科學(xué)，又去了金融科技公司Affirm，2018年才加入OpenAI。

來到OpenAI后，Weng參與的第一個(gè)項(xiàng)目是機(jī)器人。那只花了兩年學(xué)會(huì)解魔方的機(jī)械手Dactyl，她是核心貢獻(xiàn)者之一。

后來轉(zhuǎn)去搭建應(yīng)用研究團(tuán)隊(duì)，GPT-4發(fā)布后被委任組建Safety Systems團(tuán)隊(duì)，到她離開時(shí)這個(gè)團(tuán)隊(duì)已有80多位科學(xué)家、工程師和政策專家。

2024年8月頭銜升為VP of Research and Safety，三個(gè)月后宣布離開。

2017年，Weng剛接觸深度學(xué)習(xí)不久，開了一個(gè)叫Lil'Log的個(gè)人博客，最初只是為了整理自己的學(xué)習(xí)筆記。

她曾說過，「把一個(gè)概念講清楚，是檢驗(yàn)自己是否真正理解它的最好方式」。

結(jié)果一寫就是九年，強(qiáng)化學(xué)習(xí)、擴(kuò)散模型、大模型agent，每一篇都從基礎(chǔ)原理寫起，幾十頁長文配自己畫的圖解。

這個(gè)博客后來成了AI領(lǐng)域被引用最多的個(gè)人技術(shù)博客之一，很多大學(xué)直接拿來當(dāng)教材。

2025年2月，她和前OpenAI CTO Mira Murati成立Thinking Machines Lab，聯(lián)創(chuàng)還包括OpenAI聯(lián)創(chuàng)John Schulman、前研究VP Barret Zoph和Luke Metz。a16z領(lǐng)投種子輪20億美元，估值120億。

而她在公司高速推進(jìn)的同時(shí)，花時(shí)間寫完了這篇拖了三年的Scaling Laws長文。

你每天用的ChatGPT、Claude、Gemini，背后都是這些公式在決定下一代怎么訓(xùn)。

下一代AI好不好用，不取決于誰的GPU多，而取決于誰把這些細(xì)節(jié)處理得更精確。

參考資料：

https://x.com/lilianweng/status/2070237256070389897?s=20

https://lilianweng.github.io/posts/2026-06-24-scaling-laws/

編輯：摩西