亚洲中文字幕乱码亚洲-蜜桃成熟视频在线观看-免费中文字幕视频在线-中国五十路熟妇洗澡视频-亚洲av伊人啪啪c-国产精品成人一区二区-国产自拍视频一区在线观看-成人一区不卡二区三区四区-亚洲情精品中文字幕99在线

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請入駐

有損自我改進(jìn)(Lossy Self-Improvement)

0
分享至

為什么自我改進(jìn)是現(xiàn)實(shí)存在的,但它不會(huì)導(dǎo)致 AI 的“瞬間起飛”。

作者:Nathan Lambert 2026年3月23日

如今,在AI圈子里,“快速起飛”(Fast Takeoff)、“技術(shù)奇點(diǎn)”以及“遞歸自我改進(jìn)”(RSI)是每個(gè)人都在關(guān)注的話題。在當(dāng)前的AI產(chǎn)業(yè)中,這些概念確實(shí)包含著真實(shí)的成分:兩三家實(shí)驗(yàn)室正整合成為擁有最強(qiáng)模型(以及構(gòu)建下一個(gè)模型所需資源)的寡頭;當(dāng)今的AI工具正在突發(fā)性地改變工程和研究崗位。

在許多方面,AI研究正變得容易得多。雖然進(jìn)一步擴(kuò)大語言模型訓(xùn)練規(guī)模所需的技能挑戰(zhàn)依然巨大,但能夠處理這些問題的“超人級(jí)”編程助手的出現(xiàn),打破了許多關(guān)于“構(gòu)建這些東西需要什么”的舊主張。這一切正為我們在AI前沿領(lǐng)域迎來一年(或更久)的飛速進(jìn)步奠定基礎(chǔ)。

我們也正處于語言模型已經(jīng)極其出色的時(shí)代。事實(shí)上,它們已經(jīng)足以勝任大量極具價(jià)值的知識(shí)工作。很難想象語言模型還能再跨出一大步——目前還不清楚除了代碼和基于命令行(CLI)的計(jì)算機(jī)操作之外,它們今年還能掌握哪些任務(wù)。當(dāng)然,會(huì)有一些新突破!這些能力將開啟新的工作模式,并給經(jīng)濟(jì)帶來更多漣漪。

這些劇烈的變化幾乎讓人覺得,語言模型能靠自己不斷加速進(jìn)步是一個(gè)理所當(dāng)然的結(jié)論。這種說法的通俗表達(dá)是“遞歸自我改進(jìn)循環(huán)”(RSI Loop)。關(guān)于這個(gè)話題的早期探討可以追溯到2000年代,比如2008年的一篇博文:

“當(dāng)你把‘重新設(shè)計(jì)你自己的認(rèn)知算法’這個(gè)對象級(jí)問題交給AI時(shí),遞歸就發(fā)生了。”

稍早一點(diǎn),在 2007 年,尤德科夫斯基(Yudkowsky)也在《通用智能的組織層級(jí)》中定義了相關(guān)的“種子AI”(Seed AI)概念:

“種子AI是專為自我理解、自我修改和遞歸自我改進(jìn)而設(shè)計(jì)的AI。……種子 AI 的后期后果(如真正的遞歸自我改進(jìn))只有在AI實(shí)現(xiàn)了顯著的整體理解和通用智能之后才會(huì)顯現(xiàn)。”

考慮到當(dāng)今模型的通用性和實(shí)用性,認(rèn)為我們正處于這個(gè)階段的起點(diǎn)是合理的。

通常,遞歸自我改進(jìn)(RSI)可以總結(jié)為:當(dāng)AI能改進(jìn)自身時(shí),改進(jìn)后的版本能更高效地進(jìn)行下一次改進(jìn),從而創(chuàng)建一個(gè)封閉的放大循環(huán),導(dǎo)致“智能爆炸”,即所謂的奇點(diǎn)。這其中包含幾個(gè)假設(shè)。RSI要發(fā)生,必須滿足:

  1. 循環(huán)是封閉的: 模型能不斷改進(jìn)自身并孕育出下一代模型。
  2. 循環(huán)是自我放大的: 下一代模型能比當(dāng)前模型產(chǎn)生更大的進(jìn)步。
  3. 循環(huán)持續(xù)運(yùn)行且不損失效率: 不存在增加的摩擦力使指數(shù)級(jí)增長提前變成“S型曲線”(Sigmoid)。

雖然我同意未來幾年持續(xù)的AI進(jìn)步將帶來重大的、社會(huì)不穩(wěn)定的變化,但我預(yù)計(jì),當(dāng)我們回過頭來看時(shí),進(jìn)步的趨勢線將更接近線性而非指數(shù)級(jí)。我認(rèn)為,發(fā)生的將不是遞歸自我改進(jìn),而是“有損自我改進(jìn)”(Lossy Self-Improvement, LSI)——模型成為了開發(fā)循環(huán)的核心,但各種摩擦力打破了RSI的所有核心假設(shè)。你投入的算力和智能體越多,出現(xiàn)的損耗和重復(fù)就越多。

我依然相信,先進(jìn)系統(tǒng)的“復(fù)雜性制動(dòng)器”(Complexity Brake)將是一個(gè)強(qiáng)大的抗衡力量,抵消模型在各項(xiàng)細(xì)分任務(wù)上變強(qiáng)的事實(shí)。我在2025年4月曾引用過這個(gè)觀點(diǎn):

微軟聯(lián)合創(chuàng)始人保羅·艾倫提出了“復(fù)雜性制動(dòng)器”理論:科學(xué)越接近理解智能,取得額外進(jìn)展就越困難。對專利數(shù)量的研究顯示,人類的創(chuàng)造力并沒有表現(xiàn)出加速回報(bào),事實(shí)上,如約瑟夫·泰恩特在《復(fù)雜社會(huì)的崩潰》中所述,它呈現(xiàn)出收益遞減規(guī)律。復(fù)雜性的增長最終會(huì)自我限制,并導(dǎo)致廣泛的“通用系統(tǒng)崩潰”。

在現(xiàn)有的模型訓(xùn)練方式、模型所需的深層直覺以及構(gòu)建模型的組織中,有大量例子顯示損耗來自何處。構(gòu)建領(lǐng)先的語言模型極其復(fù)雜,而且正變得越來越復(fù)雜。我認(rèn)為核心摩擦力有以下三點(diǎn):

1. 可自動(dòng)化的研究過于狹隘

首先,很明顯,今年的語言模型已經(jīng)可以作為工具,在優(yōu)化局部任務(wù)(如降低模型的測試損失值)方面大顯身手。安德烈·卡帕斯(Andrey Karpathy)最近推出的AutoResearch讓這種做法流行起來。這允許AI智能體直接在GPU上操作,目標(biāo)是降低測試集上的損失。

這種方法在狹窄領(lǐng)域(如單一的測試損失或整體獎(jiǎng)勵(lì))有效。問題在于,“賬面上更精確的模型”與“用戶覺得更有生產(chǎn)力的模型”之間長期存在鴻溝。 縮放法則(Scaling Laws)顯示損失會(huì)持續(xù)下降,但我們不知道這是否會(huì)在經(jīng)濟(jì)上產(chǎn)生更大價(jià)值。

在后期訓(xùn)練(Post-training)中,強(qiáng)化學(xué)習(xí)算法至少與特定性能增益聯(lián)系得更緊密。但我依然擔(dān)心其泛化能力,以及它是否能真正轉(zhuǎn)化為“擅長構(gòu)建自身和設(shè)計(jì)實(shí)驗(yàn)”的模型。我們已經(jīng)看到許多 AI 能力在人類品味的某些水平上趨于飽和,比如寫作質(zhì)量。AI研究雖然不同(天花板更高),但模型會(huì)因搜索空間和優(yōu)化目標(biāo)過于寬廣而陷入飽和。最好的研究員所做的是——讓許多可擴(kuò)展的想法協(xié)同工作,而不僅僅是優(yōu)化單一指標(biāo)。

2. 并行AI智能體的收益遞減

AI快速進(jìn)步面臨的最大問題是:即使我們在數(shù)據(jù)中心擁有 10,000 名遠(yuǎn)程“AI員工”,也幾乎不可能將他們?nèi)考性谝粋€(gè)問題上。本質(zhì)上,當(dāng)模型仍然非常相似時(shí),它們是從相同的解空間和能力分布中進(jìn)行采樣,同時(shí)受到人類監(jiān)督的瓶頸限制。增加更多智能體,在邊際性能提升上會(huì)遇到嚴(yán)格的飽和點(diǎn)——少數(shù)最頂尖研究員的直覺(以及運(yùn)行實(shí)驗(yàn)的時(shí)間)將是最終的瓶頸。



這里可以用阿姆達(dá)爾定律(Amdahl’s Law)來類比:一項(xiàng)任務(wù)能產(chǎn)生的加速,取決于有多少部分可以并行化。想象一個(gè)研究員從親手寫代碼,到使用AI自動(dòng)補(bǔ)全,再到使用自主編碼智能體。這些都是巨大的飛躍。但現(xiàn)在,如果讓一個(gè)研究員每天嘗試組織30-40個(gè)智能體工作呢?有些人能從中榨取價(jià)值,但不多。你能想象有人每天能為AI智能體想出300-400個(gè)任務(wù)嗎?沒多少人能做到。這個(gè)問題很快也會(huì)撞上AI模型的瓶頸。

3. 資源瓶頸與政治博弈

從根本上說,所有AI公司都在走鋼絲:獲取巨額資本、將算力轉(zhuǎn)化為收入、同時(shí)在研發(fā)上投入天文數(shù)字。由于資源規(guī)模如此巨大,資源分配和押注目標(biāo)上總會(huì)存在政治瓶頸。即便模型持續(xù)改進(jìn),這種摩擦力也永遠(yuǎn)不會(huì)消除。AI模型從根本上是在由人類掌控資源瓶頸的組織中運(yùn)行的。百億美元規(guī)模的研發(fā)算力不太可能完全孤立出來,交給AI模型進(jìn)行端到端的自由實(shí)驗(yàn)。

結(jié)論

我們的工作確實(shí)正變得節(jié)奏更快、效率更高。問題在于,所有這些維度都有明確的人類、政治或技術(shù)復(fù)雜性瓶頸。

每一條S型曲線的底部看起來都像指數(shù)級(jí)增長。2026年會(huì)感覺像是一大步,但并沒有根本性的變化讓我相信進(jìn)步會(huì)從此“一飛沖天”。這可能會(huì)跨越所謂的AGI門檻(即能夠替代大多數(shù)遠(yuǎn)程辦公者),但這更多是改變了工作的定義。

我們正處于“有損自我改進(jìn)”(LSI)時(shí)代。AI模型正在執(zhí)行自我改進(jìn),但它們并沒有改變方法論。我們正在擴(kuò)大研發(fā)實(shí)踐和工具的算力投入,但收益在遞減。智能體將成為我們共事的自主實(shí)體,它們感覺像是天才與5歲小孩的混合體。這種“有損”的進(jìn)步足以讓行業(yè)超速運(yùn)轉(zhuǎn),但不足以支撐一場瞬間爆發(fā)的智能爆炸。

本文編譯自substack,原文作者Nathan Lambert

https://substack.com/@natolambert/p-191707266

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
任重為孫驍驍慶生,倆人同吃一碗面,重慶住獨(dú)棟大別墅,院子好大

任重為孫驍驍慶生,倆人同吃一碗面,重慶住獨(dú)棟大別墅,院子好大

柒佰娛
2026-04-19 15:28:22
1979年計(jì)劃生育,一家只準(zhǔn)生一個(gè),陳云:搞不好要被罵斷子絕孫

1979年計(jì)劃生育,一家只準(zhǔn)生一個(gè),陳云:搞不好要被罵斷子絕孫

網(wǎng)絡(luò)易不易
2026-04-16 10:17:35
全球沒對手?美媒:中國“運(yùn)-15”雄心勃勃,將全面超越C-130J!

全球沒對手?美媒:中國“運(yùn)-15”雄心勃勃,將全面超越C-130J!

趣文說娛
2026-04-19 11:23:35
35歲張水華終于累倒!2次7天2賽+出發(fā)一會(huì)就退賽:領(lǐng)走10萬出場費(fèi)

35歲張水華終于累倒!2次7天2賽+出發(fā)一會(huì)就退賽:領(lǐng)走10萬出場費(fèi)

風(fēng)過鄉(xiāng)
2026-04-19 09:46:14
她是上海著名主持,堅(jiān)守一線工作30年,如今既是大學(xué)教授也是網(wǎng)紅

她是上海著名主持,堅(jiān)守一線工作30年,如今既是大學(xué)教授也是網(wǎng)紅

以茶帶書
2026-04-19 16:46:39
與孔令輝分手12年,被黑人托在肩上的馬蘇,終是為自己的風(fēng)流買單

與孔令輝分手12年,被黑人托在肩上的馬蘇,終是為自己的風(fēng)流買單

情感大頭說說
2026-04-18 21:06:00
大學(xué)生扶老人被訛85萬賣房還債,畢業(yè)典禮上老人突然現(xiàn)身,破防了

大學(xué)生扶老人被訛85萬賣房還債,畢業(yè)典禮上老人突然現(xiàn)身,破防了

優(yōu)墨出品
2026-04-19 09:41:09
研究表明:性生活越頻繁,射精和勃起問題越少!

研究表明:性生活越頻繁,射精和勃起問題越少!

黯泉
2026-04-05 20:40:12
美國若敢玩火,中方就敢動(dòng)手!外交部這次的一個(gè)表態(tài),極不尋常

美國若敢玩火,中方就敢動(dòng)手!外交部這次的一個(gè)表態(tài),極不尋常

時(shí)光在作祟
2026-04-19 16:46:57
AI算力爆發(fā)!算力租賃10大龍頭,業(yè)績暴漲、訂單鎖死至2028年

AI算力爆發(fā)!算力租賃10大龍頭,業(yè)績暴漲、訂單鎖死至2028年

我不叫阿哏
2026-04-19 11:54:29
菲佐計(jì)劃飛往莫斯科參加5月9日活動(dòng),卻被立陶宛和拉脫維亞阻止

菲佐計(jì)劃飛往莫斯科參加5月9日活動(dòng),卻被立陶宛和拉脫維亞阻止

山河路口
2026-04-19 18:47:50
王偉中對俄羅斯后貝加爾邊疆區(qū)交通事故作出批示

王偉中對俄羅斯后貝加爾邊疆區(qū)交通事故作出批示

新京報(bào)
2026-04-19 12:15:11
牡丹江男子拽住跳樓女友整整五分鐘,力竭松手女方墜亡,法院判了

牡丹江男子拽住跳樓女友整整五分鐘,力竭松手女方墜亡,法院判了

奇思妙想草葉君
2026-04-18 12:15:59
10億違建豪宅一夜推平,背后“大人物”被扒,官媒:一點(diǎn)都不冤!

10億違建豪宅一夜推平,背后“大人物”被扒,官媒:一點(diǎn)都不冤!

網(wǎng)絡(luò)易不易
2026-04-19 06:05:07
許家印不是在宴請何小鵬,他是在演示什么叫權(quán)力

許家印不是在宴請何小鵬,他是在演示什么叫權(quán)力

超先聲
2026-04-18 09:48:51
任澤平退款730萬:價(jià)值4500萬的恒大花瓶

任澤平退款730萬:價(jià)值4500萬的恒大花瓶

超先聲
2026-04-17 16:34:01
太炸裂!荷蘭阿森賽道排名墊底,張雪機(jī)車最后一分鐘超車,太牛逼

太炸裂!荷蘭阿森賽道排名墊底,張雪機(jī)車最后一分鐘超車,太牛逼

林子說事
2026-04-19 07:44:53
全國首批!江蘇僅2席,全都落戶南京,這才是城市硬核實(shí)力

全國首批!江蘇僅2席,全都落戶南京,這才是城市硬核實(shí)力

朗威談星座
2026-04-19 07:26:01
太難了!青島一公司全員降薪,高至20%,稱無力承擔(dān)新增繳費(fèi)成本

太難了!青島一公司全員降薪,高至20%,稱無力承擔(dān)新增繳費(fèi)成本

火山詩話
2026-04-18 07:01:26
別再被“純野生”忽悠了!這5種海魚幾乎全是養(yǎng)殖的,最后一種盡量少吃

別再被“純野生”忽悠了!這5種海魚幾乎全是養(yǎng)殖的,最后一種盡量少吃

椰青美食分享
2026-04-18 18:21:09
2026-04-19 20:23:00
Trend求索
Trend求索
大趨勢深刻求索
78文章數(shù) 16關(guān)注度
往期回顧 全部

科技要聞

50分26秒破人類紀(jì)錄!300臺(tái)機(jī)器人狂飆半馬

頭條要聞

特朗普1個(gè)月罵了4次"紙老虎" 北約秘書長:他不會(huì)退群

頭條要聞

特朗普1個(gè)月罵了4次"紙老虎" 北約秘書長:他不會(huì)退群

體育要聞

湖人1比0火箭:老詹比烏度卡像教練

娛樂要聞

張?zhí)鞇墼u(píng)論區(qū)淪陷!被曝卷入小三風(fēng)波

財(cái)經(jīng)要聞

華誼兄弟,8年虧光85億

汽車要聞

29分鐘大定破萬 極氪8X為什么這么多人買?

態(tài)度原創(chuàng)

藝術(shù)
健康
游戲
教育
數(shù)碼

藝術(shù)要聞

俄羅斯畫家季莫申科 小幅風(fēng)景油畫寫生(二)

干細(xì)胞抗衰4大誤區(qū),90%的人都中招

又有國產(chǎn)車?《GT7》山內(nèi)一典官宣三輛新車!

教育要聞

家長要檢查孩子的足弓再讓他去運(yùn)動(dòng)

數(shù)碼要聞

馳為海外推出AuBox X迷你主機(jī),搭載酷睿Ultra 7 256V

無障礙瀏覽 進(jìn)入關(guān)懷版