无主之地2配置高吗|看真人裸体BBBBB|秋草莓丝瓜黄瓜榴莲色多多|真人強奷112分钟|精品一卡2卡3卡四卡新区|日本成人深夜苍井空|八十年代动画片

網易首頁 > 網易號 > 正文 申請入駐

有損自我改進(Lossy Self-Improvement)

0
分享至

為什么自我改進是現實存在的,但它不會導致 AI 的“瞬間起飛”。

作者:Nathan Lambert 2026年3月23日

如今,在AI圈子里,“快速起飛”(Fast Takeoff)、“技術奇點”以及“遞歸自我改進”(RSI)是每個人都在關注的話題。在當前的AI產業中,這些概念確實包含著真實的成分:兩三家實驗室正整合成為擁有最強模型(以及構建下一個模型所需資源)的寡頭;當今的AI工具正在突發性地改變工程和研究崗位。

在許多方面,AI研究正變得容易得多。雖然進一步擴大語言模型訓練規模所需的技能挑戰依然巨大,但能夠處理這些問題的“超人級”編程助手的出現,打破了許多關于“構建這些東西需要什么”的舊主張。這一切正為我們在AI前沿領域迎來一年(或更久)的飛速進步奠定基礎。

我們也正處于語言模型已經極其出色的時代。事實上,它們已經足以勝任大量極具價值的知識工作。很難想象語言模型還能再跨出一大步——目前還不清楚除了代碼和基于命令行(CLI)的計算機操作之外,它們今年還能掌握哪些任務。當然,會有一些新突破!這些能力將開啟新的工作模式,并給經濟帶來更多漣漪。

這些劇烈的變化幾乎讓人覺得,語言模型能靠自己不斷加速進步是一個理所當然的結論。這種說法的通俗表達是“遞歸自我改進循環”(RSI Loop)。關于這個話題的早期探討可以追溯到2000年代,比如2008年的一篇博文:

“當你把‘重新設計你自己的認知算法’這個對象級問題交給AI時,遞歸就發生了。”

稍早一點,在 2007 年,尤德科夫斯基(Yudkowsky)也在《通用智能的組織層級》中定義了相關的“種子AI”(Seed AI)概念:

“種子AI是專為自我理解、自我修改和遞歸自我改進而設計的AI。……種子 AI 的后期后果(如真正的遞歸自我改進)只有在AI實現了顯著的整體理解和通用智能之后才會顯現。”

考慮到當今模型的通用性和實用性,認為我們正處于這個階段的起點是合理的。

通常,遞歸自我改進(RSI)可以總結為:當AI能改進自身時,改進后的版本能更高效地進行下一次改進,從而創建一個封閉的放大循環,導致“智能爆炸”,即所謂的奇點。這其中包含幾個假設。RSI要發生,必須滿足:

  1. 循環是封閉的: 模型能不斷改進自身并孕育出下一代模型。
  2. 循環是自我放大的: 下一代模型能比當前模型產生更大的進步。
  3. 循環持續運行且不損失效率: 不存在增加的摩擦力使指數級增長提前變成“S型曲線”(Sigmoid)。

雖然我同意未來幾年持續的AI進步將帶來重大的、社會不穩定的變化,但我預計,當我們回過頭來看時,進步的趨勢線將更接近線性而非指數級。我認為,發生的將不是遞歸自我改進,而是“有損自我改進”(Lossy Self-Improvement, LSI)——模型成為了開發循環的核心,但各種摩擦力打破了RSI的所有核心假設。你投入的算力和智能體越多,出現的損耗和重復就越多。

我依然相信,先進系統的“復雜性制動器”(Complexity Brake)將是一個強大的抗衡力量,抵消模型在各項細分任務上變強的事實。我在2025年4月曾引用過這個觀點:

微軟聯合創始人保羅·艾倫提出了“復雜性制動器”理論:科學越接近理解智能,取得額外進展就越困難。對專利數量的研究顯示,人類的創造力并沒有表現出加速回報,事實上,如約瑟夫·泰恩特在《復雜社會的崩潰》中所述,它呈現出收益遞減規律。復雜性的增長最終會自我限制,并導致廣泛的“通用系統崩潰”。

在現有的模型訓練方式、模型所需的深層直覺以及構建模型的組織中,有大量例子顯示損耗來自何處。構建領先的語言模型極其復雜,而且正變得越來越復雜。我認為核心摩擦力有以下三點:

1. 可自動化的研究過于狹隘

首先,很明顯,今年的語言模型已經可以作為工具,在優化局部任務(如降低模型的測試損失值)方面大顯身手。安德烈·卡帕斯(Andrey Karpathy)最近推出的AutoResearch讓這種做法流行起來。這允許AI智能體直接在GPU上操作,目標是降低測試集上的損失。

這種方法在狹窄領域(如單一的測試損失或整體獎勵)有效。問題在于,“賬面上更精確的模型”與“用戶覺得更有生產力的模型”之間長期存在鴻溝。 縮放法則(Scaling Laws)顯示損失會持續下降,但我們不知道這是否會在經濟上產生更大價值。

在后期訓練(Post-training)中,強化學習算法至少與特定性能增益聯系得更緊密。但我依然擔心其泛化能力,以及它是否能真正轉化為“擅長構建自身和設計實驗”的模型。我們已經看到許多 AI 能力在人類品味的某些水平上趨于飽和,比如寫作質量。AI研究雖然不同(天花板更高),但模型會因搜索空間和優化目標過于寬廣而陷入飽和。最好的研究員所做的是——讓許多可擴展的想法協同工作,而不僅僅是優化單一指標。

2. 并行AI智能體的收益遞減

AI快速進步面臨的最大問題是:即使我們在數據中心擁有 10,000 名遠程“AI員工”,也幾乎不可能將他們全部集中在一個問題上。本質上,當模型仍然非常相似時,它們是從相同的解空間和能力分布中進行采樣,同時受到人類監督的瓶頸限制。增加更多智能體,在邊際性能提升上會遇到嚴格的飽和點——少數最頂尖研究員的直覺(以及運行實驗的時間)將是最終的瓶頸。



這里可以用阿姆達爾定律(Amdahl’s Law)來類比:一項任務能產生的加速,取決于有多少部分可以并行化。想象一個研究員從親手寫代碼,到使用AI自動補全,再到使用自主編碼智能體。這些都是巨大的飛躍。但現在,如果讓一個研究員每天嘗試組織30-40個智能體工作呢?有些人能從中榨取價值,但不多。你能想象有人每天能為AI智能體想出300-400個任務嗎?沒多少人能做到。這個問題很快也會撞上AI模型的瓶頸。

3. 資源瓶頸與政治博弈

從根本上說,所有AI公司都在走鋼絲:獲取巨額資本、將算力轉化為收入、同時在研發上投入天文數字。由于資源規模如此巨大,資源分配和押注目標上總會存在政治瓶頸。即便模型持續改進,這種摩擦力也永遠不會消除。AI模型從根本上是在由人類掌控資源瓶頸的組織中運行的。百億美元規模的研發算力不太可能完全孤立出來,交給AI模型進行端到端的自由實驗。

結論

我們的工作確實正變得節奏更快、效率更高。問題在于,所有這些維度都有明確的人類、政治或技術復雜性瓶頸。

每一條S型曲線的底部看起來都像指數級增長。2026年會感覺像是一大步,但并沒有根本性的變化讓我相信進步會從此“一飛沖天”。這可能會跨越所謂的AGI門檻(即能夠替代大多數遠程辦公者),但這更多是改變了工作的定義。

我們正處于“有損自我改進”(LSI)時代。AI模型正在執行自我改進,但它們并沒有改變方法論。我們正在擴大研發實踐和工具的算力投入,但收益在遞減。智能體將成為我們共事的自主實體,它們感覺像是天才與5歲小孩的混合體。這種“有損”的進步足以讓行業超速運轉,但不足以支撐一場瞬間爆發的智能爆炸。

本文編譯自substack,原文作者Nathan Lambert

https://substack.com/@natolambert/p-191707266

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
記者:厄瓜多爾球員遭墨西哥販毒集團威脅,5名球員被聯系

記者:厄瓜多爾球員遭墨西哥販毒集團威脅,5名球員被聯系

懂球帝
2026-07-03 19:03:23
深度科普:引力本質是時空彎曲,為何不用時空彎曲徹底取代引力?

深度科普:引力本質是時空彎曲,為何不用時空彎曲徹底取代引力?

宇宙時空
2026-07-02 19:30:04
回國僅2日!韓媒:文體部調查將至,洪明甫走超級VIP通道逃往美國

回國僅2日!韓媒:文體部調查將至,洪明甫走超級VIP通道逃往美國

新殺豬的秀才
2026-07-03 18:48:35
特斯拉發布新款 Model YL,居然還送 FSD + 免費超充!

特斯拉發布新款 Model YL,居然還送 FSD + 免費超充!

XCiOS俱樂部
2026-07-03 19:42:20
離婚8年后王小瑋官宣喜訊,那個主動放手一切的男人,如今怎樣了

離婚8年后王小瑋官宣喜訊,那個主動放手一切的男人,如今怎樣了

胡一舸南游y
2026-07-03 14:22:17
趙薇前夫被曝曾2天賭輸1.87億,再借9360萬繼續賭到輸光為止

趙薇前夫被曝曾2天賭輸1.87億,再借9360萬繼續賭到輸光為止

開開森森
2026-06-30 22:33:55
董明珠再現驚人言論,沖上熱搜第一!

董明珠再現驚人言論,沖上熱搜第一!

大佬灼見
2026-07-03 14:13:41
突發!河北唐山一大噸位貨車與火車相撞致列車脫軌!

突發!河北唐山一大噸位貨車與火車相撞致列車脫軌!

聽心堂
2026-07-03 16:41:19
見到王毅外長后,丹麥外長完全忘了自己的強硬言論,臉上笑成了花

見到王毅外長后,丹麥外長完全忘了自己的強硬言論,臉上笑成了花

娛樂圈的筆娛君
2026-07-03 19:15:32
高市當著媒體喊莫迪哥哥,莫迪轉頭一個動作,讓日本心涼了半截

高市當著媒體喊莫迪哥哥,莫迪轉頭一個動作,讓日本心涼了半截

菁菁子衿
2026-07-03 15:39:04
西安賽格回應“商戶負責人墜亡”:5月25日其有輕生舉動被及時救回,違約金1154.6萬元有書面確認,悲劇發生前一天雙方仍在洽談

西安賽格回應“商戶負責人墜亡”:5月25日其有輕生舉動被及時救回,違約金1154.6萬元有書面確認,悲劇發生前一天雙方仍在洽談

每日經濟新聞
2026-07-02 21:21:08
190 臺大巴全報廢,虧67億后,日本抱怨中國制造,實則被自己坑了

190 臺大巴全報廢,虧67億后,日本抱怨中國制造,實則被自己坑了

凡知
2026-07-03 12:01:03
臺風“美莎克”登陸!中央氣象臺發布暴雨、強對流、臺風預警:廣西廣東海南島等地有大暴雨;遼寧北京江蘇等地有10級以上雷暴大風

臺風“美莎克”登陸!中央氣象臺發布暴雨、強對流、臺風預警:廣西廣東海南島等地有大暴雨;遼寧北京江蘇等地有10級以上雷暴大風

極目新聞
2026-07-03 19:00:33
2026年養老金要大變!看懂新規,不吃虧!

2026年養老金要大變!看懂新規,不吃虧!

細說職場
2026-07-03 19:05:51
西安賽格事件后勁太大!本以為是意外,嚴鵬生前4點安排讓人破防

西安賽格事件后勁太大!本以為是意外,嚴鵬生前4點安排讓人破防

火山詩話
2026-07-03 07:14:52
40國出席伊朗國葬,中方貴客到場,莫迪不敢去,美以還敢暗殺嗎?

40國出席伊朗國葬,中方貴客到場,莫迪不敢去,美以還敢暗殺嗎?

荷蘭豆愛健康
2026-07-03 12:48:48
王楚欽輸球原因曝光!賽后林德說出爆冷真相!和王曼昱如出一轍!

王楚欽輸球原因曝光!賽后林德說出爆冷真相!和王曼昱如出一轍!

好乒乓
2026-07-03 16:19:10
7月1日準時生效,中日同步出招:日本手里沒牌了,高市開始自救!

7月1日準時生效,中日同步出招:日本手里沒牌了,高市開始自救!

一口娛樂
2026-07-03 12:17:00
王金平深夜發聲亮出三大立場,臺海和平才是民心所向

王金平深夜發聲亮出三大立場,臺海和平才是民心所向

果媽聊娛樂
2026-07-03 17:03:38
金世佳被偶遇腹部明顯隆起,“金世佳肚子”登上熱搜

金世佳被偶遇腹部明顯隆起,“金世佳肚子”登上熱搜

韓小娛
2026-07-03 16:39:48
2026-07-03 21:31:00
Trend求索
Trend求索
大趨勢深刻求索
97文章數 16關注度
往期回顧 全部

科技要聞

萬億富豪馬斯克 舍不得特斯拉員工敞開用AI

頭條要聞

60歲老人猥褻8歲女童僅獲刑一年三個月 法院決定再審

頭條要聞

60歲老人猥褻8歲女童僅獲刑一年三個月 法院決定再審

體育要聞

C羅穿已故隊友若塔球衣謝場 眼中含淚

娛樂要聞

海來阿木孕期出軌指控掀起全網熱議

財經要聞

"千億"眾邦銀行被接管:系嚴重信用風險

汽車要聞

方程豹鈦9內飾曝光 用上了長聯屏設計/下半年上市

態度原創

教育
游戲
時尚
本地
軍事航空

教育要聞

用話術讓孩子進步只是第一步

肯德基繼續開團索尼!KFC游戲主機發售時間曝光

A-Lin已經這樣了,徐佳瑩你怎么睡得著!

本地新聞

國內足球之旅?這座小城給你高分答案

軍事要聞

俄大使館遇襲 2年多遭襲擊次數已超25次

無障礙瀏覽 進入關懷版