四川
AI圈最近出了件有意思的事。一群科學家發了一篇論文，結論用一句話就能概括：防止AI變傻子的方法，只需要一個真實數據點。準確率百分百，哪怕對面是一百萬個AI造的假數據，只要有一個真的混在里面，這模型就崩不了。
這個研究發表在《物理評論快報》上，5月14號剛上線。團隊來自倫敦國王學院、挪威科技大學和國際理論物理中心。
他們研究的這個東西叫“模型崩潰”。什么意思呢？就是你訓練一個AI，喂它數據，它變聰明了，然后它自己開始生產數據，這些數據又被拿去訓練下一批AI，下一批再喂下一批，這就叫“數據近親繁殖”。搞到最后，AI產出的東西越來越離譜，滿嘴跑火車，徹底變成人工智障。這個現象2024年才被正式定義。
那為什么現在急了呢？因為人類高質量數據快用完了。有預測說，互聯網上的優質文本數據今年就可能見底。以后訓練大模型，想不用AI自己產的數據都不行。你想想ChatGPT，你想想自動駕駛，這些玩意兒要是背后數據是近親繁殖出來的，那畫面太美不敢看。
好，這幫科學家就琢磨，這病有救沒救？他們選了一個叫“指數族”的統計模型來當小白鼠。這東西比大語言模型簡單得多，但能說明問題——大語言模型太復雜，跟黑箱一樣，你都不知道它為什么崩，崩了也解釋不清。用簡單模型的好處是：每一步都能算得明明白白，從統計上徹底搞清楚為什么崩、怎么治。
結果他們發現了一個非常離譜的規律。
拿一個模型，關起門來，只喂它自己生成的數據。幾輪下來，毫無意外，崩了。這叫做“閉環學習”——自己吃自己，越吃越瘦，最后餓死。
然后他們做了一個改動：在你所有AI生成的假數據里面，隨便摻一個真實世界的數據點，就一個。不管假數據是一萬條還是一百萬條，只要有這一個真的在，模型就不崩。
你沒聽錯。一個真數據，對抗無限量的假數據，贏了。
為什么會這樣？論文從數學上給出了解釋。用最大似然估計訓練模型的時候，如果全吃自己造的假數據，模型參數會產生一個無法阻止的漂移，最終鎖定在吸收態——就是徹底崩掉。但摻入哪怕一個真實數據，這個漂移就被打斷了。外面來的這一個數據，在數學結構上起到了“錨”的作用，把模型硬生生拽回正軌。
主持這項研究的亞塞爾·魯迪教授說得很直白：之前大家研究模型崩潰都盯著大語言模型，那些東西太復雜，出了錯你都不知道為什么——“不可解釋的幻覺”就是這么來的?，F在我們用一個簡單模型，從客觀的統計角度證明了，為什么加一個數據點就能防止模型胡言亂語。
這個原理可能不只適用于指數族模型。研究團隊在另一類叫“受限玻爾茲曼機”的模型上也觀察到了同樣的現象，說明這很可能是跨模型架構的普遍規律。他們的下一步計劃，就是把這些原則拿到神經網絡這種更復雜的系統上去驗證。
這個發現的價值在哪？其實不是什么復雜的技術突破，而是指向了一個非常樸素的道理：AI可以無限放大人類的認知，但絕對不能取代人類認知的源頭。
你用再多的算力，喂再多的合成數據，只要你把真實世界的信息徹底關在門外，模型就會在一代代的繁殖中退化、失真、最終變廢。但你只要永遠留一條縫，讓哪怕一點點真實世界的光透進來，整個系統就不會陷入自我循環的死局。
這個邏輯比AI大多了。任何一個封閉系統，任何一套只聽自己回聲的認知體系，任何一群人只互相確認偏見、不再接收外部信息——哪怕他們里面最聰明的人，最終也會陷入某種形式的“模型崩潰”。近親繁殖出弱智，這個生物學道理在信息世界同樣適用。你只要停止接收外部信號，無論起點多高，退化只是時間問題。
信源：物理評論快報Lost in Retraining: Closed-Loop Learning and Model Collapse in Exponential Families | Phys. Rev. Lett.
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
