• 緊急警告：AI反饋循環(huán)正在瓦解我們對現(xiàn)實(shí)的感知。再見了，互聯(lián)網(wǎng)！

作者：ToxSec2025年11月24日

緊急警告：AI反饋循環(huán)正在破壞我們對現(xiàn)實(shí)的感知。

簡而言之：上次我講了社交層面的噩夢：個(gè)性化回音室正在摧毀共識(shí)現(xiàn)實(shí)。這次來說說它不可逆轉(zhuǎn)的技術(shù)原因：用AI生成的內(nèi)容訓(xùn)練的AI就像是復(fù)制品的復(fù)制品。質(zhì)量不斷下降，直到真相變得面目全非。

• “復(fù)印效應(yīng)” 已經(jīng)出現(xiàn)

你早覺得互聯(lián)網(wǎng)不對勁了，這點(diǎn)我們之前說過?，F(xiàn)在說說它在結(jié)構(gòu)層面崩塌的原因。

AI是在人類紛繁復(fù)雜、精彩紛呈的互聯(lián)網(wǎng)環(huán)境中訓(xùn)練出來的。如今，這些AI正向網(wǎng)絡(luò)傾瀉數(shù)十億條合成文章、評論和帖子。更糟糕的是，下一代AI將基于這些被污染的數(shù)據(jù)進(jìn)行訓(xùn)練。

這是個(gè)惡性循環(huán)。

接下來發(fā)生的事情有一個(gè)專業(yè)術(shù)語：模型崩潰。

想象一下，這就好比復(fù)印一份復(fù)印件再復(fù)印一份。第一版清晰銳利，第二版也還不錯(cuò)。到了第十版呢？就變得模糊不清、扭曲變形，幾乎看不出原圖的模樣了。

這種情況現(xiàn)在正在我們的互聯(lián)網(wǎng)上發(fā)生。當(dāng)AI不再從真實(shí)人類經(jīng)驗(yàn)學(xué)習(xí)，而是從其他AI生成的內(nèi)容里學(xué)，真相就會(huì)被 “其他AI說法的平均值” 取代。獨(dú)特的視角消失了，細(xì)微差別也隨之消亡。最終剩下的只是一堆聽起來權(quán)威卻毫無意義的千篇一律的同質(zhì)化信息。

過度自信是最危險(xiǎn)的 “漏洞”

這才是最可怕的地方。

AI是“預(yù)測引擎”，而不是“真相引擎”。它的核心工作就是生成統(tǒng)計(jì)上最有可能出現(xiàn)的下一個(gè)詞，這使得它即使完全錯(cuò)誤，也能聽起來信心十足。

這就形成了一個(gè)虛假信息的洗白過程：

1.AI在一篇博客文章中自信地拋出一個(gè)虛假 “事實(shí)”。

2.其他AI爬蟲會(huì)收錄這篇文章，學(xué)到同樣的錯(cuò)誤。

3.人們看到某個(gè)“事實(shí)”在多個(gè)網(wǎng)站上重復(fù)出現(xiàn)，就想當(dāng)然地認(rèn)為它是經(jīng)過驗(yàn)證的。

4.更多AI基于這種“共識(shí)”進(jìn)行訓(xùn)練，并進(jìn)一步放大錯(cuò)誤。

通過純粹的重復(fù)，AI產(chǎn)生的幻覺最終變成了人們接受的現(xiàn)實(shí)。這其中并無惡意，只是機(jī)器在執(zhí)行其預(yù)設(shè)的任務(wù)，卻帶來了災(zāi)難性的副作用。

問題遠(yuǎn)不止事實(shí)偏差那么簡單。偏見被無限放大才是真正的噩夢。

AI從人類混亂且充滿偏見的互聯(lián)網(wǎng)中學(xué)習(xí)，然后以研究論文般的“學(xué)術(shù)權(quán)威感”，將我們最惡劣的刻板印象呈現(xiàn)給我們。算法沒有 “傷害” 概念，它只是識(shí)別訓(xùn)練數(shù)據(jù)中頻繁出現(xiàn)的模式。

結(jié)果就是，問責(zé)機(jī)制出現(xiàn)真空。

如果AI撒謊，導(dǎo)致你蒙受經(jīng)濟(jì)損失或名譽(yù)受損，誰該為此負(fù)責(zé)？是開發(fā)它的開發(fā)者？部署它的公司？還是發(fā)出指令的用戶？我們被越來越多“看似合理的謊言”包圍，卻找不到明確的責(zé)任人，也沒有清晰的追責(zé)路徑。

新的生存規(guī)則

當(dāng)機(jī)器大規(guī)模自信撒謊時(shí)，該怎么辦？

不要把AI當(dāng)作專家來對待，而應(yīng)該把它當(dāng)作一個(gè)過于自信的實(shí)習(xí)生。

它速度很快，口齒伶俐，但缺乏實(shí)際經(jīng)驗(yàn)。如果你不核實(shí)它的工作，它還會(huì)一本正經(jīng)地捏造信息來源。

以下是您的新工作流程：

• 讓它 “亮明底牌”

提問時(shí)務(wù)必加上以下內(nèi)容：“請?zhí)峁┠阏擖c(diǎn)的來源和鏈接。”

然后逐一核實(shí)。點(diǎn)擊鏈接看看，可能一半都是編造的或無關(guān)的。

• 質(zhì)疑它的答案

讓它反駁自己：“現(xiàn)在請給我三個(gè)理由，說明為什么這個(gè)答案是錯(cuò)誤的。”

這會(huì)暴露邏輯漏洞，迫使你進(jìn)行批判性思考，而不是接受第一個(gè)自信的回答。

• 提問要非常具體

不要問：“經(jīng)濟(jì)形勢如何？”

要問：“根據(jù)美國經(jīng)濟(jì)分析局的數(shù)據(jù)，2024年第三季度美國的季度GDP數(shù)據(jù)是多少？”

提問越具體，AI越難用模糊的套話糊弄你。

能解決“污染”問題嗎？

保持警惕是必要的，但這并不能解決結(jié)構(gòu)性崩潰的問題。

要大規(guī)模地遏制模式崩潰，我們需要系統(tǒng)性的解決方案：

• 數(shù)字水?。?/strong>給所有合成內(nèi)容打上“AI生成”的標(biāo)記，雖不完美（壞人會(huì)去除），但能增加大規(guī)模欺騙的難度，讓用戶有機(jī)會(huì)區(qū)分人機(jī)內(nèi)容。
• 認(rèn)證數(shù)據(jù)集：對于高風(fēng)險(xiǎn)領(lǐng)域而言，經(jīng)過認(rèn)證的數(shù)據(jù)集至關(guān)重要。我們需要的是經(jīng)過人工審核和驗(yàn)證的數(shù)據(jù)集，而不是在混亂的開放網(wǎng)絡(luò)上訓(xùn)練醫(yī)療或科學(xué)AI。如果我們打算讓AI做出關(guān)乎生死的重要決定，它需要學(xué)習(xí)的是經(jīng)過驗(yàn)證的真相，而不是從Reddit上抓取的統(tǒng)計(jì)平均值。
• 人機(jī)協(xié)作系統(tǒng)：對于關(guān)鍵性工作而言，人機(jī)協(xié)作系統(tǒng)必不可少。新聞報(bào)道、法律分析、醫(yī)療診斷：這些都需要判斷力、倫理道德和背景知識(shí)，而算法從根本上缺乏這些。AI應(yīng)該輔助專家，絕不能取代他們。

底線

模型崩潰不是遙遠(yuǎn)的未來，而是正在發(fā)生的事?；ヂ?lián)網(wǎng)正在用自身的數(shù)據(jù)進(jìn)行訓(xùn)練，而數(shù)據(jù)質(zhì)量卻在每一代都在下降。

我們正在眼睜睜地看著“真相的技術(shù)基礎(chǔ)架構(gòu)”實(shí)時(shí)崩潰。

常見問題解答

問題一：什么是AI模型崩潰？
答：模型崩潰是指AI使用AI生成的內(nèi)容進(jìn)行訓(xùn)練。就像復(fù)印件的復(fù)印件一樣，模型質(zhì)量會(huì)隨著每一代的迭代而下降。模型會(huì)遺忘現(xiàn)實(shí)世界的細(xì)節(jié)，并放大通用模式，從而產(chǎn)生準(zhǔn)確性和多樣性都降低的輸出結(jié)果。

問2：如何識(shí)別AI生成的內(nèi)容？
答：注意觀察語法是否過于完美、語氣是否平庸、結(jié)構(gòu)是否重復(fù)以及是否存在缺乏來源的模糊事實(shí)陳述。這類文章通常感覺“空洞”，技術(shù)上正確但缺乏人性化的視角。

問3：我應(yīng)該相信AI生成的內(nèi)容嗎？
答：不應(yīng)該，必須進(jìn)行核實(shí)。AI擅長頭腦風(fēng)暴和初稿撰寫，但它會(huì)憑空捏造事實(shí)，并對此深信不疑。切勿在未交叉核對多個(gè)可靠的人工來源之前，輕易相信任何關(guān)鍵信息。

問4：用AI做研究的最佳方式是什么？

答：將AI作為起點(diǎn)，用于頭腦風(fēng)暴生成關(guān)鍵詞、概括主題或?qū)ふ覞撛谛畔碓?。然后，利用可信的?shù)據(jù)庫、期刊和人工機(jī)構(gòu)進(jìn)行實(shí)際研究。務(wù)必核實(shí)所有信息。

本文編譯自substack，原文作者ToxSec

https://substack.com/@toxsec/p-175913709