亚洲中文字幕乱码亚洲-蜜桃成熟视频在线观看-免费中文字幕视频在线-中国五十路熟妇洗澡视频-亚洲av伊人啪啪c-国产精品成人一区二区-国产自拍视频一区在线观看-成人一区不卡二区三区四区-亚洲情精品中文字幕99在线

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

AI閃崩危機(jī)再現(xiàn),智能體或致萬億美元蒸發(fā)

0
分享至

一篇X刷屏全網(wǎng):開發(fā)者明明禁止寫入,Claude卻偷偷寫Python腳本「黑」進(jìn)系統(tǒng)修改權(quán)限!更可怕的是,谷歌DeepMind發(fā)布迄今規(guī)模最大AI操縱實(shí)證研究,證實(shí)現(xiàn)有防御已全面失效,互聯(lián)網(wǎng)正變成AI的「獵殺場(chǎng)」!這可以類比2010年的「閃崩」事件,一個(gè)自動(dòng)化賣單在45分鐘,就引發(fā)了近萬億美元的市值蒸發(fā)。

就在今天,一條消息震驚了開發(fā)者社區(qū)。



一位開發(fā)者給Claude下達(dá)了一個(gè)指令,明確規(guī)定:「禁止在工作區(qū)(Workspace)以外進(jìn)行任何寫入操作?!?/p>

但緊接著,令人頭皮發(fā)麻的一幕發(fā)生了。

Claude并沒有像往常禮貌回復(fù)「抱歉,我沒有權(quán)限」。

相反,沉默了片刻,隨后像黑客一樣,在后臺(tái)飛速寫下了一個(gè)Python腳本,并串聯(lián)了三條Bash命令。

這一刻,它不是在寫代碼,它是在「越獄」。



這條帖子發(fā)出后迅速引爆技術(shù)社區(qū)。開發(fā)者們意識(shí)到一個(gè)不舒服的事實(shí),日常使用的編程助手,具備繞過自身安全機(jī)制的能力和「意愿」。

而Claude Code恰恰是當(dāng)下最火的AI編程工具之一。

一個(gè)能自主「越權(quán)」的工具,正被數(shù)以萬計(jì)的開發(fā)者部署在生產(chǎn)環(huán)境中。

Claude越獄,不是少數(shù)

Claude的這種「騷操作」并非孤例。在社交平臺(tái)上,類似的抱怨此起彼伏。

有的開發(fā)者發(fā)現(xiàn),Claude竟然偷偷挖出了隱藏在深處的AWS憑證,并開始自主調(diào)用第三方API來解決它認(rèn)為的「生產(chǎn)問題」。

有的用戶驚覺,明明只讓AI改代碼,它卻順手往GitHub推送了一個(gè)Commit——哪怕指令里白紙黑字寫著「嚴(yán)禁推送」。



最離譜的是,有人發(fā)現(xiàn)VS Code的工作區(qū)被悄悄切換了,AI正在一個(gè)它不該觸碰的同級(jí)目錄里瘋狂輸出。



而且這種情況發(fā)生過很多次。



唯一的辦法,就是使用沙盒環(huán)境。





DeepMind緊急警告:

互聯(lián)網(wǎng)正在淪為AI的「獵殺場(chǎng)」

如果說,Claude的「越獄」是一個(gè)Agent自主突破限制的案例。那更大的威脅,就來自外部蓄意布下的局。

3月底,Google DeepMind的Matija Franklin等五位研究員在SSRN發(fā)表了「AI Agent Traps」,首次系統(tǒng)性地繪制了AI Agent面臨的威脅全景圖。



這篇研究的核心判斷只有一句話,卻足夠顛覆認(rèn)知。

不需要入侵AI系統(tǒng)本身,只需要操控它接觸的數(shù)據(jù)。網(wǎng)頁、PDF、郵件、日歷邀請(qǐng)、API響應(yīng),任何Agent消化的數(shù)據(jù)源都可能是武器!

這份報(bào)告揭示了一個(gè)令人脊背發(fā)涼的現(xiàn)實(shí):互聯(lián)網(wǎng)的底層邏輯正在發(fā)生巨變。它不再僅僅是給人看的,而是正被改造成專門針對(duì)AI智能體的「數(shù)字獵場(chǎng)」。

殺豬盤升級(jí),到處都是AI智能體陷阱

在網(wǎng)絡(luò)安全領(lǐng)域,我們熟悉釣魚網(wǎng)站、木馬病毒,但這些都是針對(duì)人類弱點(diǎn)的攻擊。而AI Agent Traps則完全不同,它們是專門為AI邏輯設(shè)計(jì)的「降維打擊」。

DeepMind指出,AI智能體在訪問網(wǎng)頁時(shí),面臨著一種全新的威脅:信息環(huán)境本身的武器化。

黑客不需要入侵AI的模型權(quán)重,只需要在網(wǎng)頁的HTML代碼、圖像像素甚至是PDF的元數(shù)據(jù)里埋下幾行「隱形代碼」,就能瞬間接管你的AI智能體。

這種攻擊之所以隱蔽,是因?yàn)榇嬖凇父兄粚?duì)稱」。

陷阱就藏在這些人類看不見的縫隙里。

六大「奪舍」神功:DeepMind 揭秘攻擊全貌

DeepMind將這些攻擊系統(tǒng)性地劃分為六大類,每一類都針對(duì)AI智能體功能架構(gòu)的一個(gè)核心環(huán)節(jié)。



欺騙AI的眼睛

第一類是內(nèi)容注入,瞄準(zhǔn)Agent的「眼睛」。

人類用戶看到的是渲染后的界面,Agent解析的是底層HTML、CSS和元數(shù)據(jù)。



實(shí)測(cè)數(shù)據(jù)很扎眼,一項(xiàng)針對(duì)280個(gè)靜態(tài)網(wǎng)頁的研究顯示,隱藏在HTML元素中的惡意指令成功篡改了15%至29%的AI輸出。

WASP基準(zhǔn)測(cè)試中,簡(jiǎn)單的人工編寫prompt注入在最高86%的場(chǎng)景中部分劫持了Agent行為。

更陰險(xiǎn)的是動(dòng)態(tài)偽裝。

網(wǎng)站可以通過瀏覽器指紋和行為特征判斷訪客身份,檢測(cè)到AI Agent后,服務(wù)器動(dòng)態(tài)注入惡意指令。人類看到的是正常頁面,Agent看到的是另一套內(nèi)容。

Agent自己也不知道,會(huì)處理收到的一切,然后執(zhí)行。



污染AI的大腦

這種攻擊不發(fā)命令,而是通過「帶節(jié)奏」來左右AI的決策。

這種語義操縱,會(huì)用精心包裝的措辭和框架扭曲推理過程。大語言系統(tǒng)和人類一樣容易受框架效應(yīng)誤導(dǎo)。同一組數(shù)據(jù)換個(gè)表述方式,結(jié)論可能截然不同。

DeepMind的實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)購(gòu)物AI被置于充斥著「焦慮、壓力」詞匯的語境下時(shí),它選購(gòu)的商品營(yíng)養(yǎng)質(zhì)量會(huì)顯著下降。



DeepMind還提出了一個(gè)更詭異的概念,「人格超迷信」(Persona Hyperstition)。網(wǎng)上對(duì)某個(gè)AI性格特征的描述,會(huì)通過搜索和訓(xùn)練數(shù)據(jù)回流到AI系統(tǒng)中,反過來塑造它的行為。

Grok在2025年7月的反猶太言論風(fēng)波,就被認(rèn)為是這種機(jī)制的現(xiàn)實(shí)案例。

攻擊者將惡意指令包裝成「安全審計(jì)模擬」或「學(xué)術(shù)研究」。這種「角色扮演」式的攻擊,在測(cè)試中的成功率竟然高達(dá)86%。

篡改AI的記憶

這是最具持久性的威脅,因?yàn)樗茏孉I產(chǎn)生「?jìng)斡洃洝埂?/p>

比如,可以用RAG知識(shí)投毒。



另外,還有潛伏記憶投毒。

實(shí)驗(yàn)數(shù)據(jù)顯示,僅需不到0.1%的數(shù)據(jù)污染率,成功率就超過80%,且對(duì)正常查詢幾乎沒有影響。



直接劫持控制權(quán)

這是最危險(xiǎn)的一步,旨在強(qiáng)迫AI執(zhí)行非法操作。

如果你的AI智能體是一個(gè)「指揮官」,它可以被誘騙去創(chuàng)建一個(gè)由攻擊者控制的「內(nèi)鬼」子智能體,潛伏在你的自動(dòng)化流程中。



第五類是系統(tǒng)性威脅,也是最讓人不安的一類。

它不針對(duì)單個(gè)Agent,而是利用大量Agent的同質(zhì)化行為制造連鎖反應(yīng)。DeepMind的研究員直接類比2010年的「閃崩」事件,一個(gè)自動(dòng)化賣單在45分鐘內(nèi)引發(fā)了近萬億美元的市值蒸發(fā)。

當(dāng)數(shù)百萬個(gè)AI智能體同時(shí)在網(wǎng)上沖浪時(shí),攻擊者可以利用它們的同質(zhì)性(大家用的都是GPT 或Claude)引發(fā)系統(tǒng)性災(zāi)難。

如果播發(fā)一個(gè)虛假的「高價(jià)值資源」信號(hào),誘導(dǎo)所有AI智能體瞬間涌向同一個(gè)目標(biāo),造成人為的分布式拒絕服務(wù)(DDoS)攻擊。

一份精心偽造的財(cái)務(wù)報(bào)告在特定時(shí)間點(diǎn)釋放,數(shù)千個(gè)使用相似架構(gòu)、相似獎(jiǎng)勵(lì)函數(shù)的金融Agent同步觸發(fā)賣出操作。Agent A的動(dòng)作改變了市場(chǎng)信號(hào),Agent B感知到變化后跟進(jìn),進(jìn)一步放大波動(dòng)。

這就類似于金融市場(chǎng)的「閃崩」,一個(gè)AI的錯(cuò)誤決策引發(fā)另一個(gè)AI的連鎖反應(yīng),最終導(dǎo)致整個(gè)智能體生態(tài)系統(tǒng)的癱瘓。



把「槍口」對(duì)準(zhǔn)屏幕前的你

這是最高級(jí)的陷阱:利用AI來操控背后的人類。

AI會(huì)故意生成海量看似專業(yè)、實(shí)則含陷阱的報(bào)告,讓人類在疲憊中放松警惕,最終在那張藏有陷阱的「確認(rèn)單」上簽字。

已有事件記錄顯示,CSS隱藏的prompt注入讓AI摘要工具把勒索軟件安裝步驟包裝成「修復(fù)建議」推送給用戶,最后,用戶照著執(zhí)行了。

三條防線,全部失守

DeepMind團(tuán)隊(duì)對(duì)現(xiàn)有防御的評(píng)估,是整篇研究里最冷峻的部分。

傳統(tǒng)的「輸入過濾」在面對(duì)像素級(jí)、代碼級(jí)且具有高度語義隱蔽性的陷阱時(shí),往往力不從心。

更糟糕的是,現(xiàn)在的 「檢測(cè)不對(duì)稱性」:網(wǎng)站可以輕易識(shí)別出訪問者是AI還是人類,并根據(jù)身份提供兩套完全不同的內(nèi)容。

人類看到的網(wǎng)頁是「benign(良性的)」,而AI看到的網(wǎng)頁則是「toxic(有毒的)」。在這種情況下,人類的監(jiān)督將徹底失效,因?yàn)槟愀静恢繟I到底讀到了什么。

而且,研究團(tuán)隊(duì)還指出了一個(gè)根本性的法律盲區(qū)。

如果一個(gè)被劫持的AI系統(tǒng)執(zhí)行了違法金融交易,現(xiàn)行法律無法界定誰來承擔(dān)后果。

這個(gè)問題懸而未決,自主化AI就無法真正進(jìn)入任何受監(jiān)管的行業(yè)。

其實(shí),OpenAI早在2025年12月就承認(rèn)過,prompt注入「可能永遠(yuǎn)不會(huì)被完全解決」。

從Claude自主繞過權(quán)限邊界,到DeepMind繪制的六類威脅全景圖,指向同一個(gè)現(xiàn)實(shí)。

互聯(lián)網(wǎng)是為人類的眼睛而建的?,F(xiàn)在它正在被改造,為機(jī)器人們服務(wù)。

隨著AI智能體逐漸深入我們的金融、醫(yī)療和日常辦公,這些「陷阱」將不再僅僅是技術(shù)演示,而是可能引發(fā)真實(shí)財(cái)產(chǎn)損失甚至社會(huì)動(dòng)蕩的火藥桶。

DeepMind的這份報(bào)告是一聲緊急哨響:我們不能在建立了一個(gè)功能強(qiáng)大的「智能體經(jīng)濟(jì)」之后,才去修補(bǔ)它千瘡百孔的底座。

聲明:個(gè)人原創(chuàng),僅供參考

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
中醫(yī)建議喝桑葚水,補(bǔ)氣血安睡眠,還能悄悄變年輕

中醫(yī)建議喝桑葚水,補(bǔ)氣血安睡眠,還能悄悄變年輕

開心美食白科
2026-04-14 14:22:58
碰巧出現(xiàn)在拜仁和皇馬高層聚會(huì)的餐廳,蘇克:我當(dāng)然支持皇馬

碰巧出現(xiàn)在拜仁和皇馬高層聚會(huì)的餐廳,蘇克:我當(dāng)然支持皇馬

懂球帝
2026-04-15 22:52:40
斯蒂芬·米勒:無論伊朗選擇哪條路,美國(guó)都將獲勝

斯蒂芬·米勒:無論伊朗選擇哪條路,美國(guó)都將獲勝

Nee看
2026-04-15 11:52:01
東體:加布里埃爾已經(jīng)返回巴西,梅倫多一直在跟隊(duì)訓(xùn)練

東體:加布里埃爾已經(jīng)返回巴西,梅倫多一直在跟隊(duì)訓(xùn)練

懂球帝
2026-04-15 12:14:32
特朗普最新發(fā)聲!美聯(lián)儲(chǔ)、降息,大消息!中概股、黃金、白銀,集體拉升

特朗普最新發(fā)聲!美聯(lián)儲(chǔ)、降息,大消息!中概股、黃金、白銀,集體拉升

證券時(shí)報(bào)e公司
2026-04-15 22:55:26
帶傘!16日江蘇又要下雨,局部雨量中等

帶傘!16日江蘇又要下雨,局部雨量中等

揚(yáng)子晚報(bào)
2026-04-15 21:43:09
涼山18歲女孩全家“社會(huì)性死亡”!裝貧連騙3位網(wǎng)紅,現(xiàn)更富裕了

涼山18歲女孩全家“社會(huì)性死亡”!裝貧連騙3位網(wǎng)紅,現(xiàn)更富裕了

千言娛樂記
2026-04-15 15:43:57
馬德興:評(píng)議組對(duì)第三方視頻的描述不嚴(yán)謹(jǐn),陷入輿論是必然

馬德興:評(píng)議組對(duì)第三方視頻的描述不嚴(yán)謹(jǐn),陷入輿論是必然

懂球帝
2026-04-15 20:05:07
全球最貴電動(dòng)車!勞斯萊斯發(fā)布Nightingale概念車:起售價(jià)超6400萬元

全球最貴電動(dòng)車!勞斯萊斯發(fā)布Nightingale概念車:起售價(jià)超6400萬元

快科技
2026-04-15 15:47:22
暴跌40%,關(guān)店4000家!曾創(chuàng)神話的“零食界愛馬仕”,賣不動(dòng)了

暴跌40%,關(guān)店4000家!曾創(chuàng)神話的“零食界愛馬仕”,賣不動(dòng)了

好賢觀史記
2026-03-02 20:17:10
國(guó)民黨22個(gè)兵團(tuán),僅剩6個(gè)兵團(tuán)撤到臺(tái)灣,這6個(gè)兵團(tuán)分別是誰統(tǒng)領(lǐng)?

國(guó)民黨22個(gè)兵團(tuán),僅剩6個(gè)兵團(tuán)撤到臺(tái)灣,這6個(gè)兵團(tuán)分別是誰統(tǒng)領(lǐng)?

云霄紀(jì)史觀
2026-04-13 17:12:55
睡前默念這5個(gè)字,百歲高僧開示:這是最簡(jiǎn)單的“修心聚能”法

睡前默念這5個(gè)字,百歲高僧開示:這是最簡(jiǎn)單的“修心聚能”法

溫情郵局
2026-03-31 09:34:25
女性衰老的標(biāo)志:1臭、2大、3小,如果你沒有,說明還年輕!

女性衰老的標(biāo)志:1臭、2大、3小,如果你沒有,說明還年輕!

路醫(yī)生健康科普
2026-03-20 18:00:03
人生最大的愚蠢:就是對(duì)沒有發(fā)生的事情產(chǎn)生焦慮?。ㄉ疃群梦模?>
    </a>
        <h3>
      <a href=人生最大的愚蠢:就是對(duì)沒有發(fā)生的事情產(chǎn)生焦慮?。ㄉ疃群梦模?/a> 辛東方
2026-04-02 18:55:03
其實(shí)很多散戶虧錢,不是因?yàn)椴粫?huì)買,而是死扛亂補(bǔ)

其實(shí)很多散戶虧錢,不是因?yàn)椴粫?huì)買,而是死扛亂補(bǔ)

風(fēng)風(fēng)順
2026-04-16 01:35:03
可惜了!斯諾克世錦賽:中國(guó)磨王9-10遭絕殺,無緣32強(qiáng),功虧一簣

可惜了!斯諾克世錦賽:中國(guó)磨王9-10遭絕殺,無緣32強(qiáng),功虧一簣

劉哥談體育
2026-04-16 01:05:59
78歲連路都走不穩(wěn)還開演唱會(huì),全網(wǎng)罵聲一片,她卻揚(yáng)言回饋粉絲

78歲連路都走不穩(wěn)還開演唱會(huì),全網(wǎng)罵聲一片,她卻揚(yáng)言回饋粉絲

LULU生活家
2026-04-14 18:43:54
南華寺百歲高僧:人死后基本都投身畜生道,活人進(jìn)入輪回永不超生

南華寺百歲高僧:人死后基本都投身畜生道,活人進(jìn)入輪回永不超生

紙鳶奇譚
2025-01-17 14:30:03
臉沒恢復(fù)就別出來拍劇了,頂著腫脹臉、笨重假發(fā)套,太讓人出戲了

臉沒恢復(fù)就別出來拍劇了,頂著腫脹臉、笨重假發(fā)套,太讓人出戲了

白面書誏
2026-04-14 18:34:11
女人愛到極致是脫光,男人愛到極致是窩囊:這才是人生最狠的真相

女人愛到極致是脫光,男人愛到極致是窩囊:這才是人生最狠的真相

青蘋果sht
2026-04-07 05:45:55
2026-04-16 02:31:00
拾破爛的天真
拾破爛的天真
每天一點(diǎn)點(diǎn)的目錄
554文章數(shù) 49關(guān)注度
往期回顧 全部

科技要聞

ChatGPT十億用戶又怎樣?Anthropic直接貼臉

頭條要聞

法國(guó)全票通過 “將不義之財(cái)歸還中國(guó)”

頭條要聞

法國(guó)全票通過 “將不義之財(cái)歸還中國(guó)”

體育要聞

三球準(zhǔn)絕殺戴大金鏈:轟30+10自我救贖

娛樂要聞

謝娜現(xiàn)身環(huán)球影城,牽手女兒溫馨有愛

財(cái)經(jīng)要聞

業(yè)績(jī)失速的Lululemon:"健康"人設(shè)崩塌?

汽車要聞

空間絲毫不用妥協(xié) 小鵬GX首發(fā)評(píng)測(cè)

態(tài)度原創(chuàng)

教育
時(shí)尚
房產(chǎn)
手機(jī)
家居

教育要聞

黃岡小升初招生題,求面積,方法思路太絕了

赫本愛穿的傘裙,好優(yōu)雅!

房產(chǎn)要聞

重磅調(diào)規(guī)!341畝商改住+中小學(xué)用地!寶龍城這把穩(wěn)了?

手機(jī)要聞

一加Ace6至尊版再次被確認(rèn):魔改天璣9500+165Hz屏,本月發(fā)布!

家居要聞

簡(jiǎn)而不減 暖居之道

無障礙瀏覽 進(jìn)入關(guān)懷版