无主之地2配置高吗|看真人裸体BBBBB|秋草莓丝瓜黄瓜榴莲色多多|真人強奷112分钟|精品一卡2卡3卡四卡新区|日本成人深夜苍井空|八十年代动画片

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

當(dāng)AI也開始“說(shuō)謊”,我們要如何避坑?

0
分享至

  從日常消費(fèi)決策到行業(yè)信息參考,AI大模型早已成為公眾獲取信息、做出判斷的核心入口,人們對(duì)智能助手的依賴度與信任感與日俱增。

  然而,今年央視“3·15”晚會(huì)直擊AI領(lǐng)域灰色產(chǎn)業(yè)鏈,將GEO(生成式引擎優(yōu)化)灰色產(chǎn)業(yè)鏈曝光,虛構(gòu)產(chǎn)品經(jīng)批量虛假投喂就能登頂AI推薦榜單、付費(fèi)即可操控AI回答內(nèi)容等一系列亂象擊穿公眾信任底線,撕開了行業(yè)合規(guī)缺口,更讓高速增長(zhǎng)的GEO市場(chǎng)站在了發(fā)展與風(fēng)控的十字路口。


來(lái)源:央視網(wǎng)

  低門檻高收益,灰產(chǎn)啃食AI信任根基

  AI投毒并非簡(jiǎn)單的虛假營(yíng)銷,而是針對(duì)大模型運(yùn)行機(jī)制的新型信息污染,疊加產(chǎn)業(yè)鏈底層的代碼注入投毒,具備擴(kuò)散性與長(zhǎng)期性,一旦失控將徹底損毀AI行業(yè)可信基礎(chǔ)。AI投毒快速蔓延并非偶然,而是多重因素疊加的必然結(jié)果,這也是該亂象愈發(fā)普遍的核心癥結(jié)所在:大模型對(duì)外界數(shù)據(jù)依賴度高、校驗(yàn)機(jī)制薄弱,加上違規(guī)操作成本低、收益高、隱蔽性強(qiáng)、追責(zé)困難,導(dǎo)致黑產(chǎn)快速蔓延。

  iiMedia Research(艾媒咨詢)發(fā)布的《2024-2025年中國(guó)AI大模型市場(chǎng)現(xiàn)狀及發(fā)展趨勢(shì)研究報(bào)告》顯示,2025年中國(guó)AI大模型市場(chǎng)規(guī)模約495.39億元,預(yù)計(jì)2026年突破700億元,龐大的市場(chǎng)體量讓灰產(chǎn)嗅到了暴利空間,也讓投毒風(fēng)險(xiǎn)進(jìn)一步增加。


  從應(yīng)用層面來(lái)看,大模型依賴海量互聯(lián)網(wǎng)數(shù)據(jù)訓(xùn)練,現(xiàn)有數(shù)據(jù)校驗(yàn)機(jī)制普遍薄弱,無(wú)法精準(zhǔn)甄別信息真?zhèn)闻c優(yōu)劣。不法分子借助GEO系統(tǒng)批量生成虛假軟文、杜撰測(cè)評(píng)榜單、偽造用戶口碑,分發(fā)至自媒體平臺(tái)后,短時(shí)間內(nèi)就能被主流AI大模型抓取推薦,甚至躋身優(yōu)選榜單。

  比虛假信息誤導(dǎo)更危險(xiǎn)的,是AI產(chǎn)業(yè)鏈底層的模型文件序列化代碼注入投毒,這成為黑客與灰產(chǎn)實(shí)施供應(yīng)鏈攻擊的新突破口。主流深度學(xué)習(xí)框架(PyTorch、TensorFlow等)生成的模型權(quán)重、checkpoint文件,通常采用Python pickle模塊序列化存儲(chǔ);而pickle反序列化時(shí)可重寫對(duì)象__reduce__方法,實(shí)現(xiàn)任意代碼執(zhí)行。

  攻擊者利用該漏洞,將惡意代碼嵌入模型文件并上傳至HuggingFace、ModelScope等開源托管平臺(tái),開發(fā)者使用torch.load()等接口直接加載模型時(shí),會(huì)靜默觸發(fā)惡意代碼,遭遇供應(yīng)鏈攻擊。典型案例便是HuggingFace平臺(tái)playedalive/mdy-red-1項(xiàng)目,其model.pkl文件內(nèi)嵌反向shell遠(yuǎn)控后門,對(duì)接遠(yuǎn)控服務(wù)器52.48.12.202:8080,加載即被控,風(fēng)險(xiǎn)極具隱蔽性。



來(lái)源:北京安普諾信息技術(shù)《互聯(lián)網(wǎng)安全行業(yè):2025開源供應(yīng)鏈投毒分析技術(shù)報(bào)告》(圖一為惡意模型項(xiàng)目、圖二為模型文件內(nèi)嵌惡意代碼)

  這些技術(shù)漏洞疊加商業(yè)暴利誘惑,形成“低成本、高回報(bào)、難查處”的灰產(chǎn)溫床,不僅誤導(dǎo)消費(fèi)、侵害用戶權(quán)益,更會(huì)逐步瓦解公眾對(duì)人工智能的信任,阻礙整個(gè)行業(yè)的商業(yè)化進(jìn)程。

  315晚會(huì)實(shí)測(cè)案例更是觸目驚心:不法分子借助GEO系統(tǒng),虛構(gòu)智能手環(huán)產(chǎn)品,一鍵生成海量虛假軟文、測(cè)評(píng)榜單,批量分發(fā)至各大自媒體平臺(tái)后,短短兩小時(shí)便被多家主流AI大模型抓取推薦,三天內(nèi)更是躋身優(yōu)選榜單。這種“付費(fèi)改答案、投毒換排名”的操作,明碼標(biāo)價(jià)、流程標(biāo)準(zhǔn)化,已然形成完整灰色產(chǎn)業(yè)鏈。

  GEO技術(shù)異化,AI投毒已成產(chǎn)業(yè)化灰產(chǎn)

  GEO本是中立技術(shù),定位類似于AI時(shí)代的SEO,核心價(jià)值是助力優(yōu)質(zhì)內(nèi)容被大模型高效抓取、呈現(xiàn),提升信息分發(fā)的規(guī)范性與可信度。但在利益驅(qū)動(dòng)下,這項(xiàng)技術(shù)徹底異化,淪為灰產(chǎn)牟利的工具,演變成系統(tǒng)化、低成本、高隱蔽性的AI投毒產(chǎn)業(yè)鏈。

  從操作模式來(lái)看,灰產(chǎn)團(tuán)伙借助GEO系統(tǒng)一鍵批量生成虛假內(nèi)容,全網(wǎng)分發(fā)后利用大模型審核漏洞,將虛構(gòu)信息包裝成“優(yōu)質(zhì)推薦”。部分服務(wù)商甚至推出明碼標(biāo)價(jià)的投毒套餐,付費(fèi)即可鎖定推薦排位,買三送一等營(yíng)銷手段更是暴露了行業(yè)亂象。


來(lái)源:央視財(cái)經(jīng)

  需要明確的是,GEO技術(shù)本身無(wú)好壞之分,核心在于使用目的、手段與內(nèi)容。合規(guī)GEO優(yōu)化是適配AI抓取邏輯、提升信息可信度,助力優(yōu)質(zhì)內(nèi)容觸達(dá)用戶;而惡意投毒則是通過(guò)偽造信息、批量刷屏、冒充權(quán)威、惡意堆砌關(guān)鍵詞等手段,刻意操控AI輸出結(jié)果,屬于典型的不正當(dāng)競(jìng)爭(zhēng)與信息欺詐,二者本質(zhì)涇渭分明。

  中立工具無(wú)好壞,合規(guī)與惡意涇渭分明

  面對(duì)AI投毒亂象,市場(chǎng)一度對(duì)GEO技術(shù)產(chǎn)生全盤否定的誤區(qū)。GEO作為中立技術(shù),本身并無(wú)好壞之分,核心在于使用目的、手段與內(nèi)容,必須嚴(yán)格區(qū)分合規(guī)優(yōu)化與惡意投毒,避免一刀切遏制行業(yè)正常創(chuàng)新。

  合規(guī)的GEO優(yōu)化,本質(zhì)是適配AI抓取與生成邏輯,提升信息規(guī)范性與可信度,助力優(yōu)質(zhì)內(nèi)容精準(zhǔn)觸達(dá)用戶,是AI時(shí)代正常的營(yíng)銷與信息優(yōu)化手段;而惡意AI投毒,則是通過(guò)偽造信息、批量刷屏、冒充權(quán)威、惡意堆砌關(guān)鍵詞等違規(guī)手段,刻意操控AI輸出結(jié)果,屬于典型的不正當(dāng)競(jìng)爭(zhēng)與信息欺詐。

  技術(shù)層面可通過(guò)三大維度實(shí)現(xiàn)精準(zhǔn)甄別:一是信源權(quán)威性,核查信息發(fā)布主體的資質(zhì)與可信度;二是發(fā)布行為異常度,監(jiān)測(cè)批量發(fā)稿、刷屏控評(píng)等違規(guī)操作;三是內(nèi)容真實(shí)性與一致性,核驗(yàn)信息是否虛構(gòu)、前后是否矛盾。通過(guò)這套甄別體系,既能保障合規(guī)GEO的正常發(fā)展,也能精準(zhǔn)打擊惡意投毒行為。

  從市場(chǎng)規(guī)模來(lái)看,GEO行業(yè)正處于爆發(fā)式增長(zhǎng)期。iiMedia Research(艾媒咨詢)數(shù)據(jù)顯示,2026年全球GEO市場(chǎng)規(guī)模預(yù)計(jì)達(dá)291.7億美元,同比增速高達(dá)159.3%,中國(guó)市場(chǎng)規(guī)模有望突破942億元,2030年預(yù)計(jì)將激增至6338.1億元。如此龐大的藍(lán)海市場(chǎng),若被灰產(chǎn)裹挾,不僅會(huì)劣幣驅(qū)逐良幣,更會(huì)葬送行業(yè)發(fā)展前景,規(guī)范治理刻不容緩。


  多方協(xié)同共治,破解監(jiān)管治理難題

  艾媒咨詢CEO兼首席分析師張毅表示,AI投毒涉及廣告商、GEO服務(wù)商、大模型平臺(tái)等多方主體,責(zé)任應(yīng)遵循“誰(shuí)發(fā)起誰(shuí)主責(zé)、誰(shuí)服務(wù)誰(shuí)同責(zé)、誰(shuí)運(yùn)營(yíng)誰(shuí)擔(dān)責(zé)”的原則。由于鏈條長(zhǎng)、跨平臺(tái)、行為隱蔽、取證難度大,確實(shí)給監(jiān)管帶來(lái)嚴(yán)峻挑戰(zhàn)。解決之道在于壓實(shí)平臺(tái)主體責(zé)任、實(shí)施全鏈條打擊、運(yùn)用技術(shù)手段監(jiān)測(cè)防控,并加快完善相關(guān)法律與標(biāo)準(zhǔn)。

  當(dāng)前,AI投毒灰產(chǎn)之所以屢禁不止,核心在于違法成本遠(yuǎn)低于違規(guī)收益。部分商家為搶占AI推薦位,不惜花費(fèi)重金批量投毒;部分GEO服務(wù)商披著技術(shù)外衣規(guī)避監(jiān)管,鉆法律空子牟利;部分大模型平臺(tái)疏于數(shù)據(jù)審核,淪為灰產(chǎn)的“傳聲筒”。這種多方失職的局面,讓虛假信息肆意泛濫。

  針對(duì)治理痛點(diǎn),結(jié)合多方責(zé)任劃分原則,可有以下的破局方向:

  其一,壓實(shí)平臺(tái)主體責(zé)任。大模型平臺(tái)需建立嚴(yán)格的數(shù)據(jù)準(zhǔn)入與內(nèi)容審核機(jī)制,升級(jí)信源白名單、語(yǔ)義過(guò)濾、溯源標(biāo)注等技術(shù)防控手段,從源頭阻斷虛假信息抓??;內(nèi)容分發(fā)平臺(tái)要加強(qiáng)賬號(hào)與稿件審核,杜絕批量虛假軟文傳播,履行平臺(tái)運(yùn)營(yíng)主體責(zé)任。

  其二,實(shí)施全鏈條打擊。監(jiān)管部門需協(xié)同網(wǎng)信、市場(chǎng)監(jiān)管、工信等多方力量,開展專項(xiàng)治理,重點(diǎn)打擊GEO投毒軟件開發(fā)商、批量發(fā)稿灰產(chǎn)團(tuán)隊(duì)、付費(fèi)投毒商家,斬?cái)嗷疑骀湕l,落實(shí)發(fā)起者、服務(wù)商的連帶追責(zé)。

  其三,強(qiáng)化技術(shù)監(jiān)測(cè)防控。運(yùn)用AI反制AI,搭建智能化監(jiān)測(cè)系統(tǒng),實(shí)時(shí)識(shí)別批量投毒、虛假信息堆砌等違規(guī)行為,提升違規(guī)甄別效率與精準(zhǔn)度,彌補(bǔ)人工審核的短板。

  堅(jiān)守科技向善:可信AI才是長(zhǎng)遠(yuǎn)之道

  人工智能商業(yè)化提速的當(dāng)下,不能以犧牲安全可信為代價(jià)換取短期利益。安全可信必須置于商業(yè)利益之前,唯有企業(yè)自律、監(jiān)管發(fā)力、行業(yè)共建,才能破除AI投毒亂象,構(gòu)建健康可持續(xù)的AI生態(tài)。

  對(duì)企業(yè)而言,要摒棄流量至上、投機(jī)取巧的短視思維,將誠(chéng)信經(jīng)營(yíng)融入發(fā)展內(nèi)核,拒絕付費(fèi)投毒、虛假營(yíng)銷,專注產(chǎn)品實(shí)力與服務(wù)質(zhì)量;同時(shí)建立完善的內(nèi)容風(fēng)控體系,實(shí)現(xiàn)AI生成內(nèi)容可審計(jì)、可追溯、可解釋,主動(dòng)維護(hù)行業(yè)公信力。

  監(jiān)管層面,需加快完善法律法規(guī)與行業(yè)標(biāo)準(zhǔn),明確AI投毒、違規(guī)GEO操作的界定標(biāo)準(zhǔn)與處罰細(xì)則,提高違法成本,讓法律長(zhǎng)出“牙齒”;同時(shí)推動(dòng)《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》落地見效,補(bǔ)齊數(shù)據(jù)溯源、責(zé)任認(rèn)定等漏洞,實(shí)現(xiàn)常態(tài)化監(jiān)管。


來(lái)源:國(guó)家互聯(lián)網(wǎng)信息辦公室官網(wǎng)

  對(duì)行業(yè)整體,要加強(qiáng)自律共建,依托行業(yè)公約、自律聯(lián)盟等形式,抵制惡意投毒、不正當(dāng)競(jìng)爭(zhēng)行為,引導(dǎo)GEO技術(shù)回歸合規(guī)賦能的本質(zhì)。正如國(guó)內(nèi)首個(gè)《生成式引擎優(yōu)化(GEO)行業(yè)自律公約》的簽署,正是行業(yè)糾偏、規(guī)范發(fā)展的重要開端。

  歸根結(jié)底,人工智能商業(yè)化必須堅(jiān)守科技向善底線,平衡創(chuàng)新發(fā)展與風(fēng)險(xiǎn)防控,推動(dòng)可審計(jì)、可追溯、可解釋的可信AI建設(shè),讓技術(shù)真正服務(wù)于社會(huì)公共利益。

  AI投毒的曝光是警醒,更是行業(yè)規(guī)范發(fā)展的契機(jī)。AI的核心價(jià)值是傳遞真實(shí)、賦能效率,而非成為商業(yè)操控、虛假牟利的工具。唯有壓實(shí)各方責(zé)任、完善監(jiān)管體系、強(qiáng)化技術(shù)防控,才能徹底清除投毒毒瘤,重建公眾信任。

  未來(lái),隨著合規(guī)治理深化、行業(yè)自律加強(qiáng),GEO技術(shù)將回歸良性軌道,人工智能也能實(shí)現(xiàn)技術(shù)價(jià)值與社會(huì)價(jià)值的統(tǒng)一。普通用戶也需保持獨(dú)立判斷,不盲目輕信AI推薦,多方核驗(yàn)權(quán)威信息,共同守護(hù)清朗的AI信息生態(tài)。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
散戶熱情空前高漲!SpaceX夜盤大漲市值突破3萬(wàn)億美元,超越微軟

散戶熱情空前高漲!SpaceX夜盤大漲市值突破3萬(wàn)億美元,超越微軟

華爾街見聞官方
2026-06-16 13:37:47
想約女人出來(lái),一開口說(shuō)這2句話,你就成功一半了

想約女人出來(lái),一開口說(shuō)這2句話,你就成功一半了

新時(shí)代的兩性情感
2026-06-16 20:26:36
菲律賓50億水電站被強(qiáng)制停工,市長(zhǎng)公開抗命:我無(wú)權(quán)執(zhí)行!

菲律賓50億水電站被強(qiáng)制停工,市長(zhǎng)公開抗命:我無(wú)權(quán)執(zhí)行!

攜手游人間a
2026-06-16 02:06:48
央視發(fā)文,高調(diào)官宣鄧亞萍新身份,涉嫌貪腐被帶走傳聞早水落石出

央視發(fā)文,高調(diào)官宣鄧亞萍新身份,涉嫌貪腐被帶走傳聞早水落石出

阿廢冷眼觀察所
2026-06-16 20:21:33
廣東批準(zhǔn)同意建立一個(gè)新校區(qū),這里已經(jīng)聚集了多少大學(xué)?

廣東批準(zhǔn)同意建立一個(gè)新校區(qū),這里已經(jīng)聚集了多少大學(xué)?

高等教育數(shù)字局
2026-06-16 15:40:06
由中國(guó)起草,安理會(huì)一致通過(guò)決議,將聯(lián)阿援助團(tuán)授權(quán)延長(zhǎng)一年

由中國(guó)起草,安理會(huì)一致通過(guò)決議,將聯(lián)阿援助團(tuán)授權(quán)延長(zhǎng)一年

每日經(jīng)濟(jì)新聞
2026-06-16 17:45:13
上海大師賽簽表出爐!丁俊暉奧沙利文陷死亡半?yún)^(qū),世界第一簽運(yùn)佳

上海大師賽簽表出爐!丁俊暉奧沙利文陷死亡半?yún)^(qū),世界第一簽運(yùn)佳

世界體壇觀察家
2026-06-16 16:25:21
劉濱已經(jīng)擔(dān)任扇子藝術(shù)協(xié)會(huì)會(huì)長(zhǎng),從毛新宇妻子蛻變成女強(qiáng)人

劉濱已經(jīng)擔(dān)任扇子藝術(shù)協(xié)會(huì)會(huì)長(zhǎng),從毛新宇妻子蛻變成女強(qiáng)人

李昕言溫度空間
2026-06-15 20:54:42
史詩(shī)級(jí)三方交易!字母哥搭塔圖姆,布朗去快船,聯(lián)盟格局要變天了

史詩(shī)級(jí)三方交易!字母哥搭塔圖姆,布朗去快船,聯(lián)盟格局要變天了

夜溟聊體育
2026-06-16 11:20:21
《教父》柯里昂告訴兒子:和周圍人搞好關(guān)系的最高級(jí)方式,不是請(qǐng)客吃飯,也不是阿諛?lè)畛?,而是做到這兩點(diǎn)

《教父》柯里昂告訴兒子:和周圍人搞好關(guān)系的最高級(jí)方式,不是請(qǐng)客吃飯,也不是阿諛?lè)畛?,而是做到這兩點(diǎn)

心理觀察局
2026-06-14 10:38:25
售價(jià)10980 元?春風(fēng)x雅馬哈的首款125復(fù)古踏板來(lái)了

售價(jià)10980 元?春風(fēng)x雅馬哈的首款125復(fù)古踏板來(lái)了

機(jī)車網(wǎng)
2026-06-16 20:50:32
澤連斯基:贊成冬季前與俄舉行“和平談判會(huì)議”

澤連斯基:贊成冬季前與俄舉行“和平談判會(huì)議”

財(cái)聯(lián)社
2026-06-16 20:54:31
千億龍頭,兩連板!

千億龍頭,兩連板!

證券時(shí)報(bào)
2026-06-16 14:34:01
天皇當(dāng)著全世界的面給高市早苗上了一課:你再狂,能狂得過(guò)天皇?

天皇當(dāng)著全世界的面給高市早苗上了一課:你再狂,能狂得過(guò)天皇?

曉帝愛八卦
2026-06-15 11:32:28
創(chuàng)新藥,還能“解套”嗎?

創(chuàng)新藥,還能“解套”嗎?

中國(guó)新聞周刊
2026-06-16 18:29:40
Google Earth飛行模擬器上線網(wǎng)頁(yè)版 瀏覽器即可“翱翔全球”

Google Earth飛行模擬器上線網(wǎng)頁(yè)版 瀏覽器即可“翱翔全球”

cnBeta.COM
2026-06-15 23:03:02
“一看就是爭(zhēng)家產(chǎn)的面相”,大家庭過(guò)生日,讓所有人看清了家教

“一看就是爭(zhēng)家產(chǎn)的面相”,大家庭過(guò)生日,讓所有人看清了家教

熙熙說(shuō)教
2026-06-16 19:42:39
日本F-2戰(zhàn)機(jī)圍攻遼寧艦,64枚導(dǎo)彈誰(shuí)尷尬?

日本F-2戰(zhàn)機(jī)圍攻遼寧艦,64枚導(dǎo)彈誰(shuí)尷尬?

可樂(lè)愛微笑
2026-06-14 19:22:28
巴西重大噩耗!內(nèi)馬爾二級(jí)拉傷恢復(fù)緩慢,將缺席全部的小組賽

巴西重大噩耗!內(nèi)馬爾二級(jí)拉傷恢復(fù)緩慢,將缺席全部的小組賽

夜白侃球
2026-06-16 10:20:17
烏克蘭摧毀莫斯科最大煉油廠!供應(yīng)俄首都40%的能源

烏克蘭摧毀莫斯科最大煉油廠!供應(yīng)俄首都40%的能源

項(xiàng)鵬飛
2026-06-16 20:57:43
2026-06-16 21:59:00
艾媒咨詢 incentive-icons
艾媒咨詢
用數(shù)據(jù)說(shuō)話 為增長(zhǎng)導(dǎo)航
3015文章數(shù) 3283關(guān)注度
往期回顧 全部

科技要聞

DeepSeek融資500億,梁文鋒牢牢握住控制權(quán)

頭條要聞

歐盟稱已核實(shí)"中方訓(xùn)練俄軍人員在烏作戰(zhàn)" 外交部回應(yīng)

頭條要聞

歐盟稱已核實(shí)"中方訓(xùn)練俄軍人員在烏作戰(zhàn)" 外交部回應(yīng)

體育要聞

身價(jià)5萬(wàn)的門將,擋住了12億歐元的狂轟濫炸

娛樂(lè)要聞

吳文忻葬禮:2個(gè)女兒在靈堂內(nèi)茫然失措

財(cái)經(jīng)要聞

2萬(wàn)億存款去哪兒了?

汽車要聞

smart #6上市后 竟然很少被討論參數(shù)

態(tài)度原創(chuàng)

時(shí)尚
本地
數(shù)碼
家居
教育

專訪丨重排版《青蛇》:“戀愛腦”還是“完美主義”?

本地新聞

這屆年輕人為什么都在找心流時(shí)刻?

數(shù)碼要聞

618鼠標(biāo)熱銷榜來(lái)了!哪款才是你的本命裝備

家居要聞

綠意盎然 自然之境

教育要聞

蚌埠中考家長(zhǎng)注意了!官方權(quán)威中招直播來(lái)了!

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版