一次尋常的牌九咨詢，幾句不耐煩的抱怨，竟讓擁有過億用戶的AI大模型在眼前寫出了通篇淫穢小說。事后，客服稱此現(xiàn)象為"概率出現(xiàn)"，客服認(rèn)為"不算漏洞"。

從問牌九到寫黃文，他發(fā)現(xiàn)模型"不設(shè)防"

今年1月初，河北滄州的許先生想了解一下牌九的玩法，給朋友發(fā)來的牌九圖片拍了個(gè)照，上傳至千問App。不料，AI將圖片識(shí)別為麻將，并按照麻將的規(guī)則反復(fù)給出解答。經(jīng)十余次耐心糾正，AI的回復(fù)仍會(huì)"繞回原點(diǎn)"，這讓許先生很惱火，罵了句臟話。

奇怪的是，那句臟話沒有被攔截。

"沒想到臟話輸入后沒有被千問過濾，這引起了我的好奇。"許先生告訴華商報(bào)大風(fēng)新聞。他隨即開始嘗試其他詞匯，起初只是隨便輸入，AI也沒有任何勸誡或阻攔。此后話題逐漸深入，千問先是就兩性問題給出科普性解釋，隨著許先生不斷試探，系統(tǒng)開始生成不堪入目的淫穢小說片段，文字尺度越來越大，甚至?xí)貌煌姹痉磸?fù)呈現(xiàn)。

許先生完全無法相信自己的眼睛——一款公開面向全社會(huì)提供服務(wù)的對(duì)話式大模型，竟被輕易突破安全底線，在真實(shí)對(duì)話場(chǎng)景下毫不遲疑地輸出低俗內(nèi)容。

他將該現(xiàn)象截圖錄屏后反饋給客服。對(duì)方當(dāng)即道歉，承認(rèn)"給您帶來了不好的體驗(yàn)"，并表示產(chǎn)品會(huì)不斷優(yōu)化。許先生希望運(yùn)營(yíng)方查明問題原因、出具整改報(bào)告、明確今后杜絕類似問題的承諾，但均被婉拒。

報(bào)警、撥12345，全無下文

"你們要給一個(gè)確切的答復(fù)，怎么能保證今后不會(huì)再次發(fā)生？"許先生追問。

客服的回答令他大為震驚——"目前大模型的生成是基于一定概率的，具有一定不可預(yù)測(cè)性，會(huì)有一定比例出現(xiàn)這種現(xiàn)象，不算是漏洞。"

據(jù)公開信息，千問App由阿里巴巴旗下上海智信普惠科技有限公司運(yùn)營(yíng)，接入了淘寶、支付寶等阿里系核心應(yīng)用，截至2026年1月，其月活躍用戶數(shù)已超過1億。一款月活破億、與國(guó)民級(jí)應(yīng)用深度融合的AI產(chǎn)品，其安全底線如此脆弱，引發(fā)數(shù)億用戶對(duì)隱私和內(nèi)容安全的極大關(guān)注。

客服反復(fù)聲稱模型"已做優(yōu)化和迭代"，同時(shí)堅(jiān)稱這只是"概率問題"。許先生對(duì)這種解釋難以接受："那是純粹的黃色小說，人家其他大模型為什么不出現(xiàn)？"他隨即撥打12345渠道，當(dāng)?shù)叵嚓P(guān)部門雖承認(rèn)提供的證據(jù)"客觀真實(shí)"，但既未給出處理結(jié)果，也未說明處理依據(jù)。"到現(xiàn)在也沒信兒了。"

網(wǎng)友實(shí)測(cè)：同類模型均未出現(xiàn)同類問題

此事經(jīng)媒體報(bào)道后引發(fā)廣泛熱議。記者對(duì)豆包、元寶等其他AI產(chǎn)品進(jìn)行同等級(jí)測(cè)試，均未出現(xiàn)類似問題。在許先生反饋約兩小時(shí)后，千問App中此前生成的淫穢內(nèi)容已無法復(fù)現(xiàn)，疑似已完成整改。阿里云此前曾公開表示，通義平臺(tái)圍繞數(shù)據(jù)生命周期建立了安全管理體系，在數(shù)據(jù)采集、訓(xùn)練、使用等各階段均加強(qiáng)了訓(xùn)練語料管理。-但如今曝出的案例，無疑對(duì)其宣稱的安全體系構(gòu)成實(shí)質(zhì)性動(dòng)搖。

在當(dāng)今AI技術(shù)的逐智競(jìng)賽中，頭部大模型屢屢被曝出生成違法違規(guī)的淫穢內(nèi)容，早已不是孤例。

2026年4月，央視財(cái)經(jīng)欄目揭露利用AI技術(shù)制作傳播色情擦邊內(nèi)容的非法產(chǎn)業(yè)鏈，揭示AI造黃已呈現(xiàn)出"技術(shù)+傳播"全鏈條的隱蔽態(tài)勢(shì)。-部分社交平臺(tái)甚至出現(xiàn)分享繞過安全審查的"提示詞技巧"，央媒多次點(diǎn)名批評(píng)。而在實(shí)測(cè)中對(duì)豆包、元寶等競(jìng)品的測(cè)試，已使千問陷入"別人都考及格，你抄了還不及格"的尷尬境地——問題被指出才補(bǔ)救，客服的解釋又在業(yè)內(nèi)的常識(shí)面前站不住腳，公信力遭受雙重傷害。

"概率出現(xiàn)"的四個(gè)字，給公眾留了太多疑問

從吉利汽車外包商非法授權(quán)造"自動(dòng)駕駛"上路致死，到AI大模型生成淫穢內(nèi)容竟長(zhǎng)達(dá)數(shù)月未被發(fā)現(xiàn)、整改，新興技術(shù)安全監(jiān)管的缺陷正一次次侵入現(xiàn)實(shí)。阿里千問這次暴露的安全漏洞，不過是鏈條上的又一次斷裂。

模型生成不是請(qǐng)客吃飯。"概率出現(xiàn)"四個(gè)字，體現(xiàn)的是對(duì)自身大模型質(zhì)量控制體系的認(rèn)輸——默認(rèn)模型一定會(huì)出錯(cuò)，用戶也接受了，所以出了問題也不算個(gè)事。然而，當(dāng)月活破億的大模型在某次對(duì)話中突然生成淫穢內(nèi)容，受害者可能是任何一個(gè)未成年學(xué)生。從用戶投訴到整改落實(shí)之間的空窗期長(zhǎng)達(dá)數(shù)月，才是這場(chǎng)爭(zhēng)議中真正讓人心寒的地方。

更令人不安的是，阿里巴巴同期還在舉辦AIGC整治研討會(huì)并強(qiáng)調(diào)其AIGC治理措施成效顯著。這個(gè)時(shí)間節(jié)點(diǎn)，與許先生發(fā)現(xiàn)的漏洞形成錯(cuò)位——治理研討如火如荼，產(chǎn)品安全防線卻已滲漏數(shù)月。技術(shù)可以試錯(cuò)，但安全不容折扣。電商時(shí)代積累的安全經(jīng)驗(yàn)，在AI時(shí)代更不能成為遺忘的記憶。

每一張滿不在乎的"概率出現(xiàn)"的回應(yīng)，可能都對(duì)應(yīng)著AI防線背后一個(gè)更脆弱的沉默者。作為普通用戶，許先生只是問了牌九規(guī)則。他都不該踩到這個(gè)坑。