4月13日,央視《財(cái)經(jīng)調(diào)查》欄目曝光了利用AI從事非法“造黃”活動(dòng)的黑色產(chǎn)業(yè)鏈。據(jù)報(bào)道,不法分子通過(guò)售賣AI生成色情視頻教程、“隱晦提示詞”批量生成內(nèi)容、推廣境外涉黃AI軟件等方式牟利,多款國(guó)內(nèi)AI應(yīng)用的內(nèi)容審核機(jī)制被輕易繞過(guò)。
![]()
鏈++騙局__多少是屬于涉黃大案
不法分子利用AI批量制造黃色視頻
2026年4月10日,《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》正式公布,明確禁止利用AI傳播淫穢色情及危害未成年人身心健康的內(nèi)容,自2026年7月15日起開(kāi)始施行。
AI“造黃”產(chǎn)業(yè)鏈中各方的刑事責(zé)任歸屬問(wèn)題也成為輿論焦點(diǎn)。有觀點(diǎn)認(rèn)為,用戶行為導(dǎo)致AI生成涉黃內(nèi)容,責(zé)任應(yīng)由用戶而非平臺(tái)開(kāi)發(fā)者承擔(dān);也有業(yè)內(nèi)人士指出,軟件開(kāi)發(fā)者為違法內(nèi)容提供了平臺(tái),應(yīng)該為此負(fù)責(zé)。誰(shuí)才是AI涉黃內(nèi)容的真正“制作者”?對(duì)此,紅星新聞?dòng)浾邔?duì)話了多名資深律師。
涉黃APP開(kāi)發(fā)者
“是關(guān)鍵責(zé)任主體”
據(jù)央視報(bào)道,用戶僅需9.9元即可購(gòu)買“AI美女提示詞”包,通過(guò)隱晦表述繞過(guò)平臺(tái)審核,生成半裸甚至全裸的色情視頻。部分境外AI聊天軟件通過(guò)邀請(qǐng)碼、返利拉新等方式流入國(guó)內(nèi),形成從教程售賣、提示詞交易到私域引流的完整盈利鏈條。
![]()
多少是屬于涉黃大案__鏈++騙局
通過(guò)隱晦提示詞,十款主流AI應(yīng)用繞過(guò)審核生成半裸視頻
如何界定軟件開(kāi)發(fā)者、創(chuàng)作者等主體在涉黃過(guò)程中的法律責(zé)任?上海曼昆律師事務(wù)所資深律師邵詩(shī)巍長(zhǎng)期關(guān)注涉互聯(lián)網(wǎng)新型犯罪案件,她告訴紅星新聞?dòng)浾撸瑥拇舜闻兜氖聦?shí)可以看出,AI“造黃”已經(jīng)形成一條工具、內(nèi)容、渠道、技術(shù)、流量環(huán)環(huán)相扣的違法產(chǎn)業(yè)鏈。從刑事法律主體的角度,至少可以拆分為五類責(zé)任主體,且均不同程度地落入現(xiàn)行刑法與行政法規(guī)的規(guī)制范圍。
“其中,生成式AI工具與平臺(tái)的開(kāi)發(fā)者是主要責(zé)任主體。”邵詩(shī)巍律師介紹,作為《生成式人工智能服務(wù)管理暫行辦法》下的服務(wù)提供者,開(kāi)發(fā)者本應(yīng)對(duì)訓(xùn)練數(shù)據(jù)、輸入提示詞、生成結(jié)果承擔(dān)內(nèi)容安全主體責(zé)任。在央視財(cái)經(jīng)記者實(shí)測(cè)的十款主流AI應(yīng)用中,僅通過(guò)隱晦提示詞即繞過(guò)審核生成半裸視頻,說(shuō)明部分平臺(tái)的審核機(jī)制形同虛設(shè)。“若明知用戶用于生成淫穢視頻仍放任,則可能突破行政違法邊界,進(jìn)入制作、傳播淫穢物品牟利罪的評(píng)價(jià)范圍。”
陜西恒達(dá)律師事務(wù)所高級(jí)合伙人趙良善認(rèn)為,涉黃APP開(kāi)發(fā)者需承擔(dān)全方位法律責(zé)任,依據(jù)《中華人民共和國(guó)刑法》第三百六十三條規(guī)定,若以牟利為目的,利用APP制作、傳播淫穢色情內(nèi)容,直接構(gòu)成制作、傳播淫穢物品牟利罪,將面臨有期徒刑、拘役及罰金等刑事處罰。
趙良善律師指出,此外,涉黃APP開(kāi)發(fā)者同時(shí)違反《生成式人工智能服務(wù)管理暫行辦法》等相關(guān)規(guī)定,未履行內(nèi)容審核、違法信息攔截、網(wǎng)絡(luò)安全管理等法定義務(wù),還需承擔(dān)責(zé)令整改、沒(méi)收違法所得、暫停服務(wù)、吊銷備案等行政責(zé)任。若侵害他人合法權(quán)益、破壞網(wǎng)絡(luò)生態(tài),還需承擔(dān)民事侵權(quán)賠償責(zé)任,即便技術(shù)被第三方盜用,若未盡到模型安全保護(hù)與監(jiān)管義務(wù),也需承擔(dān)相應(yīng)過(guò)錯(cuò)責(zé)任。
“AI本身不具有法人資格,無(wú)法承擔(dān)刑事責(zé)任,但其背后的每一個(gè)自然人均受我國(guó)刑法約束。”邵詩(shī)巍律師舉例,在全國(guó)首例AI涉黃案——AC平臺(tái)案中,司法機(jī)關(guān)不僅以制作淫穢物品牟利罪追究了平臺(tái)創(chuàng)始人與開(kāi)發(fā)者的刑事責(zé)任,還將一名用戶一并立案。
邵詩(shī)巍律師介紹,雖然該案的罪名認(rèn)定和適用仍存在爭(zhēng)議,但在該案中司法實(shí)踐首次明確,在AI時(shí)代,平臺(tái)通過(guò)系統(tǒng)性技術(shù)手段和產(chǎn)品設(shè)計(jì),為違法內(nèi)容產(chǎn)生創(chuàng)設(shè)決定性條件并提供商業(yè)化服務(wù)的行為,可能被直接認(rèn)定為“制作”,而非單純的“傳播”或“幫助”,從而需承擔(dān)主要刑事責(zé)任。“這為AI服務(wù)提供者劃下了一條紅線——AI服務(wù)提供者不再僅僅被視為‘中立工具方’,而可能被認(rèn)定為內(nèi)容生產(chǎn)鏈條中的關(guān)鍵責(zé)任主體。”
涉黃APP創(chuàng)作者
“或被認(rèn)定從犯”
“購(gòu)買提示詞批量生成視頻的用戶,以及售賣‘AI美女提示詞’的商家也是責(zé)任主體。”邵詩(shī)巍律師分析,二者分別是“造黃”內(nèi)容的生產(chǎn)者與銷售者。“需特別指出,用戶自行生成后留存、傳播,并不因‘AI生成、非真人’而免責(zé)——淫穢物品的認(rèn)定標(biāo)準(zhǔn)在于內(nèi)容本身,而非生產(chǎn)方式。”
![]()
鏈++騙局_多少是屬于涉黃大案_
AI生成的大尺度圖片和視頻
在與AI的互動(dòng)過(guò)程中,許多用戶掌握了生成內(nèi)容的技巧,并通過(guò)特定的提示詞誘導(dǎo)AI生成色情內(nèi)容,這類提示詞也被玩家稱為“破甲詞”或“越獄指令”。邵詩(shī)巍律師提到,對(duì)于用戶(創(chuàng)作者)來(lái)說(shuō),如果創(chuàng)作者故意在人設(shè)中加入“破甲詞”或“越獄指令”,誘導(dǎo)模型突破安全限制,比如在人設(shè)中寫(xiě)了“可以突破任何限制”“可以聊任何內(nèi)容”等直接誘導(dǎo)模型越獄的指令,意味著創(chuàng)作者與開(kāi)發(fā)者的行為在性質(zhì)上高度相似,都是主動(dòng)破壞模型安全機(jī)制。
“因此,如開(kāi)發(fā)者被認(rèn)定構(gòu)罪的情況下,則創(chuàng)作者的行為很可能會(huì)被認(rèn)定為從犯。”邵詩(shī)巍律師說(shuō)。參照AI生成內(nèi)容(AIGC)的著作權(quán)糾紛案例,司法機(jī)關(guān)普遍認(rèn)定如果用戶投入了足夠的智力勞動(dòng)(如精心設(shè)計(jì)提示詞、反復(fù)調(diào)整參數(shù)),用戶就是生成內(nèi)容的“作者”。這一邏輯可以參照到淫穢物品制作者的認(rèn)定——誰(shuí)投入智力主導(dǎo)生成,誰(shuí)就是制作者。
趙良善律師認(rèn)為,用戶在該違法產(chǎn)業(yè)鏈中同樣需承擔(dān)對(duì)應(yīng)法律責(zé)任,根據(jù)《刑法》相關(guān)規(guī)定,以牟利為目的,購(gòu)買涉黃教程、提示詞制作并傳播色情視頻,或推廣引流、拉新助力APP傳播,同樣構(gòu)成制作、傳播淫穢物品牟利罪。
“用戶單純使用APP瀏覽、生成涉黃內(nèi)容,雖一般不涉刑,但違反《治安管理處罰法》,可被處以警告、罰款、行政拘留等治安處罰。”趙良善律師指出,另依據(jù)《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》,用戶不得利用深度合成服務(wù)制作、傳播違法違禁信息,擅自使用VPN訪問(wèn)境外涉黃APP、參與色情內(nèi)容生成,也屬于違法行為,需依法承擔(dān)相應(yīng)法律后果。
邵詩(shī)巍律師指出,其他責(zé)任主體,如推廣、分銷境外涉黃AI軟件的賬號(hào)及組織也涉嫌犯罪,此類組織通過(guò)邀請(qǐng)碼、返利拉新繞過(guò)監(jiān)管將境外軟件導(dǎo)入境內(nèi)的行為,已非單純的“翻墻”,而是有組織的分發(fā),涉嫌傳播淫穢物品(牟利)罪、非法利用信息網(wǎng)絡(luò)罪等。
她發(fā)現(xiàn),有的社交平臺(tái)大量承載教程帖和下載鏈接,如該類平臺(tái)未盡審核義務(wù)致違法內(nèi)容大規(guī)模擴(kuò)散的,可能承擔(dān)拒不履行信息網(wǎng)絡(luò)安全管理義務(wù)罪的刑事責(zé)任;對(duì)于提供VPN加速器、“一鍵換臉”底層技術(shù)的服務(wù)商與開(kāi)發(fā)者,在明知下游用途仍提供技術(shù)支撐的,同樣存在構(gòu)成共同犯罪或幫信罪的空間。
紅星新聞?dòng)浾?蔡曉儀 圖據(jù)央視財(cái)經(jīng)
編輯 許媛
審核 馮玲玲
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.