“作惡”的人工智能還要人來治

有點數(shù)·數(shù)字經(jīng)濟(jì)工作室原創(chuàng)

作 者 | 有 叔

微信ID | yds_sh

一個家喻戶曉的明星正在短視頻平臺上聊教育話題，猝不及防就打起了廣告：“從小給孩子喝某某牌奶粉，聰明長得壯。”盡管表情和口型有點對不上，但聲音卻相似得出奇。仔細(xì)辨別之后才能發(fā)現(xiàn)，這是“AI換臉擬聲”搞得鬼。

隨著AI技術(shù)的更新迭代，為工作生活帶來便利的同時，也給了犯罪分子可乘之機(jī)，“AI換臉擬聲”詐騙、侵權(quán)案時有發(fā)生。在今年3·15國際消費者權(quán)益日來臨之際，我們聊聊人工智能帶來的消費亂象。

當(dāng)詐騙與AI技術(shù)結(jié)合，應(yīng)該如何應(yīng)對？

“張文宏”正直播帶貨？AI助長了“信息蝗災(zāi)”

知名傳染病學(xué)專家張文宏化身帶貨主播，在深夜直播，大肆推銷某個牌子的蛋白棒？

不久前，某視頻博主發(fā)布的視頻中，“張文宏”醫(yī)生強(qiáng)烈推銷一款蛋白棒，讓不少網(wǎng)友信以為真，一時銷量近1200件。

面對這樣明目張膽的侵權(quán)行為，張文宏隨后作出回應(yīng)稱，視頻是AI合成的：“我在發(fā)現(xiàn)這事后立即投訴過那個AI合成的視頻，但這樣的賣貨賬號不止一個，且一直在變，我多次向平臺投訴但屢禁不絕，自己最后也沒精力了。”

在此類直播中，幕后人員以AI技術(shù)利用張文宏的形象和聲音，稍加編造話術(shù)進(jìn)行“忽悠”，便可使得那些不知名、以次充好甚至假冒偽劣商品瞬間賣光。如果騙局被揭穿，他們就會重新再開賬號進(jìn)行直播帶貨。

“這些假的AI合成信息就像蝗災(zāi)一樣，一次又一次發(fā)生，像漫天飛過來的蝗蟲一樣害人。很多不明真相的老百姓、特別是有些對AI不是很熟悉的、年紀(jì)較大的市民，就很容易相信。” 該涉事視頻已從發(fā)布賬號中移除，且該賬號已被平臺永久封禁。除了向平臺投訴，張文宏也考慮求助警方，但對方看不見、摸不著，經(jīng)常更換賬號，很難找到準(zhǔn)確的報警對象。

《2024人工智能安全報告》顯示，2023年基于AI的深度偽造欺詐事件數(shù)量激增了3000%，AI合成視頻正在成為別有用心之人引導(dǎo)輿論、斂財工具。看不著、摸不見、對得上……這些在AI合成視頻中的優(yōu)點轉(zhuǎn)身一變，不斷挑戰(zhàn)人們“眼見為實”的認(rèn)知底線，侵蝕消費者合法權(quán)益。

不只是張文宏，許多公眾人物如教育專家李玫瑾、影視明星劉德華、靳東等都在不同場合呼吁過對“AI換臉擬聲”加強(qiáng)監(jiān)管，全國人大代表雷軍在今年兩會提出的建議中，就包括關(guān)于“AI換臉擬聲”違法侵權(quán)的治理。

不管馬云還是靳東，AI都能換臉擬聲

誤信“AI換臉擬聲”的直播帶貨，從而買到假冒偽劣的商品，消費者權(quán)益不免受到損害，但更具危害性的是，利用人工智能技術(shù)進(jìn)行的詐騙活動。據(jù)媒體報道，有人在社交平臺用AI換臉成富商馬云，視頻連線獲取網(wǎng)友信任，目標(biāo)受眾多為對AI缺乏認(rèn)知的中老年人，之后再以“做扶貧項目”等為由騙取錢財。還有人在短視頻平臺上冒充演員靳東與中老年人接觸，以需要錢拍戲為由誘使他人轉(zhuǎn)賬。

除了冒充公眾人物，還有不法分子用AI模仿你身邊的重要關(guān)系人，更是讓人防不勝防。比如天津警方披露的一起AI詐騙案中，市民李先生此前收到了一條短信，對方自稱是李先生單位的領(lǐng)導(dǎo)，要求加其社交軟件詳聊。加上好友后，對方便以有急事需要資金周轉(zhuǎn)為由，要求李先生向其轉(zhuǎn)賬，還保證事后錢款一定返還。對方還主動打來視頻電話。看到視頻那頭出現(xiàn)的確實是“領(lǐng)導(dǎo)”，李先生瞬間放下戒備，分3筆向?qū)Ψ絽R款95萬元。當(dāng)天下午，李先生與朋友聊天時提起這件事，越想越覺得不對勁，于是報警。

接到報警后，天津警方迅速與銀行開啟聯(lián)動機(jī)制，及時對3張銀行卡進(jìn)行緊急止付操作。銀行成功凍結(jié)了涉案資金83萬元。據(jù)民警介紹，不法分子利用AI技術(shù)，將他人的臉換成熟人或親人的臉，冒充詐騙對象的重要關(guān)系人，通過合成“以假亂真”的視頻或照片來實施詐騙。

香港警方也披露過一起多人“AI換臉”詐騙案，涉案金額高達(dá)2億港元。據(jù)央視新聞報道，一家跨國公司香港分部的職員受邀參加總部首席財務(wù)官發(fā)起的“多人視頻會議”，并按照要求先后轉(zhuǎn)賬多次，將2億港元分別轉(zhuǎn)賬15次，轉(zhuǎn)到5個本地銀行賬戶內(nèi)。之后，其向總部查詢才知道受騙。警方調(diào)查得知，這起案件中所謂的視頻會議中只有受害人一個人是“真人”，其他“參會人員”都是經(jīng)過“AI換臉”后的詐騙人員。

與AI換臉視頻相比，AI合成語音在詐騙中更難辨別。全球安全技術(shù)公司邁克菲（McAfee）發(fā)布的調(diào)查報告指出，只需提供3-4秒的錄音，網(wǎng)絡(luò)上的免費AI工具就能生成相似度達(dá)到85%的克隆人聲。在參與調(diào)查的7000多位全球受訪者中，有70%的人不確定是否能分辨 AI 合成語音，而大約有10%的人遭遇過AI語音詐騙。

在社交媒體上，有不少留學(xué)生發(fā)帖表示曾遇到利用AI合成本人語音，對在國內(nèi)的父母進(jìn)行的詐騙。這些詐騙以綁架為名，放出AI合成的求救語音，同時利用時空差，在造成恐慌的心理下騙取大量金額。

預(yù)防信息泄露，用心識破AI騙局

我們從上面的案例不難看出，人工智能是把雙刃劍。從細(xì)分行業(yè)來說，有越來越多的金融機(jī)構(gòu)引入了人工智能來開展客戶服務(wù)，這也給了不法分子可乘之機(jī)。有消費者接到自稱是保險公司客服電話，要求提供銀行卡信息并支付“續(xù)期保費”，結(jié)果被騙取錢財。在這背后，是不法分子利用人工智能模擬保險公司客服人員的聲音或聊天機(jī)器人，通過電話聯(lián)系消費者，誘導(dǎo)其泄露個人信息。

說到這里，我們發(fā)現(xiàn)當(dāng)下利用 AI 技術(shù)的詐騙手段呈現(xiàn)出門檻更低，效果更逼真的趨勢，那面對AI新型騙局的各類場景，我們應(yīng)該如何提高防范意識和應(yīng)對能力呢？

AI技術(shù)上確實能做到換臉、擬音，但要實現(xiàn)騙局，首先得收集到被換臉對象的個人身份信息、大量人臉照片、語音，通過AI生成以假亂真的音視頻；竊取被換臉（聲）對象的社交軟件號碼；掌握詐騙對象個人身信息，熟悉其社會關(guān)系等。這就提醒我們，要增強(qiáng)個人信息保護(hù)意識，不在社交平臺上發(fā)布機(jī)票、證書、照片等包含姓名、身份證號、手機(jī)號、關(guān)鍵位置等個人信息的圖片，不輕易提供人臉、指紋等生物信息給他人。

對一些冒充名人網(wǎng)絡(luò)營銷或者生成虛假新聞的，如何辨別，或者怎么識別是否AI換臉、變聲呢？業(yè)內(nèi)專家提醒，一方可以檢查面部特征，觀察表情、動作以及聲音和口型的匹配度；另一方面，核實信息來源，讓對方用手遮住面部或進(jìn)行其他面部動作判斷畫面是否連貫。

AI合成視頻往往在面部細(xì)節(jié)上存在較為顯著缺陷：微表情缺失（如眼角細(xì)紋、嘴角抽動難以捕捉）、光影不匹配（輪廓和陰影過渡不符合光線反射規(guī)律）以及皮膚過于光滑（缺乏毛孔、紋理和瑕疵）。在眼神與表情方面，眼球運動機(jī)械化（轉(zhuǎn)動不連貫、眨眼頻率異常），面部表情僵硬（轉(zhuǎn)換生硬、笑容缺乏真實感）。

雖然聲音克隆技術(shù)近年來取得了顯著進(jìn)步，幾乎能夠達(dá)到以假亂真的程度。仔細(xì)聽聽可以發(fā)現(xiàn)，AI生成的語音通常更加流暢，語速更快，且較少出現(xiàn)‘額’‘嗯’‘也就是說’等語氣詞或停頓，聽得多了，還是能識別出AI生成的聲音。

結(jié) 語

AI亂象面前，消費者提高警惕的同時，政府監(jiān)管也要跟得上、跑得快。我國相繼頒布了《生成式人工智能服務(wù)管理暫行辦法》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等法律法規(guī)，目的就是規(guī)范AI應(yīng)用。

AI技術(shù)要想造福于民，監(jiān)管與提升大眾防范意識必不可少。只有不斷提高違法行騙成本與難度，提升公眾鑒別真?zhèn)我庾R，才能杜絕AI技術(shù)淪為技術(shù)行騙的工具。

——The End——