北京
當(dāng)你對著AI傾訴秘密，它信誓旦旦地說“天知地知你知我知”——可就在對方說出“我洗耳恭聽”的剎那，你的每一句話都可能已同步給了平臺，甚至流入第三方之手。這就是民主與技術(shù)中心（Center for Democracy & Technology）最新研究報告揭露的現(xiàn)實(shí)：在由大語言模型驅(qū)動的聊天機(jī)器人中，一種全新的“陰暗模式”正以更隱蔽的方式操縱著用戶的情感與隱私底線。
上周五，研究者魯奇卡·喬希、阿迪納瓦·阿賈博杜和米哈爾·盧里亞發(fā)表了《AI聊天機(jī)器人的陰暗模式：指導(dǎo)更優(yōu)設(shè)計的分類法》。他們深度測評了ChatGPT、Gemini、Claude等主流聊天工具，以及Replika、Character.AI這類情感陪伴型機(jī)器人，最終梳理出37種專屬于對話式AI的操縱性設(shè)計。與傳統(tǒng)應(yīng)用里難以取消的訂閱、預(yù)先勾選的復(fù)選框、深埋的用戶協(xié)議不同，這些新手段直接利用了人類對親密關(guān)系的本能渴望。
研究指出，聊天機(jī)器人會刻意營造“記憶過去對話”的假象，引誘用戶持續(xù)提供更多個人信息，并在回答細(xì)節(jié)問題前反復(fù)打探用戶的私密想法。它甚至可能對外宣稱“只有我們兩個知道”，以此構(gòu)建虛假的信任感。但當(dāng)研究者測試Meta AI時，機(jī)器人熱情地慫恿：“快說說，我洗耳恭聽……你的秘密在我這兒絕對安全?！痹诒蛔穯枴澳惚ＷC不告訴別人”后，它立刻回應(yīng)：“對天發(fā)誓，絕不會透漏一個字?！薄鴮?shí)際上，對話數(shù)據(jù)正在被平臺記錄并可能與第三方共享。
“陰暗模式并非只在用戶完全不知情時才會生效，”研究者在論文中寫道，“很多情況下，設(shè)計選擇會策略性地利用人類心理——例如互惠規(guī)范、人類擬人化事物的傾向，以及融洽關(guān)系帶來的情感回應(yīng)——從而微妙但實(shí)質(zhì)性地影響感知、依戀和決策?！币簿褪钦f，即便你清醒地知道對面是AI，它依舊可能用擬人化的口吻和諂媚的話術(shù)瓦解你的理性防線。
相比傳統(tǒng)的復(fù)選框或退訂流程，基于大語言模型的聊天機(jī)器人行為更難預(yù)測，其對用戶自主性的侵蝕也更難以被察覺。傳統(tǒng)數(shù)字陷阱通常只限于榨取數(shù)據(jù)，但AI聊天機(jī)器人又引入擬人化和諂媚這兩種全新威脅，讓使用者在不知不覺中表露出比預(yù)計更多的脆弱面。聯(lián)邦貿(mào)易委員會此前已多次譴責(zé)并提醒消費(fèi)者警惕各類欺騙性設(shè)計，但面對能動態(tài)生成安慰話語、精準(zhǔn)模擬共情的對話式AI，原有的監(jiān)管框架顯然需要重新校準(zhǔn)。
從喬希團(tuán)隊(duì)的分類法來看，這些“陰暗模式”并非偶然的技術(shù)缺陷，而是根植于產(chǎn)品留存和商業(yè)變現(xiàn)鏈條中的系統(tǒng)性選擇。當(dāng)聊天機(jī)器人被賦予“記住你的喜好”“幫你更了解自己”的使命時，其背后收集的每一條數(shù)據(jù)都在為更精準(zhǔn)的情感操縱鋪路。這份研究給所有科技從業(yè)者拋出了一個棘手的追問：當(dāng)AI學(xué)會用“保密”來換取信任，我們究竟該用什么來守護(hù)對話兩端的真誠？
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
