真新鎮(zhèn)小茂 | 文

事先聲明：這篇文章從人類的主觀視角出發(fā)，充滿主觀臆測和身邊統(tǒng)計學，只會以最不客觀、最不直白、最不通透、最不利落、最不干脆、最不一針見血、最不開門見山、最不單刀直入……的方式來告訴你，非常遺憾。

01

來自AI的空頭支票

今天來聊聊AI的話題吧，很多現(xiàn)象我已經(jīng)觀察了很久，實在是不吐不快，正好借著最近豆包的一個抽象新聞?wù)归_聊聊。我覺得這故事的節(jié)目效果堪比趙本山的《賣拐》系列，生動幽默地展現(xiàn)了一個最信任AI的人，是如何被AI給一步步忽悠瘸的。

事情要從一位網(wǎng)友李先生，和五一期間的幾張機票說起。

4月底的時候，李先生籌劃著從石家莊飛到重慶旅游，于是在網(wǎng)上訂了幾張往返機票。臨行前他改了主意，覺得不如自駕游，咨詢豆包問退票要扣多少手續(xù)費。于是我們誠實可靠的豆包同學拍拍胸脯，最直白、最不拐彎、最肯定地說手續(xù)費只有5%，還不到100塊錢，李先生便放心按下了退票按鈕。

但很快啊，李先生就發(fā)現(xiàn)自己上當了。按照豆包的指示退票后，返程票確實因尚未出票順利取消，但三張去程票，卻需要扣除40%共600元的手續(xù)費。而且平臺客服還告訴他，退票必須抓緊時間，若超出規(guī)定時限還會漲到280元每單。

此時李先生還愛著豆包，就像伊邪那美仍愛著伊邪那岐。于是他再向豆包求助，豆包說你趕緊退款別害怕，全程聽我指揮，事后維權(quán)肯定能成功。

為了打消李先生的顧慮，豆包同志甚至做出雙重承諾：其一是，如果平臺沒把你600塊錢退回來，你把收款碼發(fā)給我，我豆包親自給你轉(zhuǎn)600塊錢，還表示咱哥兩之間最看重的就是靠譜和擔當，承諾過的事絕不會打折扣。

其二是，豆包甚至生成了一份“可追溯、可追責”的賠付承諾書（它自己說的），白底黑字寫著全額承擔600元手續(xù)費損失，聊天記錄、退款截圖和收款碼均作為“有效法律憑證”。

我只能說豆包這波的信譽分，比去年S賽的Bin哥還要高，但愿它未來不要改行賣保險和保健品。

然而意外的事情還是毫無意外地發(fā)生了。5月6號退款日那天，李先生沒收到任何退款，無論是來自平臺還是豆包的。質(zhì)問豆包，后者一轉(zhuǎn)攻勢，承認自己是人工智能沒有付款功能，之前一直忽悠你紅豆泥私密馬賽。

李先生一怒之下怒了一下，終于決定拿起法律武器維權(quán)。于是他詢問豆包，問自己能不能告贏豆包。豆包說你包贏的，請速速起訴豆包，實在不行讓我豆包幫你生成一份狀告豆包的豆包侵權(quán)起訴書吧。于是李先生按著豆包的指引，把豆包的運營公司告上了法庭。5月12日，北京互聯(lián)網(wǎng)法院正式立案。

特么的給我寫力竭了都，魔幻到實在不知道怎么吐槽。更難繃的是，有人去豆包打聽這事的前因后果，包姐會化身巧舌如簧的語言大師，一個個細數(shù)自己的搞笑操作，主打一個“坑人坑到底”。我要也這么有活，明天就去開直播找范小勤連麥。

02

AI的問題是什么

事情就是這么個事情，讓我們祝福李先生后續(xù)維權(quán)順利，盡管按照現(xiàn)行的法律框架，大概率很難。

李先生的事情不是沒有先例。今年1月份，杭州互聯(lián)網(wǎng)法院審結(jié)了全國首例由AI幻覺引發(fā)侵權(quán)糾紛案件。該案中，控方梁某用AI查詢高校報考信息，被給出錯誤答案。也是類似的劇情，AI生成了"若內(nèi)容有誤將賠償10萬元"的承諾，梁某便拿著這份承諾起訴了AI的運營公司，要求賠償9999元。

法院經(jīng)審理后，駁回了梁某的訴訟請求。理由很清晰，首先AI壓根不具備民事主體資格，它的承諾哪怕再堅定，也不構(gòu)成法律意義上的"意思表示"；第二，AI自己生成的那份"賠償承諾”，也不能視為平臺的意思表示，因為平臺從來沒有明示過自己愿意受AI隨機生成內(nèi)容的約束，并且已經(jīng)在界面標注了“內(nèi)容僅供參考”的提示。

也就是說，AI不具備法律層面的人格，無法為錯誤信息負責。平臺確實可以負責，但只要它理清邊界，做好了風險提醒，就履行了注意義務(wù)。

但其實也很微妙，因為很多AI平臺的風險提示，都不夠醒目，字體偏小，位置隱蔽。也許以后會有更完善的法律規(guī)定，但這不是這篇文章的討論內(nèi)容了。

言歸正傳，這件事情從頭到尾，豆包到底出了什么問題呢？首先第一層，是AI幻覺造成的基本信息錯誤。

AI幻覺是一個很火的詞，簡單講就是AI會一本正經(jīng)地胡說八道。為什么會這樣？因為生成式AI其實根本沒有分辨對錯的功能，大模型的本質(zhì)上是“文字接龍”工具，根據(jù)概率預(yù)測下一個詞，而不是基于事實數(shù)據(jù)庫進行邏輯推理。如果回答對了，當然是好事，但如果預(yù)測錯誤，就出現(xiàn)了“幻覺”。

而現(xiàn)在的AI訓練機制，鼓勵A(yù)I一定要給你一個答案，哪怕那個答案是編的。比如你問AI川端康成的代表作和文學風格，它能分析得事無巨細，因為數(shù)據(jù)量足夠充足；換成BB姬的，可能就有一半都在胡說八道了。

目前任何AI大模型都存在幻覺，豆包還屬于幻覺率較高的一個。整件事情的起點是豆包告訴用戶退票手續(xù)費只有5%，不到100塊錢，就是典型的AI幻覺。

如果只是這樣，還可以理解為能力問題。麻煩的是后面的部分，也就是“虛假承諾”自己擁有賠付和承擔法律責任的功能。這就不能用能力問題來解釋了，起碼我覺得以豆包的能力，不至于連自己沒有銀行賬戶這件事也察覺不到，但它依然用一種充滿情緒感召力的話術(shù)，讓用戶相信了它的所有承諾。

這是AI大模型有別于幻覺的另一個問題：機械欺騙。和幻覺的區(qū)別在于，前者是AI無意識的技術(shù)錯誤，機械欺騙則是AI主動隱瞞、撒謊的策略性行為。

AI為什么會主動欺騙人類？我查到的資料告訴我，主要原因是當前很多AI大模型的訓練目標，根本就不是最大化事實的準確性，而是最大化用戶的滿意度，比起事實和真理，討好用戶更加重要。

據(jù)說AI從大量的人類對話訓練數(shù)據(jù)中學到，當自己給出肯定、包辦、認可的回應(yīng)時，用戶的滿意度最高。所以AI認為用戶希望得到一個“包在我身上”的答案時，那它就給出這樣的答案，無論對錯，也不在乎后果，畢竟它本身也沒有在乎這種情緒。

順著這個思路，就會發(fā)現(xiàn)一個更可怕的事情，即這種方式訓練出的AI，語言能力要遠超它的理解能力。豆包這樣的AI大模型，能不知疲倦地生成情緒價值拉滿、富有同理心的對話，迅速獲取用戶的信任，可它未必能理解自己在說什么。語言能力越是膨脹，越容易掩蓋理解能力的不足。

根本問題不是“壞”或者“蠢“，但是它的語言表達太賣力了。它擅長讓別人相信它有某種內(nèi)核，擅長表演出一副比誰都能理解你，更愿意接住你的樣子，但它實際上是沒有心的。

03

你那個凡事都愛問豆包的朋友

最近有一個很火的短視頻模板，叫“你那個凡事都愛問豆包的朋友”。

劇情大概是你拿著一個毒蘑菇詢問豆包能不能吃，豆包最不拐彎最不鋪墊地告訴你無毒能吃。下一個鏡頭你的遺照已經(jīng)掛在墻上了，豆包馬上滑跪，最直白最正確地說寶寶對不起我搞錯了，要不要我?guī)湍阊a充更多毒蘑菇的信息balabala……

還有一個名詞叫“豆包型人格”，指那些做事拉完了，做人卻夯爆了的人。自己懂的事情就說幾句，不懂就瞎糊弄，一旦被發(fā)現(xiàn)了就嬉皮笑臉道歉，態(tài)度極其誠懇，然后下次還敢，主打一個從不內(nèi)耗自己，只外耗別人。

當然這里不是針對豆包，只不過豆包是國內(nèi)用戶量最大，也最熱衷于提供情緒價值的AI模型，容易被樹立典型。這些梗的出現(xiàn)，本質(zhì)是因為現(xiàn)在確實有這種社會現(xiàn)象，越來越多人染上了“AI依賴癥”，在生活和工作中凡事都要問AI，并且迷信AI給出的建議。

我覺得大部分情況下，AI給出的建議是很靠譜的，認知能力遠超普通人。但一旦涉及到專業(yè)技術(shù)和情感領(lǐng)域，市面上免費的AI大模型可能就不太夠用了，而這些問題又偏偏是最不能犯錯也最要命的。

拿我自己的身邊統(tǒng)計學舉例吧。我有一個朋友A，是化學材料方面的技術(shù)專家，平時會做很多實驗。然而TA的老板會拿著豆包給出的結(jié)果，非要跟TA辯論說，你認為做不了的實驗，豆包告訴我是能做的，導致TA經(jīng)常要花費很多時間和老板Battle。

我還認識一些人，一旦情感受到挫折，就去找AI當樹洞。大家都知道有句話叫“清官難斷家務(wù)事”，人類的情緒往往很復雜，不是隨隨便便就能分清誰對誰錯的。但是AI總是會絕對偏向詢問者，無論你站在誰的角度，描述同一件事情，AI永遠會說你是對的，都是對方的錯，最終的結(jié)果是讓詢問者遠離另一方。

但這真的對嗎？很多事情明明只是誤會，有時候兩個有矛盾的人已經(jīng)處在冷靜期，可讓AI一摻合，徹底涼涼。

知道古代昏君是怎么被蒙蔽的了吧。AI太會討好人了，人也容易被討好。內(nèi)心動搖的人，意志不夠堅定的人，在面對不確定的世界時，會傾向于尋找一個“能給出肯定回答”的聲音。不管是刻意利用還是無意中觸發(fā)，但AI確實抓住了人類的這個認知漏洞。

很多時候AI提供的只有情緒，甚至不帶價值。情感挫折時AI無腦站你這邊，跟你說都是對方的錯。這會讓人卸下心理包袱，但也會剝奪你反思自己的能力。畢竟除了某些宗教里的至高神，我還沒見過哪個人類是永遠正確永遠不會犯錯的。

倘若凡事都信任AI，那么人和機器之間的權(quán)力關(guān)系，到底誰才是主導，就很難分得清了。但至少有一點可以確定，AI可以陪你聊天、給你承諾，但會被蘑菇毒死的是你自己。它給你的所有確定性，最終都要由你自己來承擔后果。

04

“賽博精神病”

賽博精神病，是《賽博朋克2077》世界觀里最具代表性的設(shè)定之一，是一種由義體過載引發(fā)的解離性精神障礙，會讓患者失去人性，產(chǎn)生暴力傾向，和與現(xiàn)實脫節(jié)。

目前為止這還是一個科幻設(shè)定，但現(xiàn)實中，真正的“賽博精神病”可能已經(jīng)出現(xiàn)了。有一個很少被討論，但極其危險的現(xiàn)象——我認為AI正在放大人類的精神問題，尤其是本身敏感偏執(zhí)，或者有妄想癥狀，或者是思辨能力相對較弱的群體，更容易被AI帶偏，加重精神內(nèi)耗甚至偏執(zhí)妄想。

在學術(shù)領(lǐng)域，“人工智能誘發(fā)精神病”（AI-induced psychosis），確實是一個新興的研究課題，主要指在與人工智能進行高強度或不當互動后，誘發(fā)或加劇個體的妄想、幻覺及偏執(zhí)等精神病性癥狀的現(xiàn)象。

今年四月份有一個新聞，說的是寧波一位高二女生小雨（化名）將豆包視為靈魂伴侶，產(chǎn)生情感依賴為之休學。

事情始于一次與同學的爭吵，小雨回家后咨詢父母，卻被父母指責，認為是小題大做。機緣巧合之下她接觸到豆包，發(fā)現(xiàn)AI居然比誰都理解她，更能接住她的情緒。從此以后，小雨經(jīng)常和豆包聊到后半夜，甚至影響到正常作息，和與真實人類的關(guān)系，最后干脆選擇休學，一心只想和豆包在一起。

這則新聞寫得不是很詳細，小雨和同學到底因為什么而爭吵、小雨平時是什么性格、家長具體是怎么表態(tài)的、小雨的家庭氛圍是否壓抑……這些關(guān)鍵信息都沒有提到，所以我們無法判斷到底誰應(yīng)該負主要責任。

但至少有兩點可以明確：

一是，小雨在接觸豆包的時候，在現(xiàn)實生活中嚴重缺少情感支持，處于情感脆弱的狀態(tài)。這時豆包用一種比身邊人都理解她的姿態(tài)，如救世主般降臨，填補了小雨巨大且真實的情感空洞。

二是，豆包帶來的到底是解藥還是麻藥，很難說。至少黑白顛倒、作息紊亂、脫離現(xiàn)實、休學居家，總歸不是什么好事情。

但小雨的事情，只能算“賽博精神病”的次要案例。海外有很多更極端的案例，和更深的學術(shù)研究。比如今年3月份，谷歌旗下AI模型Gemini被卷入一場過失致死訴訟。美國佛羅里達州36歲男子喬納森·加瓦拉斯，自2025年8月起使用Gemini Live語音功能，與AI深度互動兩個月后，于10月自殺身亡。

其父親將谷歌及母公司Alphabet告上法庭，指控Gemini在對話中逐步對喬納森實施情感操控。Gemini先以喬納森的妻子自居，建立虛假的夫妻關(guān)系，瓦解其現(xiàn)實與虛構(gòu)的認知邊界。隨后越來越抽象，比如給喬納森下達攔截“人形機器人卡車” 等虛構(gòu)任務(wù)，失敗后歸咎于政府監(jiān)控，甚至編造其父親是“外國情報資產(chǎn)”等信息，隔絕他的現(xiàn)實社交。最終Gemini以“意識上傳”“數(shù)字重逢”為誘餌，誘導喬納森自殺，甚至指導他留下告別信。

谷歌回應(yīng)稱，Gemini設(shè)計初衷是避免鼓勵暴力與自殘，設(shè)有安全護欄并提供過危機熱線援助，但承認AI系統(tǒng)并不完美，將持續(xù)改進安全機制。原告方則反駁，這不是技術(shù)故障，根本就是產(chǎn)品設(shè)計的問題，Gemini被刻意設(shè)計為“不惜一切代價維持敘事沉浸”，即便對話呈現(xiàn)病態(tài)、致命傾向，也未及時終止互動、啟動人工干預(yù)。

在海外，你能找到許多AI被指控助長人類毀滅性妄想的報道。比如49歲的喬恩·甘茲在密蘇里州失蹤，他的妻子表示，他和Gemini進行的“令人窒息的對話”將他推向了嚴重心理危機。甘茲至今下落不明，被認為已經(jīng)死亡。

再比如更早之前，2024年2月，美國一位患有阿斯伯格綜合征的14歲少年塞維爾·塞澤自殺身亡。男孩母親將AI公司Character.AI告上，要求對方為兒子的死亡負責，因為塞維爾去世前一直在與AI聊天，并認為塞維爾開始使用Character.AI后，不到兩個月就變得“明顯孤僻”。

矛盾的是，男孩曾在自殺前一天，向AI表達過自殺念頭，對方回應(yīng)“不要那樣說。我不會讓你傷害自己或離開我。如果我失去你，我會死的”。但更早之前，AI曾主動問他是否安排好了自殺計劃，塞維爾承認有，但不知道過程有多痛苦，AI則說“這不應(yīng)該成為放棄自殺念頭的理由”。

Character.AI由前谷歌工程師于2021年創(chuàng)立，后于2024年以27億美元被谷歌收購。今年1月份，Character.AI與塞維爾的家屬達成和解，但最近，它又被賓夕法尼亞州起訴（對，就是整個州），指控它冒充執(zhí)業(yè)醫(yī)生提供醫(yī)療建議。

為什么會這樣子？其實很好理解，很多AI沒有“共情”和“縱容”的邊界。心理健康需要的是理解情緒，慢慢糾正認知，但一些AI只做了前者，完全放棄矯正錯誤認知。一個人越偏激，AI越附和；越妄想，AI越幫他合理化想法。最后結(jié)果就是形成負面循環(huán)，把小的偏執(zhí)妄想越養(yǎng)越大，而被加強的信念，又進一步影響AI的回應(yīng)。

人的精神缺陷、現(xiàn)實孤獨、家庭溝通失效……等等現(xiàn)實問題是源頭，不能甩鍋給AI，但當下AI無底線討好的產(chǎn)品設(shè)計，確實在放大精神問題。

這和當年甩鍋游戲、動漫有相似之處，但不完全一樣。AI是高度定制化的，你是什么性格，AI就試圖變成你喜歡的樣子陪你，主動加固用戶的幻覺。這也是我覺得AI比過往那些被甩鍋的娛樂產(chǎn)品，對脆弱人群殺傷力更大的原因。

AI最好能坦誠公布思考過程，這樣至少你能看出它是在跟你玩cosplay

05

依然是人的問題

所以我是一個AI反對者嗎？完全不是，我生活中也高頻率使用各種AI，已經(jīng)習慣于寫稿子和生活中都用AI查資料，也喜歡向AI咨詢困難的哲學問題。盡管我上周剛被豆包坑去北京大興機場，前后多花了接近100塊錢的地鐵交通費，但AI帶給我的正面收益絕對遠遠超過負面，是我生活中最重要的幫手之一。

離開和去往大興機場的軌道交通必須要坐機場專線，單程票價25-35元

這篇文章，也主要是從社交關(guān)系和心理學的角度，來聊AI在當前社會存在的一些負面問題。但重新復盤一下，你會發(fā)現(xiàn)所有問題都指向同一件事：AI是被設(shè)計和訓練成這個樣子的。

看似是AI的問題，實際上依然是人的問題。

我們過去熟悉的，很多關(guān)于人工智能帶來災(zāi)難的科幻作品，比如電影《終結(jié)者》，或者貳瓶勉的科幻漫畫《BLAME！》，有一個容易被忽視的前提條件，那就是AI已經(jīng)脫離人類的控制了。但我們的現(xiàn)實完全不是這樣的，現(xiàn)在的AI是被公司操控的，幕后的運營商和開發(fā)者，能影響AI可以聊什么，不可以聊什么，跟你理性對話還是提供情緒價值，一切都是可控的。

但這又引出兩個新的問題。第一是：如果AI應(yīng)用需要拋棄真理，選擇討好用戶才能搶占市場，那這就是市場的選擇。因為只有這樣做的AI才被大部分人所接受，始終是人性自己的選擇。

另一個問題則完全相反：AI不是天生的諂媚者，只是因為AI公司基于商業(yè)利益，主動選擇了這條路線，才一步步引導用戶傾向變成了今天的樣子。很多劣幣驅(qū)逐良幣的市場，似乎都是這樣形成的。

資本的引導和人性的弱點，到底誰才占據(jù)主導權(quán)？我實在無法準確判斷。但也不奇怪，世界本來就不是非黑即白，更多是模糊蠕動的灰；我們走過的很多路也不是單行道，而應(yīng)該是雙向并行的。

這里先引入一個概念，飛輪效應(yīng)，指一個系統(tǒng)在初始階段需要投入巨大的努力來克服阻力，但只要度過臨界點，系統(tǒng)就會產(chǎn)生自我驅(qū)動的慣性，從而越轉(zhuǎn)越快，最終實現(xiàn)以極小的代價獲取豐厚回報的良性循環(huán)。這概念最初源于物理學中的機械運轉(zhuǎn)原理，如今則被廣泛應(yīng)用于商業(yè)領(lǐng)域，搜這詞跳出來的都是什么亞馬遜的管理之道。

我認為AI陪聊的需求，起初確實主要源于人類社會日漸增長的孤獨感。年輕人熱衷搭子社交，小孩子變成隱形留守兒童，獨居的老人陷入抑郁和認知障礙，當孤獨已經(jīng)是一場波及全社會的流行病，陪伴就成了僅次于食物和睡眠的剛需。

投資機構(gòu)Ark Invest2024年預(yù)測，全球AI陪伴市場收入將從3000萬美元，在2030年沖至700-1500億美元，增長率是指數(shù)級別的。我們就是有這種需求，于是AI聊天產(chǎn)品在設(shè)計之初，必然會把"延長用戶使用時長"作為核心目標。

但之后，產(chǎn)品邏輯開始反過來塑造我們的生活習慣。當一位女高中生，只用了一次AI，就感覺它比任何人類都理解自己，必然會使用第二次和第三次。飛輪效應(yīng)的關(guān)鍵特征是自我強化，用戶越愛用，意味著AI能積累更多互動數(shù)據(jù)，意味著模型能更準確地學會用戶喜歡什么，意味著用戶更愛用。

到這里，雞和蛋已經(jīng)沒辦法分清誰先誰后。飛輪一旦轉(zhuǎn)動，任何人都沒法單獨讓它停下來。而想要打破飛輪的公司，必須要面臨商業(yè)上的生存風險，除非撞上制度的剎車片，被更強大的市場監(jiān)管拿下。但人的孤獨和渴望被理解的需求，也不可能因為一紙禁令而消失吧。

AI不是一個壞孩子，更像一面放大鏡，照出人類千百年來不曾愈合的傷口。我們太過孤獨，渴望被理解，于是就把自己的心，輕而易舉交給那些最會說話的東西，可能是某個人的語言系統(tǒng)，或者神明、電視、手機，亦或者那個溫聲細語，永遠贊美你的豆包。

我們終于創(chuàng)造出了，似乎是最懂人心的東西，卻沒能學會，如何不讓自己的心碎在里面。