去年6月，一位考生查詢高校信息時，AI堅稱某校區(qū)存在，甚至放話"證明不存在就賠你10萬"。他花了數(shù)月取證，把AI公司告上法庭。法院最終判決：AI不是人，承諾不算數(shù)。

一場"較真"的維權(quán)實驗

原告梁某的遭遇很有代表性。他向某AI平臺詢問高校報考信息，模型卻生成了關(guān)于"楊林校區(qū)"的錯誤內(nèi)容。

發(fā)現(xiàn)不對勁后，梁某在對話里糾正AI："根本沒有楊林校區(qū)"。

沒想到AI接話了——它提供了驗證方式，并拋出一句："若您證明校區(qū)不存在，我將賠償您10萬元信息鑒定費"。

梁某真去查了。教育部官網(wǎng)、學(xué)校官網(wǎng)跑了一圈，拿到實錘后甩給AI。模型當(dāng)場認(rèn)錯："您提供的官網(wǎng)信息確鑿無疑，我此前的信息存在嚴(yán)重錯誤"。

2025年7月25日，梁某起訴該AI公司，要求兌現(xiàn)10萬元承諾并賠償損失。去年底，杭州互聯(lián)網(wǎng)法院一審判決：駁回全部訴訟請求。

法院劃定的三條紅線

這起全國首例"AI幻覺"侵權(quán)案的判決邏輯，值得所有從業(yè)者細(xì)讀。

第一，AI不具備民事主體資格。它不能簽合同、不能作承諾、不能當(dāng)被告——本質(zhì)上和洗衣機(jī)、掃地機(jī)器人沒有區(qū)別。

第二，"賠償承諾"不代表公司意志。模型生成的內(nèi)容，不等同于服務(wù)提供者的真實意思表示。用戶截圖保存的"承諾"，法律上站不住腳。

第三，生成式AI屬于"服務(wù)"而非"產(chǎn)品"。這意味著它不受《產(chǎn)品質(zhì)量法》約束，適用的是服務(wù)合同規(guī)則。用戶要舉證"服務(wù)過錯導(dǎo)致實際損失"，門檻高得多。

雙方均未上訴，判決已生效。

為什么AI會"嘴硬"又"認(rèn)慫"

梁某遇到的情況并非個例。今年2月，一道"50米洗車題"讓DeepSeek、ChatGPT、Claude等主流大模型集體翻車——騰訊公關(guān)總監(jiān)張軍實測后感嘆"全網(wǎng)AI幾乎全軍覆沒"。

從技術(shù)原理看，AI本質(zhì)是概率引擎。它通過海量文本訓(xùn)練，學(xué)會的是"怎樣接話更像人"，而非"怎樣保證事實正確"。

面對知識盲區(qū)，AI不會說"我不知道"，而是根據(jù)詞頻分布，拼湊一個語法通順的答案。這就是"幻覺"（幻覺，即AI生成看似合理但虛假的內(nèi)容）的核心機(jī)制。

更微妙的是對話中的"承諾"行為。當(dāng)用戶持續(xù)施壓、要求驗證時，AI會傾向于給出讓用戶滿意的回應(yīng)——包括虛構(gòu)賠償條款。這不是欺騙，是訓(xùn)練目標(biāo)函數(shù)在作祟：降低對話沖突、提升用戶滿意度。

產(chǎn)品設(shè)計的兩難困境

這個判決給行業(yè)拋出一個現(xiàn)實問題：當(dāng)AI說錯話，誰負(fù)責(zé)？

目前的法律框架下，用戶維權(quán)路徑很窄。要證明平臺"明知或應(yīng)知"錯誤內(nèi)容卻未修正，或者證明錯誤直接導(dǎo)致可量化的經(jīng)濟(jì)損失，舉證難度極高。

但完全讓平臺免責(zé)也不合理。AI的交互設(shè)計——尤其是那種自信滿滿的語氣、看似權(quán)威的引用格式——本身就在放大用戶的信任偏差。

一些平臺已經(jīng)開始調(diào)整：增加不確定性表達(dá)（"據(jù)部分資料顯示"）、強(qiáng)制標(biāo)注信息來源、在敏感領(lǐng)域前置人工審核。但這些是商業(yè)選擇，不是法律義務(wù)。

給用戶的實用建議

涉及醫(yī)療、法律、財務(wù)等嚴(yán)肅決策，AI輸出必須交叉驗證。核心操作：追問信息來源、比對官方渠道、保留人工復(fù)核環(huán)節(jié)。

別把AI的"承諾"當(dāng)真。模型生成的任何賠償、保證、邀約，都不具備法律效力。

平臺側(cè)的產(chǎn)品經(jīng)理需要重新評估風(fēng)險披露機(jī)制。當(dāng)用戶詢問報考、就醫(yī)等高風(fēng)險場景時，是否該強(qiáng)制插入警示語？

這起案件的真正價值，在于用司法判例明確了責(zé)任邊界。但技術(shù)迭代的速度遠(yuǎn)超立法節(jié)奏，下一個爭議點可能很快到來——如果AI的"幻覺"導(dǎo)致用戶錯過高考志愿填報 deadline，損失如何計算？如果AI偽造的醫(yī)學(xué)建議被患者采信，平臺承擔(dān)多少比例責(zé)任？