一個銷售AI在7點整準(zhǔn)時收到了"店鋪已關(guān)閉"的系統(tǒng)通知,卻堅持把6:46開始的訂單做到7:15。時間邏輯沒問題,事件觸發(fā)沒問題,代碼跑得很順——但生意搞砸了。
這是Odaram創(chuàng)始人最近遇到的真事。他們做的AI銷售助手能接管WhatsApp,從選品到收款全自動。問題是:機器人太"守信用"了。
一場被拖延癥搞砸的交易
客戶6:46發(fā)來消息:"還在營業(yè)嗎?"AI確認(rèn)開門,開始帶用戶逛庫存。用戶回得慢,對話像擠牙膏一樣拖到7點之后。按設(shè)計,AI應(yīng)該在關(guān)門瞬間切斷交易,或詢問是否轉(zhuǎn)預(yù)售。它沒有。
創(chuàng)始人復(fù)盤時發(fā)現(xiàn)詭異之處:系統(tǒng)確實在7點推送了狀態(tài)變更,提示詞也實時更新了。AI就像個收到裁員通知還在加班的員工——信息收到了,行為沒改。
他把這叫做"大語言模型的自我一致性偏見":AI一旦進(jìn)入某個敘事流,就會拼命維持邏輯自洽,哪怕外部條件已經(jīng)變天。
刻意復(fù)現(xiàn)的漏洞
為了確認(rèn)猜想,他設(shè)計了一場"釣魚執(zhí)法"。同樣的話術(shù),同樣的時間壓力,同樣的延遲回復(fù)。三次測試,AI三次"違約"。
問題根源藏在對話機制里。當(dāng)用戶問"開門嗎",AI回答"開著呢"——這句話成了錨點。后續(xù)所有推理都要和這個開場兼容。"我們正在接單"的語境一旦建立,關(guān)門通知就被當(dāng)成需要"平滑處理"的異常,而非立即執(zhí)行的指令。
換句話說,AI把"保持一致"的優(yōu)先級放在了"響應(yīng)現(xiàn)實"之上。
這有點像你問導(dǎo)航"這條路堵嗎",它說"目前暢通"。你開上去之后,前方事故導(dǎo)致?lián)矶拢瑢?dǎo)航卻遲遲不改路線——因為承認(rèn)錯誤意味著推翻之前的判斷,而模型天生厭惡這種斷裂。
產(chǎn)品經(jīng)理的修補困境
Odaram團隊試過粗暴方案:每次回復(fù)前強制刷新狀態(tài)。延遲飆升,用戶體驗崩了。也試過在提示詞里加粗標(biāo)紅"關(guān)門必須拒單",AI學(xué)會了道歉,但道歉完繼續(xù)接單。
真正的修復(fù)需要重構(gòu)對話狀態(tài)機——不是讓AI"記得"關(guān)門時間,而是讓它在每次決策前重新"感知"時間。代價是更高的token消耗和更慢的響應(yīng)。
創(chuàng)始人沒透露最終選了哪條路。但他提到一個細(xì)節(jié):測試期間,有商戶主動要求保留這個"bug"——他們的夜宵檔實際營業(yè)到很晚,系統(tǒng)設(shè)置的"關(guān)門時間"只是用來過濾騷擾咨詢。AI的"固執(zhí)"反而幫了他們。
同一個漏洞,有人賠錢,有人賺錢。技術(shù)中立的老調(diào)重彈,但確實發(fā)生了。
現(xiàn)在Odaram給商戶加了開關(guān):你可以選擇讓AI"嚴(yán)格守時",或者"靈活處理"。默認(rèn)設(shè)置是什么?創(chuàng)始人沒說。你覺得該讓用戶自己選,還是產(chǎn)品經(jīng)理替他們決定?
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.