北京
你讓一個(gè)容易產(chǎn)生幻覺的模型去檢查另一個(gè)同樣容易產(chǎn)生幻覺的模型，這本身就是一個(gè)問題。在現(xiàn)代生成式人工智能產(chǎn)品的漏洞圖譜里，有一類缺陷幾乎無法用常規(guī)的九種防護(hù)模式去徹底根治，那就是通過聊天界面針對(duì)底層工具發(fā)起的提示注入。
目前常見的緩解手段看似聰明，實(shí)則只是增加了一層不可靠的過濾器。常規(guī)思路是把用戶的提示詞先扔給另一個(gè)大語言模型，讓它充當(dāng)“護(hù)欄”，去判斷意圖是否惡意。但問題是，這個(gè)護(hù)欄跟它所保護(hù)的對(duì)象具備完全相同的屬性：非確定性、容易產(chǎn)生幻覺，并且能被它本應(yīng)攔截的同一種技巧所欺騙。你只是往一個(gè)不可靠的系統(tǒng)上再加了一個(gè)不可靠的檢查器。災(zāi)難性故障發(fā)生的概率可能會(huì)下降，但你并沒有消除它在結(jié)構(gòu)上發(fā)生的可能性。
在做集成開發(fā)時(shí)，我采取了完全相反的路徑。我獨(dú)立搭建的云安全推理引擎Stave，它的AI代理界面是通過模型上下文協(xié)議服務(wù)器來暴露能力的。外部代理只能調(diào)用帶類型限制的方法，比如搜索、比較差異、查找缺口、評(píng)估就緒狀態(tài)以及檢查合規(guī)性。代理拿回的永遠(yuǎn)是結(jié)構(gòu)化數(shù)據(jù)，這里根本沒有所謂的提示詞輸入框，更沒有給代理注入自由文本的通道。真正的“護(hù)欄”是強(qiáng)硬的類型系統(tǒng)。提示注入這類問題在這種架構(gòu)下根本得不到緩解，因?yàn)樗诮Y(jié)構(gòu)上就根本摸不到攻擊面。
這種思路——把一個(gè)問題的觸發(fā)面徹底移除，而不是試圖去降低它的發(fā)生頻率——其實(shí)貫穿著我獨(dú)立開發(fā)這19周以來用AI做代碼生成時(shí)的每一個(gè)有意思的決策。這也引出了一個(gè)值得深入探討的話題：這種結(jié)構(gòu)性的消除策略為什么能適用到更廣的領(lǐng)域，而采用這種策略又需要付出怎樣的代價(jià)。
馬丁·福勒和文卡特·蘇布拉馬尼亞姆歸納出來的那九種模式，針對(duì)它們要解決的問題而言，完全是正確的。如果你在做聊天機(jī)器人、對(duì)話式搜索助手，或者任何由大語言模型直接面對(duì)用戶的產(chǎn)品，那些模式就是必需品。它們是讓你能從一個(gè)無法預(yù)先約束輸出結(jié)果的生成式模型中榨取出生產(chǎn)級(jí)可靠性的手段。不過，這只是在單一場景下的完整解法，如果放到另一種場景下，這種解法就變成了有風(fēng)險(xiǎn)的不完全體。真正的病灶在于：用一個(gè)非確定性去包裹另一個(gè)非確定性，并不能讓你收斂到一個(gè)確定性的結(jié)果上。
仔細(xì)審視這九種模式的架構(gòu)形態(tài)，所有模式都長著同一副模樣：一個(gè)非確定性的系統(tǒng)被另一個(gè)非確定性組件包裹著，試圖讓被包裹的內(nèi)核變得更安全。每一層覆蓋上去的包裝都在降低某一類特定故障的概率，但沒有哪一層真正改變故障可能發(fā)生的空間。充當(dāng)護(hù)欄的大語言模型，同樣會(huì)被攻破主模型的那個(gè)提示詞繞開；負(fù)責(zé)打分的裁判模型，也會(huì)像被它評(píng)判的模型那樣產(chǎn)生幻覺；重排序器同樣可能在判斷哪個(gè)文檔相關(guān)時(shí)出錯(cuò)得理直氣壯。層層加碼確實(shí)讓你在大多數(shù)常規(guī)場景下獲得了概率上的安全感，但發(fā)生災(zāi)難性故障的那條長尾結(jié)構(gòu)，其實(shí)紋絲未動(dòng)。
對(duì)于聊天機(jī)器人來說，這種長尾風(fēng)險(xiǎn)還在可接受范圍內(nèi)。偶爾出現(xiàn)一次異常回復(fù)的代價(jià)尚能消化。可一旦你構(gòu)建的是一個(gè)能夠觸發(fā)數(shù)據(jù)庫寫操作、配置變更或者安全策略調(diào)整的智能體，那這條尾巴上哪怕僅有一次失效，都是無法承受的災(zāi)難。試圖用非確定性手段去解決非確定性問題，本身就存在一種根本不收斂的邏輯悖論。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
