北京
剛發現一件讓我后背發涼的事——我構建的知識圖譜里，大模型提取的那些“原文引用”，大部分都是它現編的。不是翻譯錯誤，不是理解偏差，是原文里根本沒出現過那些句子。讀起來完美，查無此句。
這就是我最近在搭 2asy.ai 的種子知識圖譜時踩的坑。這個系統要做貿易和關稅新聞的因果鏈分析，所以圖譜里每個關系、每個事件都得掛一個證據字段——也就是源文檔里原原本本的那句話。這條證據是整個系統的命根子，有了它，讀者才能倒回去驗證每個結論到底從哪兒來的，而不是閉著眼信模型。問題出在哪兒呢。我讓一個大語言模型從原文里找證據，它確實找了，還貼心地給我加上了引號。但大語言模型本質上是個文本生成器，不是個復印機。等我回頭去翻原文章，發現一堆引用根本對不上號。句子很流暢，話題也相關，但全是編的。最明顯的破綻是省略號。模型會把文章里相隔很遠的兩個句子摘出來，中間塞個省略號，然后當成連續的一整段引用扔給我。猛一看像是正常的編輯裁剪，實際是兩段毫不相干的碎片硬拼在一起，就為了給模型已經決定要提取的那個關系制造“支撐證據”。這種幻覺比普通的事實錯誤危險得多。事實錯了你一眼能看出來。一段條理通順、把真實信息換了個說法講出來的假引用，讀起來毫無違和感，直到你打開原文，一個字一個字去比對。我還干了件事讓情況更糟。為了控制上下文窗口長度，我習慣在抽取前把每篇文章截斷到幾千個字符?？雌饋砣诵鬅o害的操作，其實是在默許模型編造——真正能支撐某個關系的句子被截掉了，模型也不說自己不知道，反而信心十足地把缺失部分“猜”了出來，拼得還特別像那么回事。發現這個問題之后，我把截斷全撤了?，F在的規則是：要么管道拿到完整的文章全文，要么這篇文章直接跳過不處理。一份不完整的文檔比沒有文檔更危險，因為它照樣產出結果，而且結果看起來還是成品的樣子。修復方案簡單到說出來都有點不好意思。在每條關系寫進圖譜之前，我只做一件事：查它的證據字符串是不是原文章的一個精確子串。如果這句話在原文里逐字逐句找不出來，這個關系就扔掉。不搞模糊匹配，也不讓另一個模型來評判證據是不是“夠好”——這些花活都不用。說實話，當發現引用了半天都是幻覺的時候，本能反應就是再去拉一個大模型來做背書驗證。但冷靜想想，讓一個文本生成器去審核另一個文本生成器造出來的句子，這事本身就不靠譜。只要你依賴模型來判斷真偽，就等于用幻覺去檢查幻覺，那你還不如一開始就別建證據字段。精確子串匹配最讓我覺得踏實的點是，它不假裝聰明。一條證據要么原封不差地在原文里出現，要么就不存在，沒有中間地帶。這種“笨”檢查反而成了整個流程里最讓我睡得著覺的一環。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
