這項由奧地利維也納工業大學（TU Wien）與KR Labs研究機構聯合開展的研究，以預印本形式發布于2026年5月20日，論文編號為arXiv:2605.21102v1，歸屬計算機科學·計算語言學（cs.CL）領域。感興趣的讀者可通過該編號在arXiv平臺檢索完整原文。

一、AI助手為什么會"信口開河"？

每個用過AI聊天工具的人，或許都有過這樣的體驗：你問它一個關于某篇論文的問題，它給出一個聽起來頭頭是道的答案，措辭專業、語氣篤定，但當你去查證原文時，卻發現它說的根本不存在，甚至和原文意思截然相反。這種現象在AI領域有個專門名稱，叫做"幻覺"（hallucination）——AI語言模型就像一個博聞強記但有時會無中生有的講故事者，當它不確定答案時，有時會編造一個聽起來合理的回答，而不是老實說"我不知道"。

這個問題在學術研究場景下尤為致命。研究人員每天需要從海量文獻中快速找到可靠信息，一旦AI給出錯誤的論文引用或錯誤的研究結論，可能導致整個研究方向跑偏，白白浪費大量時間和資源。

現有的一種主流解決思路叫做"檢索增強生成"（RAG，Retrieval-Augmented Generation），通俗來說，就是在AI回答之前，先從數據庫里找一些相關原文片段，讓AI"有據可查"地回答，而不是憑空發揮。然而即便如此，AI仍然可能用自己訓練時積累的"固有認知"覆蓋掉檢索到的真實內容，依然會產生幻覺。就像一個學生考試時明明帶了參考資料，卻仍然憑印象寫出錯誤答案，完全沒有看手邊的正確資料。

正是為了徹底堵上這個漏洞，維也納工業大學與KR Labs的研究團隊提出了一套全新的系統——ACL-Verbatim。這套系統的核心理念極其簡單粗暴卻極其有效：AI的回答不允許自己造句，只能原封不動地從原文中"剪切粘貼"相關文字片段。就像考試時規定答題必須直接抄錄參考資料原文，不允許用自己的話改寫——這樣自然就不會出現張冠李戴的情況。

二、"剪切粘貼"式問答系統是如何運作的？

ACL-Verbatim基于一個名為VerbatimRAG的開源框架構建，專門針對ACL Anthology（ACL文集）這個收錄了超過12萬篇計算語言學與自然語言處理領域論文的公開數據庫。

整個系統的工作流程分為三個環節，環環相扣，形成一條完整的流水線。

第一個環節是數據準備。研究團隊從ACL Anthology中下載并處理了114,567篇論文的PDF文件，利用一個名為Docling的開源工具將PDF轉換為Markdown格式（一種帶有簡單排版標記的純文本格式），便于后續處理。轉換時，文字、標題、表格、圖片說明等文字內容都被保留，而非文字的圖表則用占位符替代。

第二個環節是文本切片與索引。論文不可能整篇都和某個問題相關，因此系統開發了一套專門針對研究論文結構的切片策略，將每篇論文按章節邊界切成一段一段（稱為"chunk"，可以理解為"文本塊"），每塊大小控制在500到5000個字符之間。切片時還特別注意不把表格或代碼塊切斷，并在每個文本塊前面加上對應的章節和小節標題，幫助系統更好地判斷內容歸屬。切好的文本塊隨后通過兩種方式建立索引：一種是傳統的全文關鍵詞搜索，另一種是基于IBM開發的granite-embedding-english-r2模型的向量語義搜索。通過這兩種方式的結合，系統能夠更準確地找到與用戶問題語義相關的文本塊，而不僅僅是包含相同關鍵詞的段落。

第三個環節，也是整個系統最核心的環節，叫做"抽取"（extraction）。當用戶提出一個問題，系統先找到最相關的若干文本塊，然后在每個文本塊中進一步精確定位——到底哪幾句話、哪幾個詞組，是真正對回答這個問題最有價值的內容？這個精確定位的過程就是"抽取"，系統的最終輸出不是AI自己寫的一段話，而是從原文中直接截取出來的文字片段，原汁原味，一字不差。

三、怎么知道"剪切粘貼"剪得準不準？——數據集的構建

要評估抽取系統做得好不好，需要一個標準答案——也就是人工標注的數據集，明確告訴我們，對于某個問題，某段文字里哪些句子才是真正相關的。

然而，為研究論文問答任務制作這樣的數據集并不容易，因為判斷哪段話和某個問題相關，有時候需要相當專業的知識積累。

研究團隊設計了一套半自動化的流程來解決這個難題。首先，他們從ACL Anthology中隨機抽取了333篇英文論文，從每篇論文的索引文本塊中隨機選取一塊。然后，他們借鑒了"ScIRGen"方法論（一種用于大規模生成科學問答數據集的技術框架），讓AI大模型自動生成合成問題。

這個問題生成過程分為三步。第一步，讓AI根據某段文字，判斷這段文字能夠回答哪幾類問題（比如是對比類問題、因果類問題，還是目標導向類問題等，研究團隊預定義了18種問題類型）。第二步，針對每種問題類型，用少樣本學習的方式讓AI生成一個具體問題。第三步，這是研究團隊的創新擴展，把生成的完整、措辭正式的問題，進一步壓縮改寫為更貼近真實用戶在搜索框里敲出來的簡短碎片化查詢語句。

以論文中的具體案例為例：某段文字來自一篇關于話題建模的論文，AI首先判斷這段文字適合生成"對比類"、"因果類"和"目標導向類"三種問題，然后分別生成了完整問題，例如"矩陣分解與Dirichlet方法在處理分層話題建模時有何不同挑戰？"，最后壓縮為搜索查詢："矩陣分解 vs Dirichlet 分層話題建模"。這個壓縮后的查詢語句更像真實用戶的搜索行為。

通過這套流程，研究團隊一共生成了906個合成查詢。對每個查詢，系統檢索出最相關的5個文本塊，總計產生4530個"查詢-文本塊"對。

然而，手工標注是耗時費力的，團隊只有能力對前20個查詢對應的100個查詢-文本塊對進行人工標注。所有標注工作由論文作者本人（均為NLP研究人員）完成，并進行了異議裁定。標注分為兩層：第一層是相關性判斷，即這個文本塊對回答這個查詢有沒有用？第二層，對于判定為相關的文本塊，標注者還需要用高亮的方式精確圈出，哪些具體文字片段是最有價值的證據。如果相關內容是一張表格或圖片，則標注其說明文字。最終，47個文本塊被標記為相關（包含78個精確標注的證據片段），另外53個被標記為不相關。

這個過程聽起來簡單，但實際操作中充滿挑戰。研究團隊坦言，對于很多查詢，僅憑NLP研究背景還不足以做出完全有把握的相關性判斷。以一個具體例子說明：查詢"parsing merge predicate sequence equivalence conditions"（解析合并謂詞序列等價條件）檢索到了4篇語法解析相關論文的章節，這4篇文章在詞匯層面看起來都可能相關，但只有仔細閱讀并理解算法細節，才能判斷哪兩篇確實包含相關內容。而這個判斷，對于不是解析算法專家的人來說極為困難。這個案例還揭示了另一個有趣的現象：對于同一個查詢，不同文本塊中被標注為有價值的片段，其范圍可以差異極大——一篇論文中，一段4700字符的算法描述只有一句話（92個字符，占比約2%）被認為是真正核心的；另一篇論文中，整個引言部分幾乎全部相關，只刪去了少數幾句話，保留了76%的原文。

四、哪種"剪刀手"最聰明？——各類抽取模型的比拼

有了標注數據集，就可以評測不同的抽取模型了。研究團隊將參賽選手分為三大門派。

第一門派是大語言模型（LLM）直接抽取。這類方法讓強大的LLM直接讀取問題和文本塊，要求它從原文中抽取相關片段，原文禁止改動。研究團隊測試了四款主流LLM：Mistral Small 2603、Nemotron-120B-A12B、GLM-5和Qwen 3.6 35B。對于其中三款，研究團隊還分別測試了兩種不同的提示詞方案：一種是默認的精確抽取提示，要求只抽取直接回答問題的句子；另一種是"段落導向"提示，鼓勵模型抽取更大范圍的段落，包括前后的鋪墊句和總結句。

第二門派是輕量級剪枝與高亮基線模型。這里有兩個代表：Zilliz Semantic Highlight（由Zilliz公司開發的語義高亮模型，基于BGE-M3重排序器，能在文本塊中標注出相關的句子或詞組），以及Provence（由Nadezhda Chirkova等人開發的上下文剪枝模型，基于DeBERTa-v3架構，能將文本塊中不相關的句子刪除，保留相關句子）。這兩個模型的參數量遠小于LLM，運行速度更快，成本更低。

第三門派是研究團隊自己訓練的小型學生模型。這類模型是整篇論文最亮眼的主角。團隊基于150M參數規模（約1.5億參數）的ModernBERT構建了一個"詞元分類器"（token classifier）。所謂詞元分類器，就是對文本塊中的每一個詞，判斷它是不是有價值的證據詞——打上"是"或"否"的標簽，最終把連續打上"是"的詞串聯起來，形成被抽取的片段。

這個小模型的訓練數據是"銀標簽"數據，而不是昂貴的人工標注數據。銀標簽的生成方式是：用前面描述的查詢生成流程，從ACL Anthology中采樣2000篇論文，生成5892個合成查詢，檢索對應文本塊，然后讓Qwen 3.6 35B（段落導向提示）扮演"教師模型"，對每個查詢-文本塊對生成高亮片段作為訓練標簽。經過過濾后，最終得到了約23235個有效的訓練樣本，劃分為約20916條訓練樣本和2319條開發集樣本。從中可以看出，大約有10k條正例（文本塊中有相關片段）和11k條負例（文本塊中沒有相關片段）。研究團隊還注意到，被標注為有價值的文字只占整個文本塊字符數的約11.7%，即在詞元層面上存在大約1:8的類別不平衡。

研究團隊比較了兩種骨干模型：普通的answerdotai/ModernBERT-base（預訓練的掩碼語言模型）和Alibaba-NLP/gte-reranker-modernbert-base（在查詢-段落相關性任務上進行了后訓練的交叉編碼器）。訓練時使用8192個詞元的超長上下文窗口，確保絕大多數查詢-文本塊對都能在一個窗口內處理，訓練5個輪次，批次大小為8，學習率為2×10^-5。

在推理階段，團隊還增加了兩個小技巧：刪除長度不足10個字符的片段（過濾掉過于碎片化的偽抽?。?，以及將間距不超過20個字符的相鄰片段合并（避免把一段連續內容切成太多小碎片）?；谥嘏判蚱鞴歉傻淖罱K學生模型以KRLabsOrg/acl-verbatim-modernbert為名發布在Hugging Face平臺。

五、評測結果揭曉：小模型贏了！

評測在100個查詢-文本塊對上進行，其中包括47個相關塊和53個不相關塊。

評測指標方面，研究團隊采用了詞級精確率（Precision）、詞級召回率（Recall）和詞級F1分數作為主要指標。詞級F1的優點在于，它不要求抽取的片段邊界和標注完全一致，而是在詞的層面上比較重疊程度，更加寬容也更加合理。舉一個直觀的例子：假設正確答案是兩段各45字符的文字，中間有10字符的無關間隔，如果系統把整段100字符都抽取出來了，用嚴格的"片段級"指標來評價，這個預測是0分（因為沒有一個預測片段和標注片段完全一致）；但用詞級F1來評價，這個預測的精確率是0.9，召回率是1.0，要合理得多。

除詞級F1外，團隊還引入了兩個不對稱指標。"包含度"（Containment）衡量被預測的片段有多少被包含在金標準片段之內（越高說明預測越精準，不亂抽）；"覆蓋度"（Coverage）衡量金標準片段有多少被預測的片段覆蓋到了（越高說明預測越全面，不遺漏）。這兩個指標還可以設置寬松程度的閾值，例如"至少80%被包含"或"至少50%被覆蓋"。

最終結果的主角是詞級F1分數?；谥嘏判蚱鞴歉傻腁CL-Verbatim學生模型以53.63%的詞級F1分數拿下最高分。緊隨其后的是GLM-5（48.71%），然后是Mistral Small默認提示（46.94%）和Qwen段落提示（46.73%）。Zilliz Semantic Highlight得到30.07%，Provence得到34.40%，兩者排名墊底。更值得關注的是，學生模型只有約1.5億個參數，而GLM-5、Qwen 3.6 35B等LLM的參數規模動輒數百億乃至上千億，兩者之間相差了3到4個數量級。換句話說，一個"袖珍"模型在這個任務上勝過了體量是它幾百倍的龐然大物，而且推理延遲只有每條樣本0.47秒，是同類LLM中最快的之一，還可以在普通CPU上運行。

從精確率和召回率的對比來看，可以看到更深層次的規律。學生模型的詞級精確率高達65.43%，是所有模型中最高的；但召回率只有45.43%，低于多個LLM。與之形成對比的是段落導向提示下的Mistral Small，精確率只有34.22%，但召回率高達73.03%。這說明學生模型更加"保守謹慎"——它只在非常確信的情況下才出手抽取，所以抽出來的基本都是真正有價值的內容；而LLM（尤其是用了段落導向提示的）更傾向于"寧可多抽，不能少抽"，結果抓了很多無關內容進來。

這種精確率優勢在不相關文本塊上的表現尤為突出。在100個樣本中，有53個文本塊是不相關的。學生模型在這53個中有60個未作任何預測（即選擇了"棄權"，不抽取任何片段），而段落導向的Mistral Small只在35個樣本上棄權，意味著它在許多不相關塊上也會胡亂抽取內容。

研究團隊還用一個具體案例說明了這一點。對于查詢"hate speech detection downsampled training examples number"（仇恨言論檢測下采樣訓練樣本數量），系統檢索到的一篇論文章節詳細描述了實驗數據集的構成，包括各類標簽的統計數字，和"仇恨言論檢測"高度相關，但對"下采樣"這個具體問題卻完全沒有涉及。學生模型、Zilliz、以及部分LLM正確地選擇了不抽取任何內容；但另外四個模型則錯誤地抽取了一些關于合并標簽或數據集規模的文字，制造了"假陽性"（false positive）。

六、不只是ACL——還有個通用版本

除了專門針對ACL Anthology優化的acl-verbatim-modernbert模型，研究團隊還訓練并發布了一個跨領域的通用版本，命名為KRLabsOrg/verbatim-rag-modern-bert-v2。

這個通用版本的訓練數據更加多元：除了ACL Anthology的銀標簽數據，還加入了RAGBench（一個涵蓋多個行業領域的大規模RAG問答基準）和Squeez（一個專為代碼智能體工具輸出剪枝設計的數據集）。

在ACL金標簽測試集上，通用版本的詞級F1為46.29%，雖然低于專門版本（53.63%），但仍然超過了Zilliz（30.07%）和Provence（34.40%）這兩個公開基線模型。更重要的是，在RAGBench、Squeez和QASPER（一個基于NLP論文的科學問答基準，屬于訓練分布之外的測試集）上，通用版本同樣超過了這兩個基線模型，展現出良好的泛化能力。

七、這項研究的局限性與未來空間

研究團隊在論文中坦誠地指出了這項工作的若干局限。

首先，人工標注數據集的規模非常有限，只有100個查詢-文本塊對，這在很大程度上限制了評測結論的統計可靠性。100條樣本構成的測試集，對于一般機器學習研究來說確實偏小，評測結果存在一定的隨機性。

其次，標注任務本身的高難度，使得團隊無法對標注者之間的一致性進行嚴格測量，也無法建立完善的異議裁定流程和詳細客觀的標注指南。標注工作由論文作者自己完成，存在一定的主觀性和潛在偏差。

再者，學生模型的訓練數據來自LLM生成的銀標簽，這意味著LLM自身可能攜帶的一些無意識偏見（比如對某類文本風格的偏好），可能被復制到學生模型中，進而通過學生模型傳播和放大。

不過，研究團隊也指出，這套方法論具有很強的可擴展性。如果將VerbatimRAG方法應用到更窄的專業領域（例如醫學文獻、法律文獻），問題變得更加聚焦，標注任務會相對客觀，這些局限性有望得到顯著改善。

歸根結底，這項研究給出的信號很清楚：在需要高度精確、可追溯、無幻覺的問答場景下，"只能原文引用"的抽取式方法，配合針對性訓練的小型專用模型，是一條既實用又高效的技術路線。它不是要替代大型語言模型，而是為那些對可靠性要求極高的應用場景提供了一種更為踏實穩健的替代方案。

當你下次用某個AI工具查詢一篇論文的結論，卻不確定它的回答是否真實時，或許你會開始期待，這類系統能夠直接把原文帖子給你看，而不是給你講一個聽起來很專業的故事。研究者們的下一步，是否會把這套方法推廣到醫學文獻檢索、法律條文查詢這些對準確度要求更高的領域？這個問題值得持續關注。有興趣深入了解技術細節的讀者，可以通過arXiv編號2605.21102檢索完整原文，相關代碼和數據集也已全部開源，發布在GitHub（KRLabsOrg/acl-verbatim）和Hugging Face平臺（KRLabsOrg/acl-anthology-md及相關模型庫）。

Q&A

Q1：ACL-Verbatim系統是如何避免AI產生幻覺內容的？

A：ACL-Verbatim采用"純抽取"策略，系統回答問題時不允許AI自行組織語言，只能從原始論文文本中直接截取相關片段原封不動地返回給用戶。由于回答完全來自原文，沒有任何改寫或生成的成分，自然也就不可能出現AI"無中生有"的幻覺內容。

Q2：ACL-Verbatim用的150M參數小模型為什么能比幾百億參數的大模型效果更好？

A：小模型專門針對"從文本塊中抽取與查詢相關的詞"這一具體任務，用大量銀標簽數據進行了專項訓練，對這個特定任務高度適配。大語言模型雖然綜合能力強，但在這類高精度抽取任務上容易"抓太多"，把不相關內容也抽進來，導致精確率低。專才往往能在特定任務上勝過通才。

Q3：VerbatimRAG和普通RAG系統有什么核心區別？

A：普通RAG系統是先檢索相關文檔段落，再由大語言模型"讀完"這些段落后自行生成一段回答，這個生成過程依然可能出現幻覺。VerbatimRAG則在檢索之后增加了"抽取"這一步，系統直接從文檔中鎖定最相關的原文片段輸出，完全繞過了語言模型生成步驟，從根源上杜絕了幻覺的產生空間。