這項(xiàng)由中國人民大學(xué)高瓴人工智能學(xué)院、聯(lián)想集團(tuán)與武漢大學(xué)聯(lián)合開展的研究，以預(yù)印本形式于2026年6月發(fā)表，論文編號為arXiv:2606.07502，有興趣深入了解的讀者可通過該編號查詢完整論文。

當(dāng)你用手機(jī)上的AI搜索"附近有什么好吃的川菜"時(shí)，AI需要先"讀懂"你的這句話，然后在數(shù)以百萬計(jì)的內(nèi)容里找到和你問題最相關(guān)的結(jié)果。這個(gè)"讀懂"的過程，在技術(shù)上叫做文本嵌入（text embedding）——把一段文字變成一串?dāng)?shù)字，數(shù)字之間的距離反映文字之間的語義相似程度。

大語言模型（Large Language Model，簡稱LLM），也就是ChatGPT、文心一言這類AI背后的核心技術(shù)，理論上應(yīng)該非常擅長這件事。畢竟，它們讀過互聯(lián)網(wǎng)上幾乎所有的文字，理解語言的能力令人嘆為觀止。然而，當(dāng)研究人員真正測試這些模型在文本嵌入任務(wù)上的表現(xiàn)時(shí)，卻發(fā)現(xiàn)了一個(gè)令人費(fèi)解的現(xiàn)象：這些號稱無所不能的大語言模型，在把文章"記成數(shù)字"這件事上，表現(xiàn)居然相當(dāng)平庸。

這就好像一位博覽群書、出口成章的學(xué)者，你讓他幫你給圖書館里的書做分類標(biāo)簽，他卻總是把各種書都貼上同樣的標(biāo)簽——"的"、"了"、"是"——這些在任何書里都高頻出現(xiàn)、卻幾乎毫無意義的詞語。研究團(tuán)隊(duì)正是從這個(gè)奇怪的現(xiàn)象出發(fā)，展開了一場深入AI內(nèi)部的"偵查"工作，最終不僅找到了問題的根源，還提出了一個(gè)簡潔卻有效的解決方案，命名為EmbedFilter。

一、為什么AI總是記住"的了是"，而不是真正的意思

要理解這個(gè)問題，先來了解一下大語言模型內(nèi)部有一個(gè)叫做"反嵌入矩陣"（unembedding matrix）的零件。這個(gè)零件的正常功能是：給模型一個(gè)思考狀態(tài)（一串?dāng)?shù)字），它幫模型判斷下一個(gè)詞最可能是什么。打個(gè)比方，這就像是一個(gè)翻譯官，把AI內(nèi)心的"想法"翻譯成我們能看懂的文字。

研究團(tuán)隊(duì)使用了一個(gè)叫做"邏輯透鏡"（Logit Lens）的工具。這個(gè)工具的原理很直接：把一段文字的嵌入表示（也就是那串代表文字含義的數(shù)字）丟給翻譯官，看看翻譯官覺得這段話"最像"在說哪個(gè)詞。如果AI真的理解了文章的語義，翻譯官應(yīng)該能輸出一些和文章內(nèi)容相關(guān)的關(guān)鍵詞。

然而，實(shí)驗(yàn)結(jié)果讓研究人員大吃一驚。他們在三個(gè)主流大語言模型家族——阿里的Qwen、Meta的Llama以及Mistral——上分別測試，把同一段關(guān)于"邏輯透鏡"工具本身介紹的英文文本輸入模型，然后觀察翻譯官的輸出。結(jié)果，三個(gè)模型不約而同地輸出了大量毫無意義的高頻詞：引號、換行符、"the"、"is"、"and"……這些詞在任何文本里都出現(xiàn)得極其頻繁，但幾乎不攜帶任何實(shí)質(zhì)性的語義信息。

這意味著，模型保存下來的文字"印象"，并不是文章講的是什么，而是文章"表面上用了哪些最常見的詞"。這就相當(dāng)于，你請一個(gè)人幫你記住一首詩的含義，他卻只記住了"詩里面用了很多'的'字"。

更關(guān)鍵的是，這個(gè)現(xiàn)象在三個(gè)完全不同的模型家族里都出現(xiàn)了，說明這不是某一個(gè)模型的特殊毛病，而是大語言模型在設(shè)計(jì)上的一個(gè)普遍性問題。

二、問題的根源：AI內(nèi)部的"平均臉陷阱"

找到了現(xiàn)象，研究團(tuán)隊(duì)開始追問：為什么會這樣？他們的推理過程像是一步步拼圖。

第一塊拼圖來自此前學(xué)術(shù)界已經(jīng)觀察到的一個(gè)現(xiàn)象：文本嵌入具有"各向異性"（anisotropy）。這個(gè)詞聽起來很專業(yè)，但背后的意思其實(shí)很好理解。假設(shè)嵌入空間是一個(gè)三維房間，所有文本的嵌入向量本來應(yīng)該均勻分布在整個(gè)房間里，這樣兩段內(nèi)容差異大的文字就會"站"在房間里相距很遠(yuǎn)的位置，內(nèi)容相似的就"站"得很近。然而，實(shí)際觀測發(fā)現(xiàn)，幾乎所有文本的嵌入向量都擠在房間的一個(gè)狹小角落里。這意味著，隨便找兩段文字，它們的嵌入向量都非常相似——即便這兩段文字講的是完全不同的事情。

第二塊拼圖是：這個(gè)狹小角落的"中心點(diǎn)"是什么？研究團(tuán)隊(duì)猜測，這個(gè)中心點(diǎn)代表的是一個(gè)"平均詞"——所有在訓(xùn)練數(shù)據(jù)里出現(xiàn)過的詞，按照出現(xiàn)頻率加權(quán)平均，得到的那個(gè)"最典型"的詞的嵌入表示。

為了驗(yàn)證這個(gè)猜測，研究團(tuán)隊(duì)做了一件很有創(chuàng)意的事情：他們反向工程出了這個(gè)"平均詞"的隱藏表示。具體做法是，從公開語料庫RedPajama里統(tǒng)計(jì)出每個(gè)詞的出現(xiàn)頻率，然后利用反嵌入矩陣的數(shù)學(xué)性質(zhì)（用了一種叫做摩爾-彭羅斯偽逆的數(shù)學(xué)工具），反推出一個(gè)能夠產(chǎn)生這種頻率分布的"假想隱藏狀態(tài)"。這個(gè)假想隱藏狀態(tài)，就是他們所說的"平均詞的表示"。

有了這個(gè)"平均詞"，他們就能更精確地研究：AI內(nèi)部哪個(gè)部分負(fù)責(zé)把這種"平均詞偏見"寫進(jìn)文本嵌入里。

三、發(fā)現(xiàn)"邊緣頻譜"：AI內(nèi)部的高頻詞制造機(jī)

接下來是最關(guān)鍵的偵查步驟。研究團(tuán)隊(duì)使用了另一個(gè)工具，叫做"邏輯頻譜分析"（Logit Spectroscopy）。

先解釋一下什么是"頻譜"。反嵌入矩陣是一個(gè)巨大的數(shù)學(xué)矩陣，可以用一種叫做奇異值分解（SVD）的技術(shù)把它拆解成一系列"方向"和對應(yīng)的"重要程度"（奇異值）。這就好比把一首交響樂分解成不同樂器的聲部：小提琴聲部、大提琴聲部、打擊樂聲部……每個(gè)聲部對整體音效的貢獻(xiàn)不同。

邏輯頻譜分析做的事情是：逐一"靜音"每一個(gè)聲部（濾掉每一個(gè)方向的貢獻(xiàn)），然后觀察"平均詞"的翻譯結(jié)果發(fā)生了什么變化。如果靜音某個(gè)聲部之后，高頻詞的得分大幅下降，就說明那個(gè)聲部是高頻詞偏見的主要來源。

實(shí)驗(yàn)結(jié)果非常清晰：在三個(gè)模型上，當(dāng)研究團(tuán)隊(duì)靜音頻譜兩端的聲部時(shí)——也就是那些奇異值最大和最小的方向——高頻詞的得分急劇崩塌，受到的影響遠(yuǎn)超其他中間位置的聲部。而當(dāng)他們靜音中間位置的聲部時(shí)，高頻詞的得分幾乎沒有變化。

這個(gè)規(guī)律在Qwen、Llama、Mistral三個(gè)模型上表現(xiàn)一致，最大擾動(dòng)可以達(dá)到20%以上。研究團(tuán)隊(duì)把這兩端的頻譜方向命名為"邊緣頻譜"（edge spectrum），因?yàn)樗鼈兲幱谡麄€(gè)頻譜的兩個(gè)邊緣位置。

作為對照，研究團(tuán)隊(duì)還用同樣的方法分析了低頻詞和隨機(jī)采樣詞的情況。結(jié)果發(fā)現(xiàn)，低頻詞和隨機(jī)詞對邊緣頻譜的敏感度遠(yuǎn)比高頻詞低得多，這進(jìn)一步確認(rèn)了邊緣頻譜與高頻詞偏見之間的特異性關(guān)聯(lián)。

換句話說，研究團(tuán)隊(duì)找到了那個(gè)"制造麻煩的零件"：反嵌入矩陣?yán)锾幱陬l譜兩端的那部分，負(fù)責(zé)把高頻詞的信息強(qiáng)行寫進(jìn)文本嵌入，干擾了真正的語義信號。

四、EmbedFilter：一把精準(zhǔn)的"語義濾鏡"

找到了問題的根源，解決方案就呼之欲出了。研究團(tuán)隊(duì)提出的EmbedFilter，原理可以用一個(gè)簡單的生活比喻來理解。

假設(shè)你在拍一張風(fēng)景照，但鏡頭上有幾片灰塵，導(dǎo)致照片里出現(xiàn)了幾個(gè)模糊的污點(diǎn)。與其重新買一個(gè)鏡頭或者重新拍攝，你可以用一塊專門的擦鏡布，把那幾片灰塵擦掉，照片立刻就清晰了。EmbedFilter做的正是這件事：它是一塊專門針對"邊緣頻譜灰塵"的擦鏡布。

從數(shù)學(xué)層面說，EmbedFilter是一個(gè)線性變換（Bulk Spectrum Transformation，簡稱Φ）。它的做法是：從反嵌入矩陣的奇異值分解中，只保留中間那部分方向（去掉兩端的邊緣頻譜），用這些"純凈"的中間方向重新構(gòu)造一個(gè)投影矩陣，然后用這個(gè)矩陣對原始的文本嵌入進(jìn)行過濾。

這個(gè)操作有幾個(gè)值得注意的特點(diǎn)。第一，它完全不需要重新訓(xùn)練模型，也不需要任何額外的標(biāo)注數(shù)據(jù)或校準(zhǔn)數(shù)據(jù)集，所有需要的信息（也就是反嵌入矩陣本身）都已經(jīng)存在于模型內(nèi)部，拿來直接用就好。第二，計(jì)算量極小，相比于模型本身每秒處理的海量運(yùn)算，這個(gè)過濾步驟幾乎可以忽略不計(jì)。第三，這個(gè)方法是通用的，可以疊加在任何已有的文本嵌入提取方法之上，不限于特定的模型或提示工程策略。

研究團(tuán)隊(duì)還重新做了一遍邏輯透鏡分析，這次用的是經(jīng)過EmbedFilter處理后的嵌入表示。結(jié)果令人振奮：三個(gè)模型輸出的高頻詞幾乎完全消失，取而代之的是與輸入文本真正相關(guān)的詞匯。比如，對于那段關(guān)于"邏輯透鏡"的測試文本，Llama模型過濾前輸出的是"_the"、","、"_a"這類無意義詞，過濾后輸出的變成了"_activations"（激活值）、"_representations"（表示）、"_viewpoints"（視角）等與文章內(nèi)容直接相關(guān)的詞。這直觀地證明，過濾掉邊緣頻譜之后，嵌入表示確實(shí)"看到"了更多真實(shí)的語義內(nèi)容。

五、降維紅利：更小、更快、更好

EmbedFilter還帶來了一個(gè)意外的驚喜，那就是免費(fèi)的維度壓縮。

文本嵌入通常是高維度的向量，比如Llama-3.1-8B的嵌入維度是4096，意思是每段文字要用4096個(gè)數(shù)字來表示。維度越高，存儲這些嵌入所需的空間越大，計(jì)算兩段文字之間相似度的速度也越慢。對于需要處理數(shù)百萬甚至數(shù)十億條文本的實(shí)際應(yīng)用來說，這是一筆相當(dāng)可觀的成本。

EmbedFilter的核心操作是從反嵌入矩陣的奇異向量中選取一個(gè)子集（去掉兩端，只保留中間部分），然后把文本嵌入投影到這個(gè)子集所張成的空間里。由于這個(gè)子集的維度小于原始維度，投影后的向量自然就變短了。研究團(tuán)隊(duì)定義了一個(gè)參數(shù)τ來控制壓縮比例：τ=2表示把維度壓縮到原來的1/2，τ=4表示壓縮到1/4，τ=8表示壓縮到1/8。

更妙的是，這個(gè)降維操作在數(shù)學(xué)上是距離保持的（distance-preserving），也就是說，兩段文字在原始高維空間里的相對遠(yuǎn)近關(guān)系，在壓縮后的低維空間里依然保持不變。研究團(tuán)隊(duì)在論文附錄中給出了嚴(yán)格的數(shù)學(xué)證明，其核心在于奇異向量矩陣是正交矩陣（各方向互相垂直、互不干擾），因此投影操作不會扭曲距離關(guān)系。換句話說，用壓縮后的向量來判斷文章相似度，理論上和用原始向量一樣準(zhǔn)確，但計(jì)算量和存儲需求都大幅降低。

六、實(shí)驗(yàn)驗(yàn)證：在49項(xiàng)任務(wù)上全面碾壓

研究團(tuán)隊(duì)在學(xué)術(shù)界通用的MTEB（Massive Text Embedding Benchmark，大規(guī)模文本嵌入基準(zhǔn)測試）上進(jìn)行了全面評估。這個(gè)基準(zhǔn)包含49項(xiàng)不同的任務(wù)，涵蓋語義相似度判斷（STS）、文本分類（Classification）、聚類（Clustering）、配對分類（PairClassification）、重排序（Reranking）、檢索（Retrieval）和摘要評分（Summarization）七大類。

實(shí)驗(yàn)在三個(gè)模型上進(jìn)行：Qwen-2.5-0.5B（0.5億參數(shù)的小模型）、Llama-3.1-8B-Instruct（80億參數(shù)的中型模型）和Mistral-7B-Instruct-v0.3（70億參數(shù)）。每個(gè)模型分別搭配兩種主流的提示工程基線方法：PromptEOL（用"把這段話總結(jié)成一個(gè)詞"的提示幫助模型壓縮語義）和ECHO（通過重復(fù)輸入文本讓模型更好地捕捉語義）。

結(jié)果相當(dāng)亮眼。以Qwen模型搭配ECHO為例，基線方法的MTEB綜合得分是46.03分，加上EmbedFilter之后躍升至52.55分，提升幅度達(dá)到14.1%，這是全部實(shí)驗(yàn)配置中最大的單次提升。Llama搭配ECHO的配置從53.52分提升到57.70分，提升7.8%。Mistral搭配ECHO從53.21分提升到56.10分，提升5.4%。在所有49個(gè)測試配置中，加入EmbedFilter后的得分幾乎清一色高于對應(yīng)基線，體現(xiàn)出相當(dāng)強(qiáng)的普適性。

當(dāng)壓縮比τ從2增大到4再到8時(shí)，性能確實(shí)有所下降，但下降幅度相當(dāng)溫和。以Llama搭配ECHO為例，τ=2時(shí)綜合得分57.70，τ=4時(shí)57.32，τ=8時(shí)56.61——即便把維度壓縮到原來的八分之一，性能依然顯著優(yōu)于未使用EmbedFilter的基線（53.52分）。這意味著，在實(shí)際部署中，可以用一個(gè)小得多的存儲空間和快得多的檢索速度，同時(shí)獲得更好的語義表示質(zhì)量。

研究團(tuán)隊(duì)還額外測試了EmbedFilter與更復(fù)雜的提示工程框架的兼容性。MetaEOL是一種需要借助大型商業(yè)語言模型生成多樣化提示的方法，GenEOL則是利用模型的生成能力從不同角度改寫原文再取平均嵌入的框架。EmbedFilter疊加在這兩種方法上之后，同樣帶來了穩(wěn)定的提升：MetaEOL搭配Qwen從52.23分提升到55.39分（+6.1%），搭配Llama從56.73分提升到58.79分（+3.6%）；GenEOL的STS任務(wù)平均分從77.73分提升到78.39分。這說明EmbedFilter不是針對某一特定方法的特殊優(yōu)化，而是一個(gè)真正通用的改進(jìn)工具。

七、與其他方法的比較和消融實(shí)驗(yàn)

研究團(tuán)隊(duì)還仔細(xì)排查了EmbedFilter性能提升的真正來源，確保結(jié)論的可信度。

一個(gè)自然的質(zhì)疑是：EmbedFilter的提升，會不會只是因?yàn)榻档土司S度，而不是因?yàn)闉V掉了邊緣頻譜？為了排除這個(gè)可能，研究團(tuán)隊(duì)設(shè)計(jì)了兩個(gè)對照實(shí)驗(yàn)：一是直接截取原始嵌入向量的前半部分（Truncation）；二是隨機(jī)選取一半維度（Random）。這兩種方法同樣降低了維度，但沒有進(jìn)行任何語義導(dǎo)向的過濾。結(jié)果發(fā)現(xiàn)，這兩種方法的得分（49.13和49.27）不僅沒有超過EmbedFilter（54.57），甚至比未降維的基線（50.07）還要低。這有力地證明，維度壓縮本身不能帶來性能提升，EmbedFilter的有效性確實(shí)來自于對邊緣頻譜的精準(zhǔn)濾除。

研究團(tuán)隊(duì)還對比了只濾除奇異值最大方向（Dominant）、只濾除奇異值最小方向（Secondary）、只保留邊緣頻譜而濾除中間部分（Bulk，即EmbedFilter的反操作）這三種變體。結(jié)果顯示，完整的EmbedFilter（同時(shí)濾除兩端）得分最高（54.57），而Bulk變體（只保留兩端）得分最低（47.13），比基線還差。這一對比既驗(yàn)證了邊緣頻譜確實(shí)是有害成分，也從反面證明了中間頻譜才是真正承載語義的部分。值得注意的是，僅濾除奇異值最小方向（Secondary，53.19）的效果遠(yuǎn)好于僅濾除奇異值最大方向（Dominant，47.53），這與之前頻譜分析中觀察到的、小奇異值方向?qū)Ω哳l詞的影響更大的結(jié)論是一致的。

研究團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)"理論上限"配置（Optimal）：根據(jù)頻譜分析的結(jié)果，找出對高頻詞影響最大的那些方向進(jìn)行精準(zhǔn)濾除。這個(gè)配置需要事先做頻譜分析，實(shí)現(xiàn)上更復(fù)雜，但代表了該框架理論上能達(dá)到的最好效果。結(jié)果顯示，Optimal配置的得分是54.19，而EmbedFilter（不需要任何額外分析，直接按頻譜位置過濾）的得分是54.57，甚至略高于理論上限。這說明EmbedFilter在實(shí)踐中的表現(xiàn)已經(jīng)相當(dāng)接近甚至超越了更復(fù)雜的精準(zhǔn)方案。

另一個(gè)值得一提的對比是與BERT-whitening（白化處理）的比較。白化處理是學(xué)術(shù)界已有的一種解決嵌入各向異性問題的方法，原理是用一個(gè)校準(zhǔn)數(shù)據(jù)集（通常是NLI自然語言推理數(shù)據(jù)集）來計(jì)算嵌入的統(tǒng)計(jì)特性，然后對嵌入進(jìn)行標(biāo)準(zhǔn)化。白化處理同樣支持降維，因此兩者具有可比性。在相同的降維比例（τ=2，448維）下，EmbedFilter得分54.57，白化處理得分53.04。EmbedFilter不僅表現(xiàn)更好，而且完全不需要任何校準(zhǔn)數(shù)據(jù)，這在實(shí)際應(yīng)用中是一個(gè)相當(dāng)大的優(yōu)勢——因?yàn)楂@取高質(zhì)量的校準(zhǔn)數(shù)據(jù)本身就需要成本。

研究團(tuán)隊(duì)還展示了EmbedFilter在維度壓縮上的實(shí)用價(jià)值，將其與預(yù)LLM時(shí)代的經(jīng)典嵌入模型進(jìn)行對比。SimCSE（一種經(jīng)過精心對比學(xué)習(xí)訓(xùn)練的BERT模型）在768維下的MTEB綜合得分是53.54，coCondenser（專門為密集檢索優(yōu)化的模型）是55.48。而Llama搭配EmbedFilter，在512維（原始4096維的八分之一）下達(dá)到了56.61分或更高，用更小的存儲空間超越了這些經(jīng)過專門訓(xùn)練的專業(yè)嵌入模型。

說到底，這項(xiàng)研究做的事情可以用一句話概括：在AI的大腦里找到了那個(gè)專門"制造噪音"的零件，并設(shè)計(jì)了一把精準(zhǔn)的手術(shù)刀把它的影響切除掉。切除之后，AI對文字含義的理解變得更清晰，存儲和檢索的效率也同步提升。

這對普通人意味著什么？當(dāng)你在搜索引擎里輸入一個(gè)問題，背后的AI如果用了這種技術(shù)，就能更準(zhǔn)確地理解你真正想問的是什么，而不是被"的了是"這類無意義詞所干擾；當(dāng)你用AI整理大量文檔時(shí)，文檔分類會更精準(zhǔn)；在語音助手、文檔檢索、問答系統(tǒng)等各種場景里，這種改進(jìn)都可能帶來看得見的效果提升。而且，由于存儲空間需求降低了，這些能力也可以更容易地部署在手機(jī)等資源有限的設(shè)備上。

一個(gè)值得進(jìn)一步思考的問題是：既然邊緣頻譜對語義表示有害，在未來訓(xùn)練新模型時(shí)，是否可以在訓(xùn)練階段就主動(dòng)抑制這種偏見，而不是等到使用時(shí)再后處理？研究團(tuán)隊(duì)在文中也表達(dá)了同樣的期待，認(rèn)為這一發(fā)現(xiàn)可以為未來更系統(tǒng)化的文本嵌入訓(xùn)練設(shè)計(jì)提供參考。此外，邊緣頻譜中兩端不對稱的影響（小奇異值端比大奇異值端更"有害"）背后的深層原因，也是研究團(tuán)隊(duì)留給未來工作的開放問題。有興趣深入探索這些問題的讀者，可以通過論文編號arXiv:2606.07502查閱完整的研究報(bào)告。

Q&A

Q1：大語言模型在文本嵌入任務(wù)上為什么表現(xiàn)不好？

A：大語言模型生成的文本嵌入向量存在"高頻詞偏見"問題：把一段文字的嵌入投影回詞匯空間時(shí)，模型反映的不是文章講了什么，而是文章里出現(xiàn)了哪些高頻但無意義的詞（如"the"、"，"、換行符等）。這種偏見導(dǎo)致不同文本的嵌入向量過于相似，無法有效區(qū)分語義差異。

Q2：EmbedFilter是怎么改善文本嵌入質(zhì)量的？

A：EmbedFilter利用大語言模型內(nèi)部已有的反嵌入矩陣（unembedding matrix），通過奇異值分解找出頻譜兩端（邊緣頻譜）的方向，這些方向被識別為高頻詞偏見的主要來源。EmbedFilter通過一個(gè)簡單的線性變換，將文本嵌入投影到去掉兩端后的中間頻譜子空間，從而過濾掉高頻詞的干擾，提升語義表示質(zhì)量，不需要任何重新訓(xùn)練或額外數(shù)據(jù)。

Q3：EmbedFilter降維后語義相似度的計(jì)算還準(zhǔn)確嗎？

A：準(zhǔn)確。EmbedFilter的降維操作基于正交矩陣的投影，在數(shù)學(xué)上是距離保持變換，即兩段文字在原始空間的相對距離關(guān)系在壓縮后的空間里完全保留。實(shí)驗(yàn)也驗(yàn)證了這一點(diǎn)：維度壓縮至原來的八分之一后，性能仍顯著優(yōu)于未使用EmbedFilter的基線模型。