聽雨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI

就在大家都急頭白臉地等待DeepSeek-V4的時候，冷不丁一篇新論文引起了網友們的注意——

提出新稀疏注意力機制HISA（分層索引稀疏注意力），突破64K上下文的索引瓶頸，相比DeepSeek正在用的DSA（DeepSeek Sparse Attention）提速2-4倍。

不僅做到了大幅提速，而且?guī)缀醪粊G精度、即插即用不用重新訓練

論文直接在DeepSeek-V3.2和GLM-5上替換索引器，無需微調。

并且在找關鍵信息、長文本理解等任務上，精度都和原方法幾乎持平。

兩步消除上下文索引瓶頸

這篇論文想解決的問題很明確：給大模型的稀疏注意力機制換個更高效的 “檢索器”。

現(xiàn)有主流的DSA等token級稀疏注意力，核心就是通過只計算關鍵token的注意力，降低了核心計算成本。

但這個設計有個致命隱藏問題：要挑出相關字符，得靠一個 “索引器”——它需要把每個待查字符，和前面所有字符挨個打分，再選分數(shù)最高的。

文本長度L越長，這個打分的工作量是L的平方級增長。比如長度翻倍，工作量就會翻4倍。

到超長文本時，這個索引器的平方級成本，反而成了拖慢速度的元兇，甚至反而比真正的注意力計算還耗時。

基于此，研究團隊開始思考一個問題：能否在不改變最終稀疏注意力結果的前提下，降低索引器的搜索成本？

于是，他們提出了HISA（分層索引稀疏注意力），核心思路也很簡單：

既然挨個打分太費時間，那就先按塊篩掉大部分無關內容，再在剩下的小塊里精細選。

在功能邏輯上實現(xiàn)對原有模塊的等價替換，無需修改后續(xù)注意力計算邏輯，相當于 “換了個更高效的篩子，篩出來的東西幾乎沒變”。

具體就兩步，全程復用原模型的打分規(guī)則，零學習成本：

塊級粗過濾

• 把長文本切成固定大小的 “字符塊”（比如128個字符一塊），給每個塊算一個 “整體特征向量”（相當于給每塊貼個總標簽）
• 用原索引器的打分方式，只給這些塊標簽打分
• 挑出分數(shù)最高的m個塊（比如64個），直接扔掉剩下的所有塊——塊的數(shù)量遠少于字符數(shù)。

這一步能省掉絕大部分工作量。

塊內精挑字符

只在第一步選出來的m個塊里，用原索引器的規(guī)則給單個字符打分，再挑出最終需要的k個相關字符。

還加了個小優(yōu)化：文本的第一個塊和最后一個塊必選，保證開頭的背景信息、結尾的最新上下文不被誤篩，也能處理文本拼接的邊界問題。

HISA的關鍵優(yōu)勢在于：復雜度驟降，還能 “無縫替換”

HISA把原索引器每一層 O (L2) 的算力成本，降到了O(L2/B + L×m×B)（B 是塊大小、m 是選的塊數(shù)）

文本越長、塊選得越精準，提速效果越明顯。

更重要的是它的工程友好性

輸出和原索引器完全一致，下游的注意力計算模塊不用改；

不用重新訓練模型、不用調整KV緩存結構，直接替換原索引器就行；

短文本時會自動 “退化” 成原方法，只有超長文本時才觸發(fā)分層篩選，全程自適應。

實測提速超猛，精度幾乎沒丟

論文在DeepSeek-V3.2、GLM-5兩大主流大模型上做了全面測試，結果很亮眼：

速度上，在64K長度的文本下，HISA 比原DSA索引器最高提速3.75倍，常規(guī)設置也能提速2倍多。

上下文長度越長，HISA的提速效果越顯著，完全契合超長上下文（128K/1M）的實際應用需求。

精度上，HISA也幾乎完全保留原DSA的精度，且顯著優(yōu)于純塊稀疏方法。

論文進行了“大海撈針”測試，該測試衡量在超長無關文本中，精準檢索指定位置關鍵信息的能力。

結果HISA和DSA幾乎一樣準，在所有長度和插入深度下，檢索精度均接近DSA的近乎滿分。

長文本理解（LongBench 基準）上，HISA的分數(shù)也和DSA基本持平。

甚至在部分場景，比如合成檢索、少樣本學習等對token篩選精度要求高的任務中，HISA做到了小幅反超。

而在超參數(shù)測試中，不同塊大小、選塊數(shù)量下，HISA表現(xiàn)都很穩(wěn)定，分數(shù)均與DSA高度接近，無顯著性能差異

這也說明HISA對超參數(shù)的選擇不敏感，魯棒性強，工程落地時無需精細調參。

不過目前HISA還有小瑕疵，作者也提出了后續(xù)改進思路：

第一，現(xiàn)在塊是固定大小的，若一個塊里混了無關和相關內容，塊的 “整體標簽” 會不準。

未來可以搞自適應塊、重疊塊，或換更好的塊特征計算方式。

第二，目前只是推理時直接用，未來可以把塊篩選和模型一起訓練，讓篩選更精準。

第三，現(xiàn)在只測了索引器的速度，未來整合到完整的大模型服務框架里，測端到端的吞吐量和延遲。

團隊背景

這篇論文出自北京大學的張牧涵團隊。

張牧涵，北京大學人工智能研究院的Tanure-track助理教授和博士生導師。

回國前曾在Facebook AI（現(xiàn)為 Meta AI）擔任研究員，從事大規(guī)模圖學習系統(tǒng)和問題的研究。

其Google Scholar總引用量超過13000次，其中兩篇一作文章引用量分別達到3100+和2400+次，連續(xù)多年入選Elsevier全球前2%頂尖科學家（生涯影響力榜單）

Yufei Xu（徐宇飛）和Fanxu Meng（孟繁續(xù)）為論文的共同一作。

[1]https://arxiv.org/abs/2603.28458