北京
“把一萬字的會議記錄扔給模型，每次讓它挑重點都要等半分鐘?！?@rohanpaul_ai 這句吐槽點出了一個老毛?。荷舷挛脑介L，Transformer 的注意力層算得越慢，每次預(yù)測下一個詞都得從更長串的歷史里搜一遍。沒人想為這點兒事付成倍的推理賬單。
一篇新登上 arXiv 的論文《語言模型需要睡覺》（編號 2605.26099）換了個狠思路——記憶不只是存著，真正費勁的是把一堆亂糟糟的經(jīng)歷轉(zhuǎn)成以后能用的狀態(tài)。所以作者直接給語言模型加了一個“睡眠階段”：推理時先暫停，把近期上下文來回讀幾遍，有用信息寫進固定大小的記憶層，然后直接把短期注意力緩存清掉。
睡眠期間，模型會跑好幾輪離線掃描，結(jié)果塞進狀態(tài)空間模塊里的“快權(quán)重”，再清空緩存。這意味著額外算力花在睡覺時，而不是回答時。正常預(yù)測依然只需一次前向傳播，推理延遲不會隨上下文膨脹。
研究團隊在細胞自動機、圖查找和 GSM-Infinite 數(shù)學題上做了測試——這些任務(wù)要求模型用到那些早已不在注意力緩存里的舊信息。核心結(jié)論很直白：睡得越久，推理越強，尤其在需要深思考的硬核題目上效果更明顯，不是簡單記一個事實就能糊弄過去的。
這件事真正的沖擊在于：長周期智能體或許不必永遠扛著越來越大的原始上下文。關(guān)鍵部分整合好，原始詞元就可以安心忘掉。這與當下把上下文窗口堆到百萬級詞元的競賽——一種推理成本高得嚇人的策略——直接對撞。
論文把長上下文難題從“容量問題”重新定義為“整合問題”。不是像 GPT-4-128K 那樣硬擴窗口，而是把經(jīng)歷壓縮成固定大小的潛在狀態(tài)，和生物大腦在睡眠中把短期記憶轉(zhuǎn)存為長期記憶的做法異曲同工。
接下來值得盯的是：后續(xù)研究會不會把睡眠階段搬到 SWE-Bench 或 WebArena 這類真實世界智能體基準上跑分，以及 Anthropic、OpenAI、Google 里哪家推理服務(wù)商先把類似整合步驟做進自己的長上下文產(chǎn)品里。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
不愧是山姆斷貨王?。≌娴暮煤贸?/a>
