研究員 Nic Omolabi 在長期觀察大語言模型行為時,注意到一種非崩潰式的漸進失敗現象。模型的第一段嚴格遵循提示風格,第二段尚可維持結構,到了第三段便開始松動,第五段之后回答往往變得流暢卻泛泛,失去了最初要求的推理框架。他將這一衰退過程命名為“覆蓋衰減”(coverage decay)。
覆蓋在這里指的是與推理模式相關的結構性標記的留存程度,包括因果解釋、邊緣案例識別、具體化、分解和操作性推理。它并非直接度量推理質量,而是判斷結構持續性的一種實用代理。模型并非不知道答案,甚至知道用戶的偏好,問題出在一致性上——長回答越往后,指定的推理結構就越難維持。
當用戶真正依賴大模型完成報告、技術說明、設計文檔、研究筆記、運營分析、政策論證、產品計劃等長篇幅推理任務時,結構的重要性遠高于單段問答,而風格提示正是在這些場景中開始泄漏。為了減緩這種漂移,Omolabi 設計了一個輕量級控制循環 Cogito,其運行邏輯為“生成→評估→批評→優化”。它不是要求模型像人類一樣思考,而是鎖定一個更窄、更實用的目標:確保所請求的推理結構貫穿整個回答。
該機制的核心可概括為一句話:系統提示描述了偏好,Cogito 施加偏好,覆蓋追蹤則檢驗偏好是否存留下來。文章圍繞覆蓋衰減的發現、Cogito 的工作原理以及一套可重復的對照實驗展開,對比了單純系統提示與迭代式偏好應用在穩定推理結構上的差異。Omolabi 將覆蓋衰減定義為一種可測量的長文本失效模式,并明確自己的貢獻:識別出該失效模式;提出基于提示層的控制循環以削弱衰減;制定一個段落位置相關的結構持久性測量協議,用于比較 Cogito 與基線方法的效果。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.