這項由亞馬遜、Emory大學、賓夕法尼亞州立大學、伊利諾伊大學香檳分校和東北大學聯合完成的研究，以預印本形式發布于2026年6月1日，論文編號為arXiv:2606.01770，有興趣深入閱讀的朋友可以通過這個編號找到完整論文。

**一個讓人意外的發現**

你有沒有見過這樣的員工：剛入職的前幾個月表現亮眼，憑著一腔熱情迅速積累經驗，可隨著時間推移，他反而開始犯越來越奇怪的錯誤——因為早期養成的一些壞習慣和錯誤的"肌肉記憶"越來越難以甩掉？

這個讓人哭笑不得的現象，正在AI系統里悄悄上演。研究團隊用一套叫做A-Evolve的AI自我進化系統做了一個實驗，讓它持續在市場預測任務上"學習成長"，記錄在第3、7、15、30、51個學習周期時分別停止的情況。結果令人大跌眼鏡：停在第7個周期時表現最好，但如果讓它一直學到第51個周期，它的表現反而不如剛開始的時候。更荒唐的是，它的技能庫從12個膨脹到了34個，提示詞從2KB暴漲到了68KB，學了一大堆，卻越來越差。

這就像是一個廚師，從開始做菜到后來把每一道菜的食譜都抄滿了三本筆記本，結果因為每次做飯前要翻那三本筆記翻半小時，做出來的菜反而越來越難吃。這項研究的核心任務，就是搞清楚為什么會這樣，以及怎么解決。

**一、什么是"AI代理的裝備系統"，為什么它會出問題**

要理解這項研究，先得搞清楚一個概念：什么是"harness"（可以譯為"套件"或"裝備"）。

一個AI代理就像一個員工，它自身的核心能力（也就是大語言模型，比如ChatGPT背后的那個核心大腦）是相對固定的。而圍繞在這個大腦外面的一切輔助工具，包括它被告知"你應該怎么做事"的那段說明文字（提示詞）、它能調用的各種技能腳本、它記住的重要信息，以及它能使用的外部工具，這整套東西就叫做"裝備套件"，也就是論文里的harness。

這套裝備在很大程度上決定了這個AI員工的工作表現。于是就有了一類叫做"自動裝備系統"（auto-harness system）的研究方向，思路是：讓AI在完成任務之后，自動分析自己哪里做得不好，然后自動更新和升級自己的裝備。A-Evolve、GEPA、Meta-Harness都是這類系統的代表。

這個思路聽起來相當聰明。事實上，在那些有明確終點的標準測試題庫（靜態基準測試）上，這類系統確實表現出色。但問題在于，真實世界里的AI部署根本不是"做一套卷子交卷走人"——它更像是一個永不停歇的流水線工人，每天都有新任務涌進來，任務類型五花八門，而且任務的性質會隨著時間推移而改變。

研究團隊把這種真實部署場景稱為"開放性任務流"，并歸納出它獨有的三重壓力。

第一重壓力叫做"無邊界的任務流"。這個AI員工永遠不會下班，任務一直來，歷史記錄越積越多。現有的自動裝備系統只有一個"大腦"來負責分析這些堆積如山的歷史記錄，而任何AI都有自己的上下文窗口上限，就像一個人的工作記憶容量是有限的。隨著任務流越來越長，這個單一大腦就會被撐爆，無法再有效地從歷史中學習真正有用的經驗。

第二重壓力叫做"任務的多樣性"。一個預測市場平臺在同一個小時里，可能既有關于超級碗冠軍的問題，又有關于美國政府是否停擺的問題，還有關于股票漲跌的問題。這三類問題需要截然不同的信息來源、分析工具和思考方式。但傳統的自動裝備系統給AI配備的是同一套裝備去應對所有任務，一套萬能裝備的結果往往是什么都做得馬馬虎虎。

第三重壓力叫做"分布漂移"。隨著時間推移，任務的內在規律會發生變化。一個在早期任務上總結出來的經驗，到了后期可能已經不再適用。那個news_from_future.md技能就是個活生生的例子：它在138次正確預測中幫過大忙，但在政治類任務上卻頻頻誤判——因為體育賽事有結果、有可驗證的歷史數據可以參考，而政治事件的邏輯完全不同。

**二、把問題說清楚：兩種虧損，兩個根源**

研究團隊沒有停留在"這個問題很復雜"的層面，而是建立了一套數學框架，把問題的根源精確拆解開來。這套框架的思路類似于一家餐廳的老板分析為什么營業額不理想。

先定義"理想上限"：假設有一個全知全能的完美廚師，他在接到每一道點單之前，就已經基于這個餐廳所有的歷史數據，為這道菜量身定制了最優的食譜。這個完美廚師的表現，就是理論上限，論文里叫做V(H_t, x_t)，即在擁有全部歷史信息的條件下，對任務x_t所能達到的最好成績。

而實際部署中的AI，跟這個理論上限之間的差距，就是"遺憾值"（Regret）。這個差距可以精確地拆成兩部分。

第一部分叫"進化虧損"（Evolution Loss，論文用L_evo表示）。這是系統的能力天花板問題。一個只會修改提示詞的系統，永遠無法自己寫出復雜的多文件代碼工具，這不是努力多少的問題，而是這類系統的能力上限就在那里。要縮小這部分虧損，需要從根本上提升進化系統的能力，讓它能構建更復雜、更多樣的裝備。

第二部分叫"適配虧損"（Adaptation Loss，論文用L_adapt表示）。這是任務適配問題。即便進化系統的能力已經足夠強，但它在任務到來之前就把裝備固定下來了，沒有辦法根據每一道具體的題目來調整配置。任務多樣性存在一天，這部分虧損就無法消除——除非系統能在接到任務的瞬間，動態地為這個任務挑選最合適的裝備。

這個框架的價值在于，它把一個模糊的"這個系統不夠好"的感受，變成了兩個可以分別攻關的具體工程問題。研究團隊隨即提出了Adaptive Auto-Harness系統，分別對應地解決這兩個問題，同時引入了第三個機制來處理框架之外的特殊情況。

**三、多智能體進化：用一個專業團隊替代一個全能員工**

針對進化虧損，研究團隊的解法是把原來的"單人作戰"模式，改造成一個分工明確的專業團隊。

原有系統的工作方式類似于讓一個人同時擔任分析師、調研員、程序員和測試員——而且這四個角色的所有歷史記錄、所有思考過程，都必須塞進同一個人的腦子里同時處理。任務流越長，這個人就越容易"腦子不夠用"。

新系統把進化過程拆分為四個依次執行的階段，每個階段由專門的智能體負責，并且擁有完整的上下文預算，不需要跟其他階段搶"腦容量"。

第一階段是分析師的工作：翻查歷史失敗記錄，找出規律，生成一份"任務看板"，列明哪些方向需要重點攻關，并且還要做一項特別重要的審計——檢查歷史上積累下來的那些技能和規則，有沒有哪些是"對A類任務有幫助但會傷害B類任務"的"有毒文物"。這個反向清查的步驟，專門針對前文提到的"越學越差"問題，防止系統在錯誤的路上越走越遠。

第二階段是研究員團隊的工作：多個研究員智能體并行運作，每人負責一個失敗方向，獨立搜索解決方案、測試API、驗證假設，并把測試結果記入研究日志。并行的好處是多個方向同時探索，不會因為某個方向失敗而浪費整個周期，也不會因為一個智能體的先入之見而過早放棄其他可能性。

第三階段是工程師的工作：讀取研究員們整理好的、經過驗證的解決方案，把它們實現成實際可運行的代碼、工具或提示詞修改。

第四階段是驗證員的工作：在新代碼上線之前，運行測試用例，把關質量。如果測試不過，工程師可以重新修改，最多重試三次。

除了分工之外，還有兩項配套機制同樣關鍵。其一是"時間延遲反饋"機制：在預測市場這類場景里，一個問題的答案可能要幾天后才會揭曉。系統嚴格按照"揭曉時間"來決定把哪些反饋交給進化系統，確保AI學到的是真實結果，而不是把未來的信息提前"偷看"了。其二是"跨周期持久記憶"：進化系統有一個專屬工作區，里面存著任務看板、研究日志、架構說明文檔和測試用例，這些內容在每個進化周期之間持續保留，進化系統不需要在每次學習時從零開始，而是可以站在之前積累的肩膀上繼續工作。

**四、裝備樹與智能路由：為每道題配一套專屬裝備**

多智能體進化解決了"能力天花板"的問題，但適配虧損還沒有解決——系統在看到任務之前就把裝備鎖定了，面對不同類型的任務卻用同一套配置。

研究團隊的解法是引入"裝備樹"（harness tree）：不再只維護一套通用裝備，而是培育一棵裝備樹，樹上的每根分支代表一類任務的專屬配置。

具體實現上，整套系統用一個Git代碼倉庫來管理裝備樹。每個分支（branch）對應一種任務類型，擁有自己獨立的提示詞、技能庫和工具注冊表。比如在CTF網絡安全挑戰賽的場景里，會有專門負責密碼學的branch/crypto-classical分支，以及專門負責二進制漏洞挖掘的branch/binary-reversing分支。在預測市場場景里，則會有branch/sports、branch/politics、branch/finance、branch/culture等不同分支。

分支不是手動指定的，而是由進化系統在積累了足夠的失敗證據之后，自動決定是否需要開辟一個新的專屬分支來處理某類任務。分析師階段會明確地給每個修復建議標注"這個改動是通用的，應該放到主干上"，還是"這個改動是特定領域的，應該放到某個專屬分支上，以免污染其他類別"。

到了解題時，路由智能體登場。它讀取每個分支的README文檔，找出里面"什么情況下應該路由到這里"的說明，然后與當前任務的描述進行匹配，為每個分支打一個置信度分數，選出最合適的那個分支，讓解題系統"切換"到那個配置下去工作。整個路由過程是實時的，每道新題到來時都會獨立執行。

這套機制在實驗中表現出了清晰的價值。研究團隊做了一個專門的實驗來量化"適配虧損"到底有多大：在每類任務都預先準備了對應分支的情況下，比較"每道題都用最佳分支"（Oracle上限）和"每道題都用主干分支"（Naive基準）之間的差距。在CTF安全挑戰場景里，這個差距高達37.5個百分點；在預測市場場景里，差距也有8.8個百分點。這意味著光是把"用正確的裝備配置"這件事做好，就能帶來非常可觀的性能提升，跟模型本身的能力沒有關系。

**五、人類介入的鉤子：當歷史記錄無法回答的問題出現時**

上述兩項機制處理了理論框架內的兩類虧損。但研究團隊還發現了一種框架之外的情況：有些時候，歷史記錄里根本沒有相關信號，無論多么強大的進化系統，都無法從空氣中變出它沒有見過的知識。

這種情況在真實部署中并不罕見。比如，AI需要訪問某個需要API密鑰的數據源，但密鑰沒有提供；或者某個新興領域的問題需要特定的中文數據平臺，但進化系統從沒見過那些平臺的任何線索。

研究團隊的解法是引入兩個"人類介入鉤子"，讓人類在特定的結構化時機介入，而不是隨時隨地亂插手。

第一個鉤子掛在分析師完成任務看板之后。這時候人類可以翻閱任務看板，補充進化系統看不到的方向、提供領域知識或告知系統可以訪問哪些數據源。這是主動預判式的干預，在進化開始之前就把方向導正。第二個鉤子掛在研究員執行階段遇到障礙的時刻。當研究員在測試某個方案時撞上了需要人工處理的墻（比如需要認證的API），系統會實時提示人類介入，而不是讓這個探索方向就此夭折。

在FutureX事件預測數據集上的實驗展示了這個機制的精準效果。研究團隊只在第1個周期提供了兩個API密鑰（研究階段鉤子），然后在第3個周期補充了一份關于西方和中文專業數據端點的方向指引（任務看板鉤子）。結果是：對于寬泛的預測市場類問題，提升為零，因為這類問題本來就不需要這些資源；對于依賴網頁搜索的寬泛問題，提升了5個百分點；直接指向的金融科技類任務提升了20個百分點；周邊的西方專項問題也提升了15個百分點。這個梯度分布說明人類干預起效的機制是精確的：它提供了歷史記錄里缺失的外部信號，而不是籠統地給AI一些泛泛的建議。

**六、在三條真實賽道上的全面測試**

研究團隊在三個完全不同類型的"開放性任務流"上進行了系統測試，這三個賽道分別代表不同的挑戰維度。

PolyBench是一個包含5075道題的預測市場任務流，時間跨度從2026年2月6日到22日，覆蓋政治、體育、金融、加密貨幣和娛樂等多個市場。這個賽道的非平穩性體現在：早期市場中有97%是可交易的（有足夠流動性），到了晚期只剩31%；早期有44%的市場已經有明顯的傾向性結果，晚期只有29%；勢均力敵的模糊市場從18%上升到了35%。也就是說，越到后來，問題越模糊，越難判斷。

CTF-Dojo是一個包含261道題的網絡安全挑戰流，時間跨度從2011年到2024年，橫跨密碼學、二進制漏洞、網頁安全、逆向工程和取證分析等類型。這個賽道的非平穩性來自競賽風格的演化：到了任務流后期，有100%的題目來自于在任務流前三分之一期間完全沒有出現過的競賽，每場競賽都有自己獨特的題目規范和風格。

FutureX是一個包含503道題的事件預測流，時間跨度為2026年1月至4月，包含英文和中文題目，涵蓋金融、科技、地緣政治和娛樂等領域，其中還有一部分題目需要訪問中文專屬平臺才能找到相關信息。

研究團隊同時與多個對照組進行了比較，包括不做任何進化、直接用原始模型求解的版本（分別測試了Sonnet 4.6、DeepSeek V3.2、Claude Haiku 4.5、GLM 4.7、Kimi K2.5五個模型），以及五個現有的自動裝備基準系統（A-Evolve、GEPA、Meta-Harness、Continual Harness、SkillOS），還有一個由人類專家手工設計的OctoTools系統。

結果顯示，現有系統都有各自的偏科問題。A-Evolve在CTF和FutureX的通過率上表現最好，但在PolyBench上只覆蓋了21.1%的市場，大量題目直接跳過。Meta-Harness在PolyBench的三個指標上全面領先（覆蓋率55.3%、準確率50.8%、回報率+320%），但在FutureX上的表現還不如不進化的原始Sonnet基準（29.4% vs 31.0%）。沒有一個現有系統能同時在三條賽道上都處于領先地位。

Adaptive Auto-Harness的三個變體共同覆蓋了全部指標。其中，完整系統（多智能體進化+路由）在PolyBench上達到了97.9%的市場覆蓋率、80.9%的準確率和+330%的回報，在CTF-Dojo上達到了50.2%的通過率。多智能體變體在FutureX上以49.5%的通過率領先，因為在這個賽道上構建出正確的搜索工具比針對每道題做路由更重要。適配變體在PolyBench回報率上以+352%略微領先，因為把每道市場題精準匹配到對應的分析策略帶來了更高的交易質量。

**七、各個賽道的具體瓶頸是什么**

研究團隊沒有停留在總體數字上，而是深入分析了每個賽道的關鍵瓶頸所在，這部分分析為理解整套系統的工作邏輯提供了重要的細節。

PolyBench的核心瓶頸是"置信度校準"能力。研究團隊畫出了一張圖：橫軸是市場共識（從市場價格反推出來的多數人預期概率），縱軸是AI系統給出的置信度。一個理想的系統，這兩者應該基本對齊，形成一條對角線。單智能體變體的結果是一條幾乎水平的線，也就是說無論市場共識如何，它給出的置信度都差不多高；而多智能體變體的結果則更接近那條對角線——當市場共識低（大家都不確定）的時候，它也會相應地降低自己的置信度。這說明多智能體系統進化出了"讀懂市場在說什么"的能力，這是原始單智能體系統根本沒有的。

FutureX的核心瓶頸是"信息獲取"能力，而不是推理能力。研究團隊把題目按信息獲取難度分成三檔：只用離線數據、用篩選過的網絡數據（維基百科+DuckDuckGo）、用不受限制的網絡搜索。三檔對應的通過率分別是34.0%、47.6%和57.1%，單調遞增，差距相當顯著。這意味著模型本身的推理能力并不是瓶頸，能不能找到相關信息才是。所以FutureX上的進化任務本質上是"幫AI配備更好的信息獲取工具"，而不是"讓AI想得更深"。

CTF-Dojo的核心瓶頸是"負載處理"能力。研究團隊把題目按最大挑戰文件大小分成五檔，從無文件到超過1MB。隨著文件規模增大，通過率急劇下降：單智能體從81.8%跌到30.4%，多智能體從90.9%跌到39.1%。多智能體系統在每個檔次上大約保持了9個百分點的優勢，說明多智能體進化系統確實幫助構建了更強的基礎設施，但面對極大文件時的處理能力天花板依然存在，這是一個尚未完全解決的工程難題。

逐類別分析進一步印證了這些發現。在CTF按類別統計時，完整系統在網頁安全類（+27個百分點，相對于原始Sonnet）和密碼學類（+19個百分點）獲益最多，而二進制漏洞利用類即便經過進化和路由之后，通過率也只有14.8%，與文件大小瓶頸一脈相承。在FutureX按語言和領域細分時，英文題目的各個領域普遍受益明顯，但中文題目幾乎沒有提升，中文金融類零提升，中文娛樂類同樣零提升，這恰好是那批需要專門中文數據平臺才能找到信息的題目，也就是"信息獲取工具不到位"問題的直接體現。

**八、裝備樹路由的真實價值，以及它的局限**

為了嚴謹地量化"路由機制"到底貢獻了多少價值，研究團隊做了一個專門設計的對照實驗：給每類任務預先準備一個對應分支，在任務流上進化完裝備樹，然后用三種不同的方式來"使用"這棵樹。Oracle代表每道題都用事后評估出的最佳分支；Adapt代表用路由智能體實時決策；Naive代表永遠只用主干分支。

在CTF-Dojo場景里，Oracle通過率為55%，Adapt為35%，Naive只有17.5%。這說明分支專化帶來的理論價值是真實存在的（55% vs 17.5%），路由機制確實把這部分價值轉化成了現實收益（35% vs 17.5%），但距離Oracle還有20個百分點的差距，說明路由決策本身還有提升空間。在PolyBench里，三者的收益率分別為+12%、+5.9%和+3.2%，路由比不路由好，但仍遠未到最優。

在FutureX里出現了一個耐人尋味的例外：Naive（主干）的通過率（39.7%）反而略高于Adapt路由（34.5%）。這并不意味著路由在這里是有害的，而是因為FutureX的瓶頸在于信息獲取工具，而不在于選哪個分支。FutureX的分支是按題目難度級別劃分的，而那些難度級別高的題本身就更難，路由把難題送到對應分支，通過率當然低——但低的原因是題目難，不是分支不對。從批次級別的分析也可以看到，在第3批次里，FutureX的Oracle與Adapt之間有最大的差距（57.9% vs 26.3%），說明那一批的分支選擇本身就很有難度，路由決策質量還有提升空間。

裝備樹里每個分支的路由量也值得關注。在100道PolyBench題里，路由智能體把71道題發給了branch/sports，14道給了branch/finance，12道給了branch/culture，3道給了branch/politics-world。路由智能體從來沒有觸發過"回退到主干"的選項，說明它總是能找到一個它認為匹配的分支，盡管匹配質量參差不齊。

**九、系統的邊界與尚未解決的難題**

研究團隊在論文中坦誠地指出了這項工作的局限性，這部分內容同樣值得關注。

其一，基準測試的覆蓋范圍仍然有限。三條賽道（預測市場、安全挑戰、事件預測）提供了相當多樣的挑戰，但真實世界的AI部署場景遠不止于此。在空間和時間維度上更大規模的任務流（比如跨越數年的持續部署、覆蓋更多語言和文化的任務）還沒有被測試到。

其二，論文中提出的進化虧損L_evo和適配虧損L_adapt是分析性的理論量，并不是可以直接測量的實際數字。研究團隊通過各種設計好的對照實驗來間接診斷這兩種虧損，但并沒有一個能直接估算Oracle裝備價值的形式化方法。換句話說，"理論上限到底有多高"這個問題，目前只能間接回答。

其三，CTF-Dojo里二進制漏洞利用類的表現依然低迷，面對大文件時的基礎設施瓶頸還沒有被攻克。這不是算法設計的問題，而是底層工程能力的問題，需要在工具層面繼續突破。

其四，FutureX的中文任務幾乎沒有從進化中獲益，核心原因是缺乏對中文專屬平臺的訪問能力，這是一個在信息獲取層面的現實工程壁壘，需要人工介入補充，自動進化系統本身無法從零憑空解決。

說到底，這項研究用一種清晰的方式回答了"為什么AI助手越學越笨"這個問題，并且提出了一套系統性的應對框架。核心洞察是：把"學得更好"和"用得更準"這兩件事區分開來，前者靠多智能體進化系統來積累高質量的專項能力，后者靠裝備樹路由在答題時動態匹配最合適的配置。這兩件事同等重要，缺一不可——只學不選，等于攢了一大堆工具但每次都隨機拿一把；只選不學，等于把幾把質量一般的工具分類擺放得井井有條。

當AI系統從"考試模式"走向"永不下班的持續工作模式"，它面對的挑戰跟一個靜態測試環境里的挑戰根本不是一類問題。這項研究是朝這個方向邁出的一步，而它揭示的那些尚未解決的難題，也許比它解決的問題更值得繼續追問。對這個話題感興趣的讀者，可以通過arXiv編號2606.01770找到完整論文，里面包含了大量實驗細節和系統提示詞的完整文本。

Q&A

Q1：Adaptive Auto-Harness系統是如何防止AI"越學越笨"的？

A：Adaptive Auto-Harness通過兩個機制共同對抗這一問題。分析師智能體在每個學習周期開始時會主動審查歷史上積累的技能和規則，找出那些對某類任務有幫助但會損害其他類任務的"有毒文物"并標記清理。同時，裝備樹機制把不同類型任務的專屬配置隔離在不同的分支里，防止某個領域的經驗干擾其他領域，避免一套膨脹的通用配置越來越難以維護。

Q2：裝備樹里的分支是怎么決定要不要新建的？

A：分支的創建不是手動指定的，而是由分析師智能體根據失敗證據來決定。分析師會給每個修復建議打上標簽：如果一項改動對所有類型的任務都有好處，就放到主干分支上；如果一項改動只對某類任務有幫助、對其他類任務沒有影響甚至有損害，才會開辟一個新的專屬分支。此外，系統設有硬性規則，少于兩道題或只在單個周期內出現過的問題，不允許新建分支，以防止過度碎片化。

Q3：FutureX預測任務上的中文題目為什么沒有從進化中獲益？

A：FutureX的中文題目普遍需要訪問中國本土的專屬數據平臺（如貓眼票房、東方財富證券數據等），而進化系統在歷史記錄里根本沒有接觸過這些平臺的任何信息，無法自己推斷出它們的存在和訪問方式。這是一種"歷史信號缺失"的情況，自動進化系統無能為力。在引入人類介入鉤子、由人工提供這些平臺的名稱和訪問指引之后，金融科技類任務提升了20個百分點，說明瓶頸確實在信息獲取而非模型推理。