SLIM：讓模型判斷外部能力的去留，在復雜任務中保留真正有用的支撐。

作者丨鄭佳美

編輯丨馬曉寧

大模型智能體正在從“會聊天”走向“會做事”。

在網頁搜索、工具調用、自動辦公、軟件操作、具身機器人等場景中，智能體面對的不再是單輪問答，而是連續決策：它要理解任務目標，選擇合適工具，執行多個步驟，并根據環境反饋不斷調整行動。

例如，一個家庭服務機器人要完成“把冷卻后的物品放到指定位置”，不能只知道“冷卻”是什么意思，還要先找到正確物體，判斷物體狀態，完成冷卻操作，再確認是否放置成功；一個搜索問答智能體也不能只生成答案，而要先判斷問題類型，檢索證據，篩掉無關信息，再組織最終回答。

在這種行業背景下，外部技能逐漸成為 LLM agent 的重要能力來源。它們像是可復用的操作經驗，能夠幫助智能體處理復雜流程、長尾任務和容易出錯的步驟。

但問題也隨之出現：技能是不是越多越好？如果一直把技能塞進系統，智能體可能檢索到錯誤技能，被無關信息干擾；如果追求“零技能推理”，又可能把一些低頻但關鍵的能力刪掉，導致復雜任務中失誤增加。也就是說，行業真正需要解決的不是“要不要技能”，而是“技能應該怎樣被管理”。

針對這個問題，香港中文大學團隊提出了《Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning》，簡稱 SLIM。這項研究把外部技能看成一個有生命周期的能力系統，而不是固定不變的提示材料。SLIM 會在訓練過程中判斷每個技能的真實貢獻：有用的技能繼續保留，貢獻變小的技能逐漸退休，當前能力覆蓋不到的失敗場景再擴展新技能。

這讓智能體的訓練方式更接近真實工作中的能力管理。比如在 ALFWorld 這類長流程任務中，一些清潔、加熱、冷卻、狀態檢查相關技能仍然需要保留在外部，幫助智能體完成連續動作；而在 SearchQA 這類搜索問答任務中，部分搜索和推理策略可能更容易被模型吸收，最終對外部技能的依賴就會降低。

SLIM 想回答的核心問題，正是大模型智能體走向復雜任務時繞不開的問題：哪些能力應該寫進模型，哪些能力應該留在外部，哪些能力又應該在失敗中被重新補上。

論文地址：https://arxiv.org/pdf/2605.10923

01

從「堆技能」到「管技能」

研究團隊的實驗結果顯示，SLIM 在整體表現上最好，平均超過最佳對比方法 7.1 個百分點，這說明提升不是偶然來自某一個任務，而是來自訓練過程中對技能集合的動態管理。

SLIM 的優勢不是固定使用同一批技能，也不是單純增加技能數量，而是根據每個技能在不同階段的作用變化，決定哪些技能繼續保留，哪些技能刪除，哪些技能需要新增。

在 ALFWorld 上，SLIM成功率為 87.5，最強基線方法 SkillRL 為 75.0，提升較明顯。ALFWorld 的任務步驟長、動作多、狀態變化明顯，智能體需要持續觀察環境、判斷物體狀態、選擇正確動作，并按順序完成多個操作，所以這類任務仍然需要一部分外部技能輔助。

SLIM 在這個任務上表現更好，說明經過篩選后留下的外部技能，能夠幫助智能體處理復雜流程和狀態變化。在 SearchQA 上，SLIM無論是否攜帶技能都為 41.0，最強非 SLIM 方法 Skill0 為 39.3，雖然也有提升，但不如 ALFWorld 明顯。

SearchQA 主要圍繞搜索、推理和回答展開，任務重點在于找到信息、組織推理路徑并輸出答案，所以外部技能更像訓練階段的輔助，最終依賴較弱。帶技能和不帶技能的結果也能體現這種差異，ALFWorld 中帶技能明顯更好，說明它更依賴外部過程技能，SearchQA 中帶不帶技能差距很小，說明模型更容易把技能中的搜索和回答策略吸收到自身能力中。

訓練過程中，不同方法的技能變化也很有代表性。SkillRL 的技能持續增加，說明它偏向不斷累積技能，但技能多并不一定更好，因為過多技能可能帶來檢索噪聲和上下文干擾。Skill0 的技能持續減少，最后變成零技能，說明它偏向把技能全部內化到模型中，但這種方式可能會丟失低頻、長尾或復雜流程能力。

SLIM 則先增加技能，再篩選技能，最后保留少量有效技能，并最終保留 21 個技能，說明最優狀態不是技能越多越好，也不是技能全部刪除最好，而是保留仍然有實際貢獻的技能。

消融實驗進一步證明了這一點，去掉“退休”機制后性能明顯下降，說明只增加技能而不刪除無效技能會影響效果；去掉“擴展”機制后性能也下降，說明只篩選已有技能還不夠，還需要補足當前技能無法覆蓋的失敗情況；隨機管理技能效果更差，說明技能增刪不能隨意進行。

固定技能數量也不如 SLIM，說明關鍵不是簡單控制技能數量，而是根據技能貢獻決定保留、刪除和擴展。案例分析結果也支持這個結論，有些技能使用頻率高，但貢獻已經很小，可能已經被模型學會或被其他技能替代；有些技能使用頻率不高，但在特定任務中非常關鍵，不能因為低頻就刪除。

還有些新擴展出來的技能，后期也可能變得冗余，說明新增技能并不代表永久保留。因此，是否保留技能不能只看使用次數，更重要的是看禁用某個技能后，任務表現是否明顯變差。

02

SLIM 把技能管理做成一個循環

研究團隊的實驗目標，是驗證 SLIM 是否優于傳統技能使用方式。實驗主要對比了三種思路，一種是普通 RL，重點放在訓練 policy 上，一種是技能累積，也就是不斷增加外部技能，還有一種是技能內化，也就是逐漸刪除外部技能。

圍繞這些對比，研究真正想回答的問題是，LLM agent 在訓練過程中，外部技能到底要怎樣變化。實驗使用的基礎模型是 Qwen3-4B，任務包括 ALFWorld 和 SearchQA，其中 ALFWorld 是模擬家庭環境任務 ，更偏動作執行，SearchQA 是搜索問答任務，更偏信息檢索和推理。

這樣設置的目的，是觀察 SLIM 在不同類型任務中是否都能發揮作用。實驗對比對象也比較全面，包括提示類方法 Zero-Shot、Few-Shot，agent 類方法 ReAct、Reflexion，memory 類方法 Mem0、ExpeL，RL 類方法 GRPO、EvolveR，技能類方法 SkillRL、Skill0，以及研究提出的 SLIM。對比范圍較廣，所以能夠說明 SLIM 不是只比某一類較弱的 baseline 好，而是在多種方法體系中都有競爭力。

SLIM 的基本訓練流程可以理解為一個不斷循環的過程。首先，系統會根據當前任務檢索相關技能，然后讓 agent 帶著這些技能去執行任務，接著用 GRPO 更新 policy。訓練一段時間后，系統會進入技能審計階段，也就是檢查不同技能在當前訓練狀態下還有沒有價值。

審計完成后，再決定技能是繼續保留、刪除，還是新增。技能檢索時，技能被分成兩類，一類是通用技能，適合多種任務中的策略，另一類是任務專屬技能，針對某類任務中的具體操作方法。每次任務只會從當前 active skill set 里檢索相關技能，而不是把所有技能全部塞進 prompt，這樣可以減少無關技能帶來的干擾。

在判斷技能貢獻時，SLIM 使用的核心方法是 leave-one-skill-out 驗證，即臨時禁用某個技能，然后比較禁用前后的驗證表現。如果禁用后表現明顯下降，說明這個技能仍然有價值。如果禁用后表現幾乎不變，說明相關能力可能已經被模型學會。如果禁用后表現變好，說明這個技能可能產生干擾。

通過這種方式，研究團隊可以估計技能的邊際外部貢獻。根據貢獻結果，SLIM 會執行三種操作。Retain 指保留技能，適用于技能仍然明顯提高任務表現的情況，作用是讓有用的外部能力繼續參與后續任務，尤其適合步驟復雜、容易出錯的任務流程。

Retire 指退休技能，適用于技能貢獻長期很低的情況，可能原因包括模型已經學會相關能力，其他技能已經覆蓋它，技能信息過時，或者技能會干擾決策，作用是減少無效技能帶來的噪聲和上下文負擔。Expand 指擴展技能，適用于某些任務區域持續失敗的情況，這說明當前技能庫覆蓋不足，所以系統會從失敗案例中總結新技能，用來補足原有技能庫沒有覆蓋到的能力。

這個擴展過程不是盲目增加技能，而是根據失敗模式進行補充。最終推理時，訓練已經完成，系統會使用最終保留下來的技能集合，只檢索相關技能，不再繼續執行保留、退休和擴展。實驗中對比了 SLIM 攜帶技能和沒有攜帶技能兩種情況，兩者對比可以觀察模型最終是否仍然依賴外部技能。

03

技能管理走向動態化

研究的意義首先在于重新思考“技能持續累積”這種做法。SkillRL 一直增加技能，表面上看外部知識變多了，但實際使用時可能帶來新的問題。技能過多會讓檢索更容易選錯，prompt 中也會出現更多無關信息，agent 甚至可能被錯誤技能誤導，所以技能庫并不是越大越好。

其次，研究也反思了“零技能推理”這種做法。Skill0 試圖把技能全部內化進模型，一部分技能確實可以被模型學會，但并不是所有技能都適合且能夠放進模型參數里。低頻技能、長尾技能和復雜流程技能，可能仍然需要保留在外部，如果強制刪除全部技能，就容易損失一些局部但關鍵的能力。

SLIM 的核心價值就在于，它不假設技能必須一直增加，也不假設技能最終必須全部消失，而是讓技能根據貢獻動態變化，有用的繼續保留，無用的逐漸刪除，缺失的重新擴展，這更接近真實 agent 訓練中的能力管理過程。

從模型參數和外部技能的分工來看，常見能力適合被模型參數吸收，重復出現的簡單流程適合逐漸內化，低頻但重要的流程適合外部保留，當前技能庫沒有覆蓋的能力則適合新增技能。因此，SLIM 實際上是在學習“哪些能力放進模型，哪些能力留在外部”。

這也給 agentic RL 帶來啟發，傳統 RL 主要優化 policy，而 SLIM 同時優化 policy 和外部技能集合，使 agent 不只是學會做任務，還學會什么時候需要外部幫助，因此更適合復雜任務、長流程任務和工具使用任務。

不同任務也需要不同的技能管理方式，ALFWorld 更需要保留外部技能，因為任務涉及連續動作、環境狀態和順序約束，SearchQA 更容易把技能轉化為模型策略，因為任務更偏搜索與回答模式，所以不能統一采用“全保留”或“全刪除”。

總體來看，SLIM 提供了一種更靈活的技能生命周期管理方法，在訓練過程中動態調整外部技能，最終形成一個精簡但有效的技能集合，既避免技能過多造成干擾，也避免技能過少導致能力缺失。研究的核心貢獻，是把外部技能集合從固定輔助工具，變成可以和 policy 一起優化的訓練對象。

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。