一個(gè)被喂了答案的AI，和一個(gè)真正會(huì)查資料的AI，差距有多大？Liu等人2026年的新研究給出了量化答案——當(dāng)測(cè)試環(huán)境從"理想溫室"搬進(jìn)"野生叢林"，技能調(diào)用率斷崖下跌。

理想測(cè)試正在制造幻覺(jué)

現(xiàn)有基準(zhǔn)測(cè)試SKILLSBENCH有個(gè)隱蔽的bug：它給AI的技能庫(kù)，精準(zhǔn)得像作弊小抄。找USGS洪水?dāng)?shù)據(jù)？技能文件里直接塞了API名稱(chēng)、數(shù)據(jù)源URL、檢測(cè)代碼片段。這不是讓AI"學(xué)會(huì)用工具"，這是把飯嚼碎了喂到嘴邊。

研究者把這種測(cè)試比作開(kāi)卷考試——考生帶的是整理好的筆記，而非真去圖書(shū)館翻書(shū)。更麻煩的是，這類(lèi)測(cè)試無(wú)法區(qū)分：AI是真的掌握了技能檢索能力，還是只是擅長(zhǎng)做文本匹配。

三層剝離實(shí)驗(yàn)：從溫室到荒野

論文設(shè)計(jì)了三階難度，逐層拆除安全網(wǎng)。

第一層拆"精準(zhǔn)匹配"。不再給任務(wù)定制技能，而是從通用技能庫(kù)中隨機(jī)抽取子集。AI必須在50個(gè)無(wú)關(guān)技能里，撈出真正能用的那幾個(gè)。技能召回率（recall）立刻成為核心指標(biāo)——找不找得到，比用不用得好更重要。

第二層拆"上下文提示"。技能文件不再隨任務(wù)打包送達(dá)，需要AI主動(dòng)從外部存儲(chǔ)檢索。這一步模擬真實(shí)開(kāi)發(fā)場(chǎng)景：工程師不會(huì)把整本手冊(cè)貼進(jìn)聊天框，AI也得學(xué)會(huì)自己翻文檔。

第三層最狠：連技能描述都模糊化。不再寫(xiě)"用于獲取USGS水位數(shù)據(jù)"，而是改成"水文數(shù)據(jù)查詢(xún)接口"。AI必須理解語(yǔ)義關(guān)聯(lián)，而非做關(guān)鍵詞匹配。

野生環(huán)境下的真實(shí)表現(xiàn)

實(shí)驗(yàn)結(jié)果暴露了殘酷差距。在理想設(shè)置下，主流模型的技能調(diào)用準(zhǔn)確率普遍超過(guò)80%；進(jìn)入三層剝離后的野生環(huán)境，部分模型跌至40%以下。最致命的瓶頸出現(xiàn)在第一層：當(dāng)技能庫(kù)規(guī)模擴(kuò)大10倍，召回率下降幅度遠(yuǎn)超預(yù)期。

研究者發(fā)現(xiàn)，當(dāng)前模型的技能選擇策略過(guò)于依賴(lài)表面文本相似度。面對(duì)"分析河流流量趨勢(shì)"這類(lèi)需求，模型能精準(zhǔn)匹配帶"USGS"字樣的技能；但若技能描述改為"聯(lián)邦地質(zhì)調(diào)查局公開(kāi)數(shù)據(jù)源"，同一能力瞬間失聯(lián)。

一個(gè)細(xì)節(jié)值得玩味：Claude系列在三層測(cè)試中表現(xiàn)相對(duì)穩(wěn)定，而部分開(kāi)源模型的性能曲線近乎垂直下滑。這暗示技能泛化能力可能與訓(xùn)練時(shí)的工具調(diào)用數(shù)據(jù)質(zhì)量強(qiáng)相關(guān)，而非單純 scaling law 的副產(chǎn)品。

給技能生態(tài)建設(shè)者的冷思考

論文的隱含質(zhì)問(wèn)直指行業(yè)現(xiàn)狀：我們到底在優(yōu)化什么？是讓AI在 curated 環(huán)境里表演正確，還是讓它在混亂的真實(shí)世界存活？

SKILLSBENCH的原始設(shè)計(jì)并非惡意，但它確實(shí)掩蓋了一個(gè)關(guān)鍵變量——技能發(fā)現(xiàn)（skill discovery）與技能執(zhí)行（skill execution）是兩種能力。前者在真實(shí)場(chǎng)景中的權(quán)重，可能被系統(tǒng)性低估了。

研究者建議新的評(píng)估維度：技能庫(kù)噪聲容忍度、語(yǔ)義漂移魯棒性、以及"有效技能密度"——即在給定任務(wù)下，技能庫(kù)中真正有用的技能占比。當(dāng)這個(gè)密度從100%（理想測(cè)試）降至5%（真實(shí)代碼庫(kù)），模型的行為模式會(huì)發(fā)生質(zhì)變。

如果你正在構(gòu)建AI編程助手，這篇論文的測(cè)試框架可以直接復(fù)刻。把你的技能庫(kù)隨機(jī)打亂，去掉任務(wù)相關(guān)的提示詞，再看AI還能不能干活——這個(gè)簡(jiǎn)單的"壓力測(cè)試"，可能比跑一百個(gè)標(biāo)準(zhǔn)基準(zhǔn)更有信息量。

最后一個(gè)問(wèn)題留給你：當(dāng)你的用戶(hù)第20次問(wèn)同一個(gè)問(wèn)題時(shí)，你的AI是在重復(fù)調(diào)用那個(gè)被驗(yàn)證過(guò)的技能，還是在技能庫(kù)里重新迷路？