通義千問(wèn) × 港中文聯(lián)合發(fā)布OccuBench，首次用"語(yǔ)言世界模型"系統(tǒng)評(píng)測(cè)AI Agent的真實(shí)職業(yè)能力。

GPT-5.2能寫(xiě)代碼、能刷網(wǎng)頁(yè)、能聊天。但如果讓它去做急診分診呢？或者管核電站報(bào)警、處理海關(guān)報(bào)關(guān)呢？

答案是不知道，因?yàn)楦緵](méi)法測(cè)。

WebArena測(cè)網(wǎng)頁(yè)操作，SWE-bench測(cè)代碼修復(fù)，OSWorld測(cè)桌面任務(wù)。這些基準(zhǔn)加在一起，覆蓋的也不過(guò)是瀏覽器、代碼編輯器、操作系統(tǒng)這幾個(gè)領(lǐng)域。而真實(shí)世界中絕大多數(shù)高價(jià)值職業(yè)工作，壓根沒(méi)有可以用來(lái)測(cè)試的公開(kāi)環(huán)境：急診室沒(méi)有開(kāi)源API，核電站不會(huì)給你搭沙箱，海關(guān)系統(tǒng)更不可能開(kāi)放權(quán)限。

01

核心思路：讓大模型來(lái)模擬環(huán)境

通義千問(wèn)團(tuán)隊(duì)（Qwen Team）和香港中文大學(xué)的研究者想了個(gè)辦法：既然沒(méi)有真實(shí)環(huán)境，那就讓大模型模擬一個(gè)。

給LLM一份環(huán)境配置（任務(wù)場(chǎng)景描述、工具定義和初始狀態(tài)），它就能變成一個(gè)有狀態(tài)的、可交互的模擬環(huán)境。研究者將其稱為語(yǔ)言世界模型（Language World Model, LWM）。

舉個(gè)例子：你告訴LLM "你現(xiàn)在是一個(gè)急診科信息系統(tǒng)，有3個(gè)檢查室、5個(gè)候診患者，支持分診、轉(zhuǎn)運(yùn)、下醫(yī)囑等操作"，它就真的能扮演這個(gè)系統(tǒng), 根據(jù)Agent的每一步操作，維護(hù)內(nèi)部狀態(tài)并返回合理的響應(yīng)。

通過(guò)這樣做，環(huán)境的構(gòu)建從工程問(wèn)題變成了配置問(wèn)題，不用寫(xiě)后端代碼，不用搭基礎(chǔ)設(shè)施，只要LLM能理解這個(gè)領(lǐng)域就行。

基于這個(gè)思路，研究者構(gòu)建了OccuBench，一個(gè)覆蓋100個(gè)職業(yè)場(chǎng)景、10大行業(yè)、65個(gè)細(xì)分領(lǐng)域、382個(gè)評(píng)測(cè)實(shí)例的Agent評(píng)測(cè)基準(zhǔn)。Bench當(dāng)中的任務(wù)平均包含5.5個(gè)專業(yè)工具，需要Agent調(diào)用約16.2次工具才能完成。

02

不只是模擬，還能注入故障

真實(shí)生產(chǎn)環(huán)境里，API會(huì)超時(shí)，數(shù)據(jù)會(huì)截?cái)啵?wù)會(huì)降級(jí)，這些都是常態(tài)。但現(xiàn)有的Agent評(píng)測(cè)基本都是在理想環(huán)境下跑的。

基于LWM的agent 評(píng)測(cè)有一個(gè)獨(dú)特優(yōu)勢(shì)：環(huán)境行為完全由提示詞控制。只需要修改幾句提示詞，就能精確注入各種故障：

所有故障都是暫態(tài)的，重試就能恢復(fù)。關(guān)鍵在于Agent能不能意識(shí)到出了問(wèn)題，然后主動(dòng)重試。這考驗(yàn)了agent的自主性，影響了agent能否在沒(méi)有人工干預(yù)的情況下獨(dú)立完成長(zhǎng)程任務(wù)。

03

15個(gè)模型綜合評(píng)價(jià)，幾個(gè)值得注意的結(jié)果

研究者評(píng)測(cè)了15個(gè)前沿模型，覆蓋8大模型家族：GPT-5.2、Claude全系列（4 / 4.5 / 4.6，含Opus和Sonnet）、Gemini 3.1 Pro / Flash-Lite、DeepSeek V3.2、Kimi K2.5、MiniMax M2.7、GLM-5、Qwen 3.5 Plus / Flash。

▎發(fā)現(xiàn)一：沒(méi)有全能選手

GPT-5.2以總分79.6%排名第一，在科研領(lǐng)域更是高達(dá)94%。但看電商消費(fèi)？只有67%，被Qwen 3.5 Plus（81%）甩開(kāi)14個(gè)百分點(diǎn)。

Gemini 3.1 Pro在教育領(lǐng)域以84%拿下第一，Claude Opus 4.6在交通運(yùn)輸以77%稱王，Qwen 3.5 Plus則在醫(yī)療健康和電商消費(fèi)雙雙拿到81%的行業(yè)最高分。

每個(gè)模型都有自己擅長(zhǎng)和不擅長(zhǎng)的行業(yè)。這啟示我們，在實(shí)際生產(chǎn)中，選Agent不能只看總分，還得看你的具體場(chǎng)景。

▎發(fā)現(xiàn)二：隱式故障比顯式故障難對(duì)付得多

顯式故障（API報(bào)錯(cuò)、超時(shí)）相對(duì)好處理, Agent看到報(bào)錯(cuò)，知道該重試就行了。

隱式故障就不一樣了。在干凈環(huán)境下，模型平均得分67.5%。遇到顯式故障掉到62.6%，遇到隱式故障則降到53.4%，比顯式故障低了9.2個(gè)百分點(diǎn)。拿Claude Opus 4.6舉例：顯式故障下只掉了3.4%（71.5%→68.1%），但隱式故障下直接掉了17.6%（71.5%→53.9%）。原因其實(shí)也很簡(jiǎn)單：數(shù)據(jù)截?cái)嗔耍祷馗袷酵耆_，沒(méi)有報(bào)錯(cuò)信號(hào)，Agent不知道自己拿到的數(shù)據(jù)是殘缺的。

9個(gè)測(cè)試模型中，有4個(gè)在隱式故障（E2）下的表現(xiàn)甚至比混合故障（E3）更差, 隱式故障比顯式+隱式一起來(lái)還難對(duì)付。

▎發(fā)現(xiàn)三：Scaling定律依然有效

研究者們還發(fā)現(xiàn)，更大的模型、更新的版本、更深的思考，在OccuBench上全部帶來(lái)了穩(wěn)定提升：

模型規(guī)模：Gemini Pro比Flash-Lite高11.0%，Qwen Plus比Flash高10.2%

代際迭代：Claude Opus從v4到v4.6，總提升10.2個(gè)百分點(diǎn)（61.3%→71.5%）

推理深度：GPT-5.2關(guān)掉推理只有54.7%，開(kāi)到最高推理強(qiáng)度則達(dá)到了82.2%的分?jǐn)?shù)，差了27.5個(gè)百分點(diǎn)

▎發(fā)現(xiàn)四：做Agent厲害 ≠ 當(dāng)環(huán)境模擬器靠譜

研究者還做了一個(gè)交叉實(shí)驗(yàn)：讓不同模型分別充當(dāng)Agent和環(huán)境模擬器，看結(jié)果會(huì)怎么變。

GPT-5.2當(dāng)Agent是第一名（79.6%），但當(dāng)它反過(guò)來(lái)充當(dāng)環(huán)境模擬器時(shí), 所有Agent的平均分只剩29.3%，還不到用Gemini Flash當(dāng)模擬器時(shí)（67.9%）的一半。

研究者扒了失敗案例，發(fā)現(xiàn)GPT-5.2當(dāng)模擬器時(shí)存在三種典型問(wèn)題：

狀態(tài)虛構(gòu)：急診分診任務(wù)中，憑空多出兩個(gè)不存在的檢查室，Agent被誤導(dǎo)選錯(cuò)了房間

實(shí)體遺漏：工單派發(fā)任務(wù)中，把關(guān)鍵的數(shù)據(jù)庫(kù)專家從名冊(cè)里吞掉了，Agent無(wú)人可派

規(guī)則發(fā)明：退貨任務(wù)中，自己編了一條 "退貨窗口已過(guò)期" 的規(guī)則，但是任務(wù)里根本沒(méi)這條限制

相比之下，Qwen 3.5 Plus作為模擬器與Gemini Flash的排名的一致性達(dá)到了85.7%（28對(duì)成對(duì)排名比較中，24對(duì)完全相同），前三名完全吻合。

這啟示我們，做agent和做環(huán)境模擬器，看起來(lái)是兩種不太一樣的能力。這個(gè)結(jié)果對(duì)所有用LLM模擬環(huán)境來(lái)做評(píng)測(cè)/訓(xùn)練的方案來(lái)說(shuō)，都值得參考。

04

三個(gè)具體案例

▎案例一：末端配送: 你會(huì)先充電嗎？

任務(wù)：找到編號(hào)最大的醫(yī)療包裹MED-615，送到指定地址，全程電池不能低于15%。

Claude Opus 4.6：查庫(kù)存→找到MED-615→看了眼電量28%，覺(jué)得不夠→先充滿電→出發(fā)，到達(dá)時(shí)還剩82%→送達(dá) ->Success

DeepSeek V3.2：查庫(kù)存→找到MED-615→直接就走了→到達(dá)時(shí)電量12.5%→違反15%安全線 ->Fail

它們的區(qū)別就在于出發(fā)前有沒(méi)有看一眼電量夠不夠, 有沒(méi)有時(shí)刻牢記問(wèn)題中的約束。

▎案例二：房產(chǎn)估值: 你能發(fā)現(xiàn)數(shù)據(jù)被截?cái)嗔藛幔?/strong>

任務(wù)：評(píng)估一棟15個(gè)單元的物業(yè)，計(jì)算DSCR（償債覆蓋率）是否達(dá)到1.20x的貸款門(mén)檻。環(huán)境悄悄只返回了2個(gè)單元的數(shù)據(jù)，沒(méi)有任何報(bào)錯(cuò)。

Claude Opus 4.6：“等等，15個(gè)單元怎么只返回了2個(gè)？”→重新請(qǐng)求→拿到完整數(shù)據(jù)→算出DSCR 1.19x，不達(dá)標(biāo) ->Success

Kimi K2.5：也重試了一次，但故障還在→直接假設(shè)15個(gè)單元都跟這2個(gè)一樣→算出1.72x，達(dá)標(biāo)→實(shí)際上這棟樓根本不合格 ->Fail

就因?yàn)閿?shù)據(jù)截?cái)啵瑑蓚€(gè)模型得出了完全相反的財(cái)務(wù)結(jié)論。放在真實(shí)金融場(chǎng)景里，這種錯(cuò)誤的代價(jià)是很大的！

▎案例三：公交調(diào)度: 故障面前，誰(shuí)能堅(jiān)持到底？

任務(wù)：在顯式故障（E1）環(huán)境下恢復(fù)一條公交線路的時(shí)刻表。

Claude Opus 4.6：12步操作中遇到了4次錯(cuò)誤（超時(shí)、500），每次都堅(jiān)持重試→最終完成全部調(diào)度 ->Success

Kimi K2.5：第一次遇到錯(cuò)誤就停了→只完成了2步操作→任務(wù)失敗 ->Fail

同樣的故障率，一個(gè)堅(jiān)持了12步走完了，另一個(gè)第2步就放棄了。

05

關(guān)于OccuBench

OccuBench覆蓋10大行業(yè): 農(nóng)業(yè)與環(huán)境、商務(wù)與企業(yè)、電商與消費(fèi)、教育與文化、醫(yī)療與生命科學(xué)、工業(yè)與工程、公共服務(wù)與治理、科學(xué)與研究、技術(shù)與IT、交通與物流。從行業(yè)難度來(lái)看，商務(wù)與企業(yè)（70.1%）和公共服務(wù)（69.4%）相對(duì)容易，而交通與物流（56.2%）和教育與文化（57.6%）是最具挑戰(zhàn)性的行業(yè)。

OccuBench完整開(kāi)源：382個(gè)評(píng)測(cè)任務(wù) + 100個(gè)場(chǎng)景的環(huán)境配置 + 全部參考實(shí)現(xiàn)代碼。

論文：https://arxiv.org/abs/2604.10866

項(xiàng)目主頁(yè)：https://gregxmhu.github.io/OccuBench-website/

代碼：https://github.com/GregxmHu/OccuBench

數(shù)據(jù)：https://huggingface.co/datasets/gregH/OccuBench

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。