去年有個數(shù)據(jù)挺扎眼：某頭部廠商的旗艦模型在競技場（Chatbot Arena）霸榜6個月，落地到企業(yè)客服場景卻翻車率37%。排行榜上的王者，成了生產(chǎn)線上的青銅——這個落差，比相親照和真人見面還離譜。

問題出在哪？

現(xiàn)在的AI評測，像極了高考。一個模型進考場，語數(shù)外全科solo，最后按總分排座次。但真實業(yè)務不是考試，是拍電影——你得有編劇、有演員、有剪輯，沒人指望一個明星包圓全場。

Google DeepMind去年發(fā)了一篇論文，標題很直白：《Constitutional AI: Harmlessness from AI Feedback》。里面提了個被忽略的細節(jié)：他們訓練Claude時，讓模型扮演不同角色互相審稿，效果比單模型自我迭代好得多。角色分工，比單體智能更重要——這個發(fā)現(xiàn)被埋在技術細節(jié)里，沒進任何主流排行榜的評分維度。

排行榜的盲區(qū)：測的是"演員"，不是"劇組"

Chatbot Arena的玩法簡單粗暴。兩個模型匿名PK，人類裁判盲選誰回答更好。勝率加權算Elo分，排名實時更新。公平嗎？公平。有用嗎？看場景。

這種設計天然獎勵"全能型選手"。模型得會寫詩、會寫代碼、會解數(shù)學題、會陪聊——像個綜藝咖，什么都能來一段。但企業(yè)落地時，沒人需要綜藝咖。

某金融風控團隊跟我吐槽過：他們試過榜單Top 3的模型做合同審查，漏檢率比專門微調(diào)的中小模型還高。為什么？通用模型被訓練成"好好先生"，面對模糊條款傾向于給出安全但無用的回答。而業(yè)務需要的是"杠精"——能較真、能挑刺、能發(fā)現(xiàn)"本協(xié)議最終解釋權歸甲方所有"這種坑。

「我們最后用了3個模型。」一位架構師說，「一個讀條款，一個找漏洞，一個寫批注。單模型評分沒一個進前20，組合起來比GPT-4準?！?/p>

新思路：把AI當劇組來"選角"

Anthropic的工程師Riley Goodside去年在X上發(fā)了個 thread，講他們怎么給Claude安排"角色"。不是提示詞里寫"你是一個律師"，而是讓模型在系統(tǒng)層面承擔固定職能：有的專精事實核查，有的負責創(chuàng)造性發(fā)散，有的當"反派"專門挑刺。

這套玩法有個專門的名字：Multi-Agent Role Casting（多智能體角色分配）。

關鍵在三個維度。第一是Role（角色）——不是人設包裝，是能力邊界。翻譯模型不需要懂股票，風控模型不需要會寫詩。給每個模型發(fā)"專業(yè)對口"的劇本，比逼一個演員演全本戲更靠譜。

第二是Contract（契約）——模型之間的協(xié)作協(xié)議。什么時候該接力、什么時候該爭論、什么時候該喊停，得寫清楚。某電商平臺的客服系統(tǒng)用了4個模型：接待員判斷意圖，專家查知識庫，談判員處理退換貨，質(zhì)檢員全程旁聽。它們之間靠結構化輸出傳話，不是端到端黑箱。

第三是Review（評審）——讓模型互相打分。Google那篇論文的核心就是這個：用AI反饋替代人類標注，成本低一個數(shù)量級。更狠的做法是引入"紅隊"角色，專門負責找茬。某安全團隊的配置是：主模型生成回答，攻擊模型挑刺，防御模型補漏，三輪迭代才輸出。

落地案例：從"選最強的"到"組最合適的"

硅谷有家做法律科技的公司Harvey，去年公開過他們的架構。不是接個GPT-4就完事，而是拆了7個環(huán)節(jié)：文件解析、事實提取、法條匹配、風險標記、起草建議、格式校對、最終復核。每個環(huán)節(jié)選不同模型，有的用開源小模型跑本地，有的調(diào)API，有的專門微調(diào)。

結果？合同審查時間從4小時壓到20分鐘，成本是單用GPT-4的1/5。沒人關心這7個模型在排行榜上排第幾。

國內(nèi)也有類似嘗試。某頭部云廠商的代碼助手，去年從"單模型問答"改成"多角色協(xié)作"。架構師模型畫流程，編碼模型寫實現(xiàn)，測試模型補用例，三個模型來回扯皮，最終代碼通過率比單模型高22%。

這個數(shù)字有意思。不是22%的絕對提升，是"協(xié)作"對"單挑"的碾壓。排行榜測的是單挑能力，真實戰(zhàn)場要打團戰(zhàn)。

排行榜會改嗎？很難

Chatbot Arena的團隊不是沒意識到問題。他們?nèi)ツ昙恿?Hard Prompts"子榜，測復雜指令跟隨；今年又推"Coding"專項榜。但本質(zhì)還是單模型PK，沒觸及"角色分工"這個維度。

為什么？評測成本。測一個模型要幾千條對話，測三個模型的組合排列，樣本量指數(shù)級爆炸。更別說"角色設計"本身就是業(yè)務機密，廠商不愿意公開自己的"劇組配置"。

有個妥協(xié)方案正在醞釀：固定幾個標準"角色模板"，比如"創(chuàng)意生成者""事實核查員""安全審查員"，讓廠商按角色提交專門微調(diào)的模型。評測時測組合效果，而非單體能力。但這需要行業(yè)共識，短期內(nèi)看不到希望。

更現(xiàn)實的可能是"反向操作"——企業(yè)不再看排行榜選模型，而是先定業(yè)務角色，再挑對口選手。就像拍電影不找"最紅的明星"，找"最適合劇本的演員"。

某AI infra創(chuàng)業(yè)公司的創(chuàng)始人跟我說了個細節(jié)：他們的客戶現(xiàn)在問的第一句話變了。兩年前是"你們接的是GPT-4還是Claude"，現(xiàn)在是"你們能配幾個角色，評審機制怎么設計"。

排行榜的霸權在松動。不是因為榜單不準，是因為榜單測錯了東西——就像用百米成績挑馬拉松選手，不是蘇炳添不夠快，是賽道根本不一樣。

你的業(yè)務場景，真的需要一個"全能冠軍"，還是該組一支"專項戰(zhàn)隊"？