我靠數據吃飯，所以有個條件反射：一個數字你要是拆不開、對不上、經不起追問，我一個字都不信。偏偏眼下人人都在琢磨怎么讓大模型“當裁判”——也就是 LLM?as?a?judge 那套東西。不管是做醫療合規的逐條檢查，還是翻 Claude Code 會話里嘩啦啦滾過去的終端日志，你總得找個能“打分”的腦子來處理這些亂糟糟的非結構化數據。大廠的前沿模型靠這套評估體系給自己標質量，可如果你既想數據不離開本地，又想把賬單壓到骨頭里，你只能驅著小尺寸的離線模型干這活。

然后現實就劈頭蓋臉地拍過來：模型越小，幻覺越瘋。一樣的轉錄，一樣的評分表，每次跑出來都是新得數。不是誤差，是直接抽風。想讓這種小裁判正經干活，你得給它套一副鐵打的韁繩。我這次的活兒就很具體：拿一段對話錄音轉成的文字，對著品控表逐條打分。品控表是真人專家提前寫死的，三十六條，全是可以明確答“是”或“否”的硬杠杠，比如“說話人有沒有確認 X”“步驟 Y 有沒有覆蓋到”。最理想的對話能拿三十六分，這數完全取決于表單有多長，模型要做的只是給每條勾上狀態，沒讓它自己重寫規則。

可當我真把離線小模型放上去當裁判，那種不信任感直接炸了。隨便一個語言模型，你讓它“自由打分”，它就開始演你了。演法還有四五種，招招踩在評估的命門上。

第一招，偷換分母。它碰見拿不準的條目，連招呼都不打，直接從清單里悄悄摘掉，分母一縮，最后那個百分比蹭地就上去了，看著挺唬人，實際上就是個注水肉。第二招，無憑無據畫勾。它敢在沒有任何原文引用的情況下，理直氣壯地把某項標成“已完成”，硬是把胡亂一猜打扮成分內之責。第三招，憑空塞結構。返回的所謂“準則編號”或者“規則文本”，你在那張三十六條的表里搜穿屏幕也找不著，純屬它即興創作。第四招，一跑一個樣。同一條對話，你跑十次，它給你吐出不同的分數，等于你親手搭了個亂數生成器，還管它叫“測量”。

既然小裁判內建了個戲精模式，我索性把打分的權利從它手里完全剝掉。整條管線里，所有冒出來的數字，通通由代碼掌管；模型只負責回答一個個刨根問底的小問題，而且每個回答都得能被當場抓住證據。這么一來，它就沒法顧左右而言他，也沒法悄悄修改題目。

把框架攤開看，處理一通記錄下來差不多是二十二個小調用，中間插著大段大段的確定性代碼。真正能左右最終得分的，全管線只有兩個環節動刀子，其他所有的步驟都是只讀操作。先是抽取階段，把對話的頭部信息和一些關鍵事實摘出來，接著——結構上不允許模型替你決定一條準則是過是掛，它只能為你扒出用來判斷的那幾句原始文本來，再由外頭不憨不傻的比對邏輯去下定論。同時，管線里灌進了語法約束，每一個輸出都得落在預先劃好的格式里，出格就當場報錯；數數全是代碼在數，模型那張嘴在計數這件事上根本沒有表決權；再加上 CI 強制的不變量，每次提交，如果跑出來的核查記錄不是所見即所得、不能逐條回溯，構建直接爆紅燈。

回頭看一眼這條鐵的韁繩為什么非得這么打。如果你貪圖省事，一個 prompt 里塞滿轉錄和三十六條準則，指望模型一口報個數，那它背地里干的那些偷雞摸狗的事——偷減條目、閉眼畫勾、編造規則、漂移結果——你連抓都抓不住。而現在這套設計，本質上就是用二十二道小鎖，把模型的每一個判斷動作都鎖在可驗證的格子間里。它沒法在你不注意的時候悄悄降低分母，因為每一條準則到底有沒有參考到原文、參考的是哪幾句，全都明明白白攤在遙測記錄里。它也沒法換個 run 就改口，因為只要是同一份輸入，管線里的確定性部分會把隨機性壓到最低，輸出的計分還是那個計分。

至于為什么非得選本地、離線、小尺寸的模型？數據隱私和成本是明賬。不連外網，對話錄音、醫療核查、編碼日志就趴在自家機器上，不用給第三方過一手；跑小的也不用按 token 燒錢。只是小模型的脆弱得用工程手段兜回來，所以才有了三層技術骨架：語法約束堵住格式亂跳，代碼驅動計數逼退數字造假，CI 不變量讓每一次改動都帶著全量回溯。就好像一個做事毛躁的下屬，你讓他在帶防呆卡的流水線上打螺絲，他能擰錯螺帽的概率就斷崖式跌下去了。

這套思路最反直覺的地方在于：想拿到一個牢靠的分數，最不該做的就是讓模型自己算分。不讓它沾計分的事，它反而變得可靠起來——每一句借來的證據、每一次被代碼逮住的勾選，都能讓你在跑完那二十二圈之后，指著手里的評估報告說，這每一個數我都能找到出處。