2024年2月，加拿大航空的聊天機(jī)器人給一位喪親乘客編了條不存在的退票政策。公司辯稱"那是另一個(gè)法律實(shí)體干的"， tribunal（仲裁庭）沒買賬。812加元的賠償不多，但判詞很重：AI犯的錯(cuò)，公司全兜底。

這條紅線劃了五年，醫(yī)療AI早踩過更狠的雷。

2019年《Science》的研究盯上了覆蓋2億美國人的醫(yī)療算法。系統(tǒng)用"醫(yī)療支出"代替"健康需求"做判斷——黑人患者年均少花1800美元，就被算法標(biāo)記為"更健康"。修正這一個(gè)代理變量，黑人患者的正確識(shí)別率從17.5%跳到46.5%。

AI事故數(shù)據(jù)庫現(xiàn)在收錄了700多起案例。澳大利亞的Robodebt用收入平均算法向43.3萬人追討17.3億澳元非法福利債；亞馬遜的招聘AI發(fā)現(xiàn)含"women's"的簡歷就降分，項(xiàng)目直接砍掉。

到2026年初，法院已對提交AI幻覺案例引用的律師開出數(shù)萬美金罰單。模式一模一樣：治理是別人的事，直到變成官司或頭條。

開發(fā)者要建的四個(gè)防線

這套手冊給的是能跑的Python組件，不是PPT概念。四個(gè)模塊：模型卡生成器、偏見檢測流水線、審計(jì)日志、人工介入升級系統(tǒng)。每段代碼都能塞進(jìn)真實(shí)項(xiàng)目，發(fā)布檢查清單直接對齊歐盟AI法案和NIST AI風(fēng)險(xiǎn)管理框架。

模型卡不是文檔裝飾。它強(qiáng)制你回答：訓(xùn)練數(shù)據(jù)從哪來？已知局限是什么？誰該為失敗負(fù)責(zé)？Air Canada的聊天bot如果有一張公開的模型卡，客服至少能查"這政策是不是機(jī)器編的"。

偏見檢測流水線要盯的是代理變量陷阱。醫(yī)療算法的教訓(xùn)是：花錢少≠更健康，但系統(tǒng)就是這么學(xué)的。流水線會(huì)標(biāo)記特征與受保護(hù)屬性的統(tǒng)計(jì)關(guān)聯(lián)，比如郵編和種族、職業(yè)和性別。

審計(jì)日志：別等傳票才翻記錄

日志要記的不是"用戶點(diǎn)了按鈕"，而是"模型輸出了什么、基于什么版本、誰批準(zhǔn)的"。2026年的律師罰單事件里，問題從來不是"用了AI"，而是"用了卻說不清AI干了什么"。

人工介入系統(tǒng)解決的是"什么時(shí)候該讓機(jī)器閉嘴"。不是每個(gè)決策都值得人審，但涉及受保護(hù)群體、金額閾值、或模型置信度低于某條線時(shí)，必須彈給人看。閾值設(shè)太高，成本爆炸；設(shè)太低，等于沒設(shè)。

CI/CD集成是最后一塊。把治理檢查塞進(jìn)發(fā)布流水線：模型卡更新了嗎？偏見檢測報(bào)告過期了嗎？審計(jì)庫連得上嗎？沒打鉤就阻斷發(fā)布，和單元測試失敗一樣處理。

環(huán)境要求很基礎(chǔ)：Python 3.10+、scikit-learn基礎(chǔ)、一個(gè)趁手的IDE。代碼在配套倉庫里，clone下來就能跑完整工具鏈。

這套東西不會(huì)讓你的模型更聰明，但能讓它在 tribunal 面前有話可說。Air Canada的812加元，買的是整個(gè)行業(yè)的警鐘——你的模型卡，第一張打算寫給誰看？