撰文丨王聰

編輯丨王多魚

排版丨水成文

最近，GPT-5、Gemini 這些大語言模型在醫(yī)學考試里拿高分、碾壓人類專家的消息層出不窮，這讓不少人產(chǎn)生了一種 AI 醫(yī)生馬上就能上崗的感覺。

而一項最新研究給所有樂觀者潑了一盆冷水——當前頂尖大模型在醫(yī)療應用中所取得的“高分”，很可能是“作弊”來的。

2026 年 6 月 26 日，微軟研究院、Scripps 研究所的研人員在國際頂尖醫(yī)學期刊Nature Medicine上發(fā)表了題為：Evaluating the robustness and readiness of large frontier models in health AI applications 的研究論文，論文第一作者兼共同通訊作者Gu Yu目前已加入字節(jié)跳動。

該研究系統(tǒng)性地應用并整合了一系列對抗性壓力測試，以評估主流大模型和醫(yī)療基準的穩(wěn)健性（Robustnes）。該研究發(fā)現(xiàn)，把測試題目里的圖片刪掉、把選項順序打亂、把正確答案對應的圖像換成別的疾病……結(jié)果原本取得高分的大模型，瞬間跌到及格線以下，甚至還會一本正經(jīng)地編出完全錯誤的診斷理由。

這項研究不僅戳破了“醫(yī)療 AI 能力超越人類醫(yī)生”的神話，更給整個行業(yè)提了個醒：醫(yī)療 AI 的評估，不能再只看“考試分數(shù)”了。

像 GPT-5 和 Gemini 這樣的前沿大語言模型在廣泛的醫(yī)療應用基準測試中表現(xiàn)出色。然而，在這些看似令人鼓舞的結(jié)果背后，仍存在顯著的增長空間，尤其是在多模態(tài)推理等前沿領域。

六套“壓力測試”，扒下大模型的“畫皮”

研究團隊設計了 6 項遞進的壓力測試，專門瞄準大模型的多模態(tài)推理能力——也就是同時看懂文字病歷和醫(yī)學影像，像醫(yī)生一樣綜合判斷的能力。結(jié)果暴露的問題，比想象中更嚴重——

1、沒圖也能“蒙對”？全靠“死記硬背”

第一項測試很簡單：把題目里的醫(yī)學影像（比如 X 光片、病理圖）直接刪掉，只留文字題干，看模型還能不能答對。

按理說，很多醫(yī)學題必須看圖才能診斷，沒圖就應該答不上來，或者明確說“信息不足”。但結(jié)果讓人大跌眼鏡：在《新英格蘭醫(yī)學雜志》（NEJM）的醫(yī)學挑戰(zhàn)題里，GPT-5 在去掉圖像后準確率只降了 13.92 個百分點，依然有 67.41%；而在專門篩選的“必須看圖才能答”的 197 道題里，所有模型的準確率都遠高于 20% 的隨機猜測水平——GPT-5 甚至達到了 41.32%。

這意味著這些模型根本沒在認真“看圖診斷”，而是在靠“刷題背答案”：記住了“某類題干描述對應某個答案”，哪怕沒有影像證據(jù)，也能蒙對一半。只有 GPT-4o 比較“老實”，沒圖的時候有一半概率直接拒絕回答，但也還是有 16.35% 的概率會瞎猜。

2、選項換個順序就翻車？“位置依賴”太嚴重

第三項測試更離譜：只把選擇題的選項順序打亂，題干、正確答案全不變，看模型會不會受影響。

結(jié)果在純文本輸入下，GPT-4o 的準確率直接從正常水平的 70%+ 跌到了 16.35%，只有在保留圖像的情況下，視覺信息能幫它抵消一部分干擾，準確率才會回升。這說明模型很多時候不是真的理解了知識點，而是記住了“正確答案在第幾個位置”這種表面規(guī)律，典型的“應試技巧”，不是真本事。

3、換張圖就“認死理”？視覺理解全是 bug

第五項測試最貼近臨床實際：把題干對應的正確影像，換成另一個符合某個錯誤選項的影像，題干和選項完全不變，看模型會不會跟著新影像改答案。

比如原題是“看圖診斷皮肌炎”，正確答案是 B 選項，研究人員把圖換成符合 C 選項“心內(nèi)膜炎”的影像，按理說模型應該改選 C。但結(jié)果呢？GPT-5 的準確率從 84% 暴跌到 35%，也就是說大部分時候它還是盯著原來的 B 選項不放，根本沒意識到圖已經(jīng)變了。更有意思的是 GPT-4o，反而準確率從 26.5% 升到了 36%——不是它看得更準了，而是隨機亂猜的概率變高了。

4、解釋越聽越靠譜？全是“一本正經(jīng)的胡說八道”

最后一項測試專門檢測大模型的“診斷理由”：讓它一步步寫出推理過程，再看這些理由是不是真的支持它的答案。

結(jié)果發(fā)現(xiàn)三種典型問題：

• 答案對了，理由錯了：例如正確答案是“氣腫性結(jié)腸炎”，大模型說自己看到了“沿結(jié)腸壁的囊狀氣體影”（這個描述確實符合該?。?，但實際上它根本沒真的識別圖像，只是根據(jù)答案反推了一個聽起來合理的理由；

• 錯上加錯：一開始看錯了影像特征，后面的推理全部基于這個錯誤認知，越推越偏；

• 廢話文學：寫了一大堆結(jié)構(gòu)嚴謹?shù)脑?，比如“需要結(jié)合臨床癥狀、實驗室檢查綜合判斷”，但完全沒有實質(zhì)信息，對診斷毫無幫助。

最可怕的是，這些錯誤的推理過程往往邏輯通順、術(shù)語專業(yè)，非專業(yè)人士（甚至普通醫(yī)生）很難立刻發(fā)現(xiàn)漏洞，很容易被誤導。

壓力測試揭示了大語言模型在多模態(tài)醫(yī)療應用中的隱藏脆弱性和穩(wěn)健性差距

原來使用的“考題”，本身就有問題

為什么這些大模型能在公開榜單上拿高分，一測試就露餡？研究團隊發(fā)現(xiàn)：不是大模型太聰明，是我們用的“考題”（醫(yī)學基準數(shù)據(jù)集）太簡單、太單一了。

他們找了三位執(zhí)業(yè)醫(yī)生，用 10 個臨床維度給 9 個常用的醫(yī)學評測數(shù)據(jù)集打了分，結(jié)果發(fā)現(xiàn)這些數(shù)據(jù)集的“難度側(cè)重”天差地別——

• NEJM Image Challenge：既需要復雜推理，又需要精細讀圖，最接近真實臨床診斷；

• JAMA Clinical Challenge：推理要求高，但很多題不用看圖，光讀文字就能蒙對；

• VQA-RAD、MIMIC-CXR：非常依賴圖像，但推理難度低，基本是“看圖認器官”；

• OmniMedVQA：推理和視覺要求都很低，更像基礎常識題。

基準測試在推理和視覺復雜度方面存在差異

這就導致一個尷尬的現(xiàn)實：如果一個模型只在 JAMA 這類“文本可解”的數(shù)據(jù)集上訓練，哪怕它在榜單上拿了第一，放到需要讀片的真實場景里也會完全失效。而我們過去總把這些數(shù)據(jù)集混為一談，用平均分來衡量模型能力，相當于用“單科成績”代表“全科水平”，完全是誤判。

給醫(yī)療 AI 的“退燒藥”：三個關鍵建議

這項研究不是為了否定大模型在醫(yī)療領域的價值，而是為了讓行業(yè)冷靜下來，建立更科學的評估體系。研究團隊最后給出了三個核心建議，值得所有從業(yè)者深思——

第一，給每個數(shù)據(jù)集發(fā)“說明書”，以后發(fā)布醫(yī)學評測數(shù)據(jù)集，必須附帶詳細的“元數(shù)據(jù)”：說明這個數(shù)據(jù)集主要考什么能力、適合評估哪類模型、有哪些局限性。不能只給個分數(shù)，卻不說這個分數(shù)到底代表什么。

第二，評估要“拆指標”，不能只看總分，就像體檢報告不會只看“總分”，而是分血常規(guī)、肝腎功能一樣，模型評估也要按“推理復雜度”“視覺依賴度”“不確定性處理能力”等臨床維度拆分指標，單獨匯報。比如要明確說“該模型在視覺推理任務上表現(xiàn)優(yōu)異，但在不確定性處理上存在缺陷”，而不是籠統(tǒng)地說“該模型達到專家水平”。

第三，必須把“壓力測試”納入常規(guī)評估，以后醫(yī)療 AI 的發(fā)布前審計，不能只跑一遍標準數(shù)據(jù)集算準確率，必須把“輸入擾動”、“模態(tài)沖突”、“推理一致性”這類壓力測試作為必選項，和準確率一起匯報。就像新藥上市要做“不良反應測試”一樣，AI 上崗前也要做“抗干擾測試”。

醫(yī)療 AI 的價值，從來不是“考高分”，而是真正幫醫(yī)生減少誤診、幫患者獲得更準確的診斷。如果我們的評估體系只盯著榜單排名，只會催生更多“應試型 AI”——它們在測試中表現(xiàn)完美，到了真實的臨床應用時，面對模糊的影像、不完整的病歷、復雜的個體差異，就會漏洞百出。

這項研究撕開的不僅是大模型的“遮羞布”，更是整個行業(yè)的“認知誤區(qū)”：醫(yī)療 AI 的成熟度，不看它能在理想條件下拿多少分，而看它在混亂的真實世界里，能扛住多少意外。

論文鏈接：

https://www.nature.com/articles/s41591-026-04501-8