CX-Mind團隊 投稿量子位 | 公眾號 QbitAI

胸片AI進入了一個新階段：不再只給診斷，開始給推理

過去的醫學影像AI更像“分類器”，擅長回答有沒有病、像不像某種病。

但真實臨床需要的是一條能被醫生復核的推理路徑。

上海交通大學、上海創智學院與瑞金醫院聯合發布的CX-Mind，是目前首個將胸片診斷推進為「可驗證推理鏈」的多模態大模型——

從看到異常，到解釋為什么、排除了什么、結論怎么來的，每一步都有影像證據支撐。

在橫跨23個數據集、708,473張影像的評測中，它在視覺理解、報告生成和時空對齊三大能力域平均提升25.1%。

而在真實世界測試集Rui-CXR上，多中心醫生主觀評估五項維度全部排名第一

為什么這項工作重要：醫學AI的關鍵矛盾正在改變

胸部X光是臨床最常用的影像檢查之一，也是醫學多模態大模型最重要的真實場景。

它的難點并不止于識別某個病灶，而在于把影像觀察、病灶定位、共病判斷、報告生成、歷史比較和臨床語義整合到同一個診斷鏈條中。

這也是過去很多胸片AI難以真正進入臨床核心工作流的原因。

模型可以給出一個看似準確的標簽，但醫生仍然會追問：

依據是什么？排除了哪些可能？結論是否與報告 findings 一致？如果模型錯了，錯誤發生在觀察、鑒別還是總結階段？

CX-Mind試圖解決的，正是這個更深層的問題。

它不是把思維鏈寫得更長，也不是讓模型生成一段聽起來合理的解釋，而是把醫學推理拆成可解析的think-answer交錯單元

每一步先圍繞影像證據進行觀察和推斷，再輸出階段性答案，隨后繼續完成鑒別、定位、報告生成或病程判斷。

換句話說，CX-Mind把醫學影像大模型的目標從“給出答案”推進為“給出可審查的答案形成過程”。

這使模型不再只是一個黑箱閱片工具，而更接近醫生可以協作、追問和復核的臨床推理伙伴。

CX-Mind 總體框架

CX-Mind的三重突破

第一重突破：重新定義胸片大模型的輸出范式

傳統醫學視覺模型大多遵循one-shot judgment路線：輸入影像，輸出標簽、選項或報告。

即便引入CoT，也常常變成一整段難以驗證的長文本。

這樣的解釋看似完整，卻很難判斷哪些中間步驟真正來自影像，哪些只是語言模型生成的“醫學敘事”。

CX-Mind的關鍵設計是interleaved reasoning

在封閉式問題中，它逐項評估候選答案，給出保留或排除的證據；在開放式問題中，它先提出可能疾病，再圍繞每一種疾病進行證據核驗，最后形成診斷結論。

這種輸出方式更接近真實閱片：先觀察征象，再形成假設，再進行鑒別，最后寫出結論。

這項工作的突破性不在于“讓模型解釋自己”，而在于讓解釋成為訓練和獎勵的一部分。

可解釋性不再是事后附加的說明，而是模型學習診斷能力時必須滿足的結構約束。

第二重突破：用CX-Set構建胸片專家能力譜系

要訓練一個真正面向胸片診斷的大模型，僅靠疾病標簽遠遠不夠。

CX-Mind團隊構建了大規模胸片指令數據集CX-Set

整合23個胸片相關公開數據集，形成708,473張影像2,619,148條指令樣本，并進一步構建42,828條由真實放射學報告監督的高質量交錯式推理樣本。

CX-Set的設計遵循一個清晰問題：一個胸片專家到底需要哪些能力？

論文將其拆解為三大能力域：

Visual Understanding用于疾病識別、單病判斷和多病共存診斷；

Text Generation用于findings、impression和summary；

Spatiotemporal Alignment用于影像-文本匹配、體位識別、疾病進展判斷和病灶定位。

因此，CX-Mind學到的不只是“某個標簽是否存在”，而是一套完整的胸片診斷工作流：看圖、定位、比較、鑒別、總結、生成報告

這也是它相較于單點分類模型更具基礎模型價值的原因。

第三重突破：CuRL-VPR 讓強化學習同時約束答案與路徑

醫學診斷任務的強化學習難度遠高于一般選擇題。

開放式答案空間復雜，疾病可能共存，醫學表達存在多種等價寫法；更重要的是，最終答案正確并不代表中間推理可靠。

只獎勵final answer，容易造成獎勵稀疏、credit assignment困難和醫學幻覺。

CX-Mind提出CuRL-VPR，即curriculum-based reinforcement learning with verifiable process rewards。

它的意思是，先從簡單題練起，逐步加難；訓練時不只看最終答案對不對，還用真實放射科報告來核查每一步推理是否有影像證據支撐。

整個訓練流程包括醫學文本warm-up、大規模胸片指令微調、交錯式推理cold-start，以及基于GRPO的課程強化學習。

在獎勵機制上，CX-Mind同時使用format reward（格式獎勵）、final-result reward（最終結果獎勵）和process reward（過程獎勵）。

模型不僅需要輸出格式正確、最終答案正確，還需要讓中間think-answer步驟與真實放射學報告中的證據保持一致。

這意味著強化學習不再只盯著終點，而是開始關注路徑質量。

對于醫學場景而言，這一點極其關鍵：一個來自錯誤證據的正確結論仍然不可接受，一段沒有報告證據支撐的解釋仍然可能是幻覺

同時，CX-Mind采用closed-to-open課程學習策略：先在二分類和選擇題等封閉式任務上建立穩定可驗證獎勵，再遷移到開放式診斷任務。

這種訓練節奏更符合臨床任務難度梯度，也讓開放式醫學推理的RL過程更穩定。

CX-Mind四階段訓練管線

結果：越接近真實診斷，交錯式推理越顯優勢

視覺理解：多病共存和開放式診斷中優勢更突出

CX-Mind在二分類、單疾病識別、多疾病共存識別和開放式疾病識別中整體領先。

論文顯示，相比胸片專用模型，CX-Mind在三大能力域上取得25.1%平均性能提升。

在更接近真實臨床的復雜任務中，這一優勢更加明顯。

單疾病識別任務中，CX-Mind相比CheXagent和ChestX-Reasoner平均提升19.5%和21.0%；在多病共存診斷中，相應提升達到63.5%和21.2%。

這說明interleaved reasoning的價值不只是改善簡單分類，而是在多異常、多證據、多候選診斷同時存在時，幫助模型更穩定地完成臨床鑒別。

視覺理解評測

報告生成：從“識別異常”走向“專業表達”

臨床可用的胸片AI不能只給標簽，還需要把影像發現轉化為規范、清晰、可修改的醫學語言。

CX-Mind在findings generation、impression generation和findings summarization等任務中取得SOTA表現。

與GPT-4o相比，CX-Mind在Finding Generation任務中BERTScore高1.6%、BLEU高7.6%、ROUGE平均高11.1%

在帶indication的Finding Generation中，BERTScore、BLEU 和 ROUGE 平均分別高出3.6%、21.7%和22%

在Impression Generation與Impression Generation with Indication中，CX-Mind分別達到90.3%80.7%的BERTScore。

這意味著CX-Mind不只是“看圖更準”，還能夠把影像證據轉寫為與金標準報告語義一致的專業表達，為報告草擬、質控、教學和交互式問答提供基礎能力。

報告生成評測

時空對齊：理解影像、文本、體位、時間和位置

真實胸片診斷往往涉及縱向比較和跨模態對齊。

醫生需要判斷同一患者不同時間點的病變進展，也需要確認報告描述、拍攝體位和病灶位置是否一致。

CX-Mind因此把Spatiotemporal Alignment作為核心能力之一。

在image-text matching和disease progression任務中，CX-Mind分別比最佳基線平均提升25.8%30.2%

在 OpenI外部測試集上，影像-文本匹配和體位識別分別達到76%88.3%

在 RSNA與CXR-AL14外部定位數據集上，CX-Mind的mean IoU分別達到38.5%14.9%

這部分能力指向更大的臨床空間：隨訪比較、病程追蹤、多模態病歷整合，以及未來影像Agent對患者縱向狀態的理解。

時空對齊評測

真實世界驗證：從公開數據集走向院內場景和醫生評估

醫學 AI 的影響力最終必須通過真實世界檢驗。

論文進一步構建Rui-CXR真實世界測試集，原始數據來自上海交通大學醫學院附屬瑞金醫院骨科2018-2023年采集的80,648名患者標準PA位胸片及報告。

經過脫敏、篩選和一致性驗證后，形成4,031張高質量胸片測試集，覆蓋14種常見胸部疾病。

在Rui-CXR上，CX-Mind在 14 種疾病診斷中保持領先，mean recall@1明顯超過第二名模型。

在真實世界報告生成中，標準Finding Generation的BERTScore達到0.80，帶indication的版本達到0.82，較第二名模型平均提升約5%

Rui-CXR真實世界評測

更關鍵的是，團隊還邀請多中心、不同資歷層級的臨床醫生進行主觀評估，評價維度包括Clinical Relevance、Logical Coherence、Evidence Support、Differential Diagnostic Coverage、Explanation Clarity

CX-Mind在五個維度上均獲得最高平均分。

這說明CX-Mind的優勢不只是自動化指標，而是醫生能否讀懂、信任和復核模型輸出。

對于醫療場景而言，可審查性本身就是臨床價值的一部分

多中心醫生評估

更大的影響：從胸片模型到醫學智能體基礎能力

如果把CX-Mind放在醫學AI的更大圖景中，它的意義在于推動了一個關鍵轉向：

從“醫學視覺模型”走向“醫學推理模型”，再走向“可被醫生協作審查的醫學智能體”。

這一思路有望遷移到更多醫學場景。

例如，胸部CT多癌種篩查需要模型在3D影像中分層定位病灶、結合報告和病史進行鑒別；MRI需要跨序列整合；

病理需要高分辨率區域級證據；

全流程臨床Agent更需要在入院評估、檢查解釋、治療建議和隨訪管理之間保持連續推理。

當然，臨床部署仍需要前瞻性研究、跨醫院泛化驗證、醫生工作流集成、錯誤邊界評估和監管審查。

但從研究范式看，CX-Mind已經給出了一個清晰信號：

下一代醫學AI的核心競爭力，不僅是“看得準”，而是“推理得清楚、證據可復核、過程可協作”。

作者簡介

論文共同第一作者為李文杰、張鈺杰、孫浩然

李文杰為上海創智學院、上海交通大學、上海交通大學醫學院附屬瑞金醫院聯合培養在讀博士生，主要研究方向為Visual Reasoning、Multimodal Large Language Models與 Medical AI Agents。

張鈺杰為上海創智學院、復旦大學聯合培養博士生，主要研究方向為Vision-Language Model Reasoning、Reinforcement Learning與Large Language Models。

孫浩然為復旦大學直博二年級博士生，主要研究方向為Medical Multimodal Large Models, Self-Evolving Memory, AI4Science Experimental Automation。

論文DOI：https://doi.org/10.1016/j.inffus.2025.104027
GitHub（團隊更新版）：https://github.com/SII-WenjieLisjtu/CX-Mind
HuggingFace：https://huggingface.co/SII-JasperLi77/CX-Mind