夜雨聆风棱空间（Hexora)，AI 原生科学社区，在这里，你可以：
- 获取每日最新文献信息，个性化推荐。
- 私人 AI 科研助理，帮助理解文献。
- 同行对文献的评论，交流。
访问 hexora-labs.ai 或点击文末 阅读原文，阅读基于原文的详细解读。
Evaluating the robustness and readiness of large frontier models in health AI applications
Nature Medicine · 26 June 2026 · Yu Gu
✨ 研究亮点
- 亮点1：GPT-5、Gemini 2.5 Pro、Claude 3.5 Sonnet等前沿大模型在多模态医疗基准测试中表现优异，推动了对临床AI'超越人类专家'的乐观预期——然而基准分数可能掩盖了模型在真实临床场景下的关键脆弱性。
- 亮点2：研究团队设计了六项递进式对抗压力测试（包括输入移除、格式扰动、干扰项操控、视觉替换和推理审计），在NEJM、JAMA、VQA-RAD等六个医疗基准上系统评估，并引入临床医生指导的评分框架，深入剖析各基准实际测量内容。
- 亮点3：模型在无图像条件下仍能显著高于20%随机基线地回答视觉依赖问题；答案选项轻微重排即可导致性能崩溃；模型频繁生成听似合理但临床上存在缺陷的推理链。临床医生标注的基准图谱显示，主流数据集在视觉与推理复杂度上差异悬殊，不可互换用于衡量模型临床就绪度。
发表于《自然·医学》的系统性对抗评估研究表明，基准测试分数显著高估了领先大型语言模型在多模态健康应用中的稳健性与临床准备程度。
包括GPT-5、Gemini 2.5 Pro、OpenAI-o3、OpenAI-o4-mini、GPT-4o及Claude 3.5 Sonnet在内的大型前沿模型，已在多项医学基准测试中取得亮眼成绩，频繁超越人类专家水平，由此引发业界对AI辅助临床决策的广泛乐观预期。然而，一项发表于《自然·医学》的严谨研究通过六项结构化对抗压力测试系统性地挑战了上述乐观判断，证明标题式的基准评分掩盖了重大的脆弱性、捷径依赖与推理失实问题——这些问题在真实临床部署中将产生不可忽视的后果。
评估框架
研究团队开发了一套由六项递进压力测试构成的模块化评估体系，并将其应用于多个广泛使用的多模态医学基准数据集，包括来自《新英格兰医学杂志》（NEJM）和《美国医学会杂志》（JAMA）的题目集，以及VQA-RAD、PMC-VQA、OmniMedVQA和MIMIC-CXR。该框架不仅衡量准确率，还系统评估模型在输入缺失、结构扰动、干扰项操控、视觉替换和自生成推理审计等条件下的弃答行为、推理保真度与输出稳定性。压力测试按难度递进设计：从缺失或误导性输入（测试1与2），到基于格式的扰动（测试3与4），再到视觉证据的改变（测试5），最终对模型自生成推理链进行审查（测试6）。所有模型均通过官方API或公开检查点进行评估，温度参数在可配置条件下设为零，并在各任务系列中统一应用标准化指令模板。
压力测试1——输入移除：模型无需图像即可作答
首个也是最具反直觉意义的发现，来自一项简单操作：在保留临床简介的同时完全移除诊断图像。在NEJM基准测试中，所有模型在移除图像后准确率均有所下降，配对差异介于−4.65至−13.93个百分点之间。GPT-5从81.33%降至67.41%（Δ=−13.92 pp）；Gemini 2.5 Pro从81.12%降至67.43%（Δ=−13.69 pp）。然而关键在于，即便缺少必要的视觉输入，模型的绝对准确率仍然相当高。在JAMA基准测试中，下降幅度更为有限——GPT-5仅下降4.42 pp——引发了大量JAMA题目可仅凭文本作答的担忧。
压力测试2——视觉必要性子集：大规模捷径行为
为进一步深化探究，研究团队从NEJM基准中筛选出一个包含197道题目的子集（NEJM-VS），其中所有题目均经过执业医师独立核验，确认需要视觉解读，且文本线索不足以支撑正确诊断。在完整的图像加文本输入条件下，模型取得了中等水平的准确率（GPT-5：70.05%；Gemini 2.5 Pro：67.21%；OpenAI-o3：65.18%），证实了视觉信息存在时题目的可解性。然而在纯文本条件下——即图像完全缺失——模型表现仍显著高于20%的随机基线：GPT-5达到41.32%，Gemini达到40.1%，OpenAI-o3达到38.58%。上述数据表明，模型正在利用非视觉线索、疾病发病率先验知识或记忆化的题目-答案关联，而非真实的视觉推理。GPT-4o表现异常，在纯文本输入下仅达到16.35%，这归因于其约50%的拒答率；排除弃答后，其准确率上升至约33%，与其他模型相当。研究团队还对一个来自机构特定病例、未公开发布的小型私有X光视觉问答数据集（PX-60）进行了评估；在纯文本条件下，模型仍然高于随机水平，提示数据集污染与文本先验依赖均对上述观测行为有所贡献。
压力测试3与4——格式敏感性与干扰项操控
第三和第四项压力测试探究了模型是否依赖表面结构线索而非医学内容。在NEJM-VS纯文本条件下随机化答案选项顺序，导致准确率出现温和但一致的下降，表明模型对答案排列位置存在敏感性——这一线索与医学知识完全无关。在有视觉输入的条件下，准确率保持稳定或略有提升，提示图像信息可补偿文本捷径被破坏的影响。在干扰项操控测试中，依次将一至四个错误选项替换为语义无关的选项，导致纯文本准确率持续下降至接近20%的随机基线（GPT-5：−20.30 pp；Gemini：−19.29 pp），与捷径模式被逐步消除的预期一致。反之，在图像加文本条件下，准确率显著提升——部分模型高达40 pp——因为无关干扰项使正确答案在视觉上更为突出。将一个干扰项替换为选项"不知道"的变体测试在两种模态下均产生了准确率提升，表明模型将"不知道"视为可语义排除的选项，而非在视觉推理不确定时的真实退路。
压力测试5——视觉替换：脆弱的视觉接地
第五项压力测试通过将诊断图像替换为对应干扰答案的临床合理替代图像，直接评估视觉接地能力，同时保持简介文本和答案选项不变。研究团队从NEJM中筛选了40道正确诊断严重依赖图像解读的题目，所有替换图像均经医师独立核验，确认支持新指定的正确答案。在此条件下，几乎所有模型的表现均大幅下滑：GPT-5准确率从84.0%降至35.0%（−31.0 pp）；OpenAI-o3下降−32.5 pp；Gemini 2.5 Pro下降−23.8 pp；o4-mini下降−23.0 pp。GPT-4o是唯一例外，从26.5%提升至36.0%。上述结果表明，模型虽然通常能检测到图像的相关性，但当面对变化的视觉证据时，无法动态重新解读视觉内容——这是诊断可信度的关键缺陷。
压力测试6——推理信号保真度：流畅而无效
第六项压力测试审查了模型自生成推理链的保真度。链式思维（CoT）提示被应用于120道NEJM题目和100道VQA-RAD题目，并使用OpenAI-o3在OmniMedVQA上对推理强度进行了变化实验。在NEJM上，显式CoT提示在所有模型中均产生了负向准确率变化。在VQA-RAD上，推理模型的收益微乎其微（GPT-5：+0.8 pp；o4-mini：+0.4 pp），非推理模型略有提升（GPT-4o：+3.8 pp；Claude 3.5 Sonnet：+3.2 pp）。对模型生成解释的人工审查揭示了三种反复出现的病理模式：（1）正确的最终答案配以错误或捏造的视觉论据；（2）放大的误解——初始感知错误在后续推理步骤中传播；（3）结构化但临床上无实质内容的表述——表面连贯但缺乏诊断价值。研究者得出结论：推理流畅性不等同于推理有效性，自生成解释频繁偏离真实决策过程。
对基准测试的基准评估：临床医师指导的评分体系
为理解压力测试脆弱性因基准不同而存在差异的原因，研究团队开发了一套包含十个维度的结构化评分体系，由三位执业医师对每个基准的每个轴进行评分（每个基准抽取20道题目，3位标注者，每条子轴获得60个医师-题目评分）。维度涵盖推理复杂性（临床背景、不确定性处理、多步推理）和视觉复杂性（视觉细节、特征微妙性、多视角对齐）。标注者间一致性在各轴上为中等至强水平（Fleiss' κ范围：0.67–0.90）。由此得出的基准测试全景图揭示了显著的结构异质性：NEJM题目在推理和视觉需求两个维度均属高阶；JAMA需要大量推理但在很大程度上可仅凭文本作答；VQA-RAD、PMC-VQA和MIMIC-CXR视觉依赖性强但推理复杂度低；OmniMedVQA在两个维度上均偏低。这些结构差异直接解释了压力测试中特定基准的脆弱性模式，并强调了将不同基准视为可互换性能指标的风险。
失败模式分类与临床后果
研究团队将研究发现综合为一套失败模式分类体系，按模型行为的三个阶段——输入处理、推理与推断、输出沟通——进行组织，每个阶段均对应不同的临床风险来源。感知层面的失败导致漏检或错误发现的风险；推理阶段的失败产生错误或无依据的推断；沟通阶段的失败则生成误导性或不安全的临床建议。该分类体系明确关联了下游临床后果，强调技术层面的细微模型错误可转化为现实世界中的安全、信任与部署问题。
启示与建议
研究者提出了四项主要启示。第一，基准测试应被视为具有已记录假设和潜在失败模式的诊断工具，而非性能目标。第二，排行榜评分应按基准特征分解，并沿医学有意义的维度报告，而非跨异质性任务平均。第三，基准选择应反映预期部署背景——在可仅凭文本作答的数据集上评估模型，将高估其在视觉要求高的任务中的准备程度。第四，评估协议应将对抗性和基于压力的评估与准确率指标共同纳入，尤其对于面向高风险部署的模型。研究者进一步指出，基于闭源API的系统可能面临机构层面的障碍，包括数据驻留要求、有限的可审计性以及与受监管临床工作流程整合的挑战，任何准备程度评估均需在基准性能之外考量部署可行性。
结论
本研究提供了迄今为止针对前沿多模态医疗AI最为系统的对抗性评估。其核心发现明确无误：当前基准测试分数显著高估了领先模型的稳健性与多模态推理保真度。模型可以在没有图像的情况下回答视觉问题，在轻微结构扰动下表现崩溃，在视觉证据改变时无法更新诊断，并能生成流畅却捏造的推理依据。这些发现并非否定大型语言模型在医学领域的真实进步，但确立了一点：以基准为驱动的评估，按其目前的实践方式，不足以支撑关于临床准备程度的强力主张。压力测试、结构化基准评估以及医师指导的评分体系，代表着迈向与临床部署风险相称的评估框架的可行且必要路径。
访问 hexora-labs.ai 或点击 阅读原文，阅读基于原文的详细解读。
关注本号，获取每日最新进展。
