ARTICLE · 1029926
421名医生给AI打分,最难统一的不是AI
421名医生给AI打分,最难统一的不是AI医疗AI最深的裂缝，从来不在人和机器之间，而在人和人之间。 当同一份病历被四百多名医生和同等数量的AI分别打分，先露出马脚的并不是模型水平，而是"专家共识"这四个字。2026年6月，npj Digital Medicine 接收了一篇中国团队主导的多中心研究，通讯作者是北京同仁医院眼科中心的王宁利。它没测模型会不会看病，而测了一件更少被追问的事：谁有资格给模型判分。 研究动员450名医生，回收421份有效评估。七个真实脱敏病例覆盖七个专科；五个当时性能最强的模型，GPT-4o、Claude 3.5、Qwen-Max、DeepSeek-R1、OpenAI o1；六个评估维度，判分按排名换算，第一名100分，第五名0分。医生现场完成，限时120分钟，单次提交不可修改。 这项研究区别于以往跑分测试的地方，是它把医生按资历切开。初级医生（1到3年）252人，中级（4到14年）127人，高级（15年以上）仅42人。 结果是，初级医生整体偏爱Qwen-Max，平均分51.8；高级医生偏好更分散，在连贯性、准确性和临床有用性上更常把GPT-4o和DeepSeek-R1放到前面。排第一的模型，换一个资历组就换了人，Qwen-Max的名次在第1到第5之间摆动。 资历买到的不是分数，是看问题的角度。初级医生更容易被结构清楚、条理完整的文本打动；高级医生关心的是方案落不落得了地，风险写没写清。两种标准都合理，却不可能给出同一张排名表。 研究特意纳入一批高海拔地区医疗机构与平原医院对照。两组医生在多个维度出现统计显著差异，部分模型出现方向性反转。平原医生在全面性和有用性上更偏向GPT-4o和Qwen-Max；高海拔医生给OpenAI o1的排名明显更高。 作者在讨论部分写得很克制：研究设计并不为拆解成因，因此无法判断差异来自病例构成、机构诊疗惯例、培训背景、语言熟悉度，还是其他未被测量的因素。 但作者给出了另一句分量更重的结论：未来的模型评测，应当把执业环境当作分层变量。 这句话的价值被低估了。如果服务半径、资源条件和常见病谱的差别就足以翻转排名，那么"某模型在临床评测中排名第一"这句话，就缺了一个必须补上的前缀——在谁的医院里，由什么资历的医生来评。 研究的平行对照组是421个按医生画像配置的AI评估体，基于CAMEL架构搭建，病例材料和评分规则与医生完全相同，同样单次完成。 分歧出现在榜首。六个维度上，AI评估体都稳定把OpenAI o1排在第一，医生群体却更偏向DeepSeek-R1和GPT-4o。全局排序一致性经Kendall系数检验为0.798，整体排序吻合，但顶尖位置的选择并不一致。 更锋利的数字在组内一致性。AI在模拟不同资历的30组排名对照中，23组完全一致，占76.7%；医生在同样30组里，完全一致的只有1组，占3.3%。两类评估者唯一达成共识的，是共同认为Claude 3.5最差。 论文的解释很直白：AI的高度稳定来自它是单模型实例、使用相同提示词和相同上下文参数，是实验控制的产物。把一致性等同于准确性，是这个行业最常见的一次偷换。2026年发表于Frontiers in Public Health的一项研究覆盖404次评估，三个主流模型在评判抗微生物耐药健康信息时，系统性给出高于人类专家的分数。 论文引用的参考坐标本身就说明问题。HealthBench由262名来自60个国家的医生共建，包含5000段真实对话和48562条医生撰写的评分标准，实际打分却由GPT-4.1执行。GPT-3.5 Turbo在该体系得分约16%，GPT-4o约32%，o3约60%。 有团队统计过，全球有63个独立评分工具在给医疗AI打分，其中若干个由被评分模型的开发方创建或维护。这些数字彼此不可比：MedHELM报0到1区间的胜率，领先者0.652；斯坦福的MedArena报带置信区间的Elo评分；某商业聚合器报45.1，量表口径未公开。把三种数字放进一张表格排名，等于把血压和体温放在一列里比大小。 MedHELM的处境更微妙。它源自斯坦福，2026年转为社区项目，代码库却由Pacific AI托管；Pacific AI卖的正是跑MedHELM基准的自动化测试管线，同时是认证机构CHAI认可的审查服务方。每一环都写在各自官网上，只是没人把它们摆在一起看过。 当评分方与产品方共用一套账，分数就不再是证据，而是营销物料。 中国侧的规则正在比榜单更早给出答案。2026年5月11日实施的《医疗大模型应用测试方法》团体标准，要求同时采用自动基准、人类专家评估和大模型裁判三条路径，人类专家评分必须计算Kappa或ICC一致性系数，测试数据集不少于200条样本，主观测试执行3次。 更有杀伤力的是支付端。2026年3月31日，12项AI辅助诊断项目纳入全国统一医保乙类目录，4月1日起执行。收费不得高于同级医院人工诊断的60%，部分地区三级医院105元，二级85元，一级75元。进入目录的前提是产品已取得第三类医疗器械注册证；截至2025年10月，国家药监局批准了超过110款基于深度学习的第三类医疗器械独立软件。 《医疗人工智能大模型临床应用规范（征求意见稿）》的门槛更具体：输出幻觉率须低于2%，按L1到L3分级管理，涉及独立诊断和治疗决策支持的必须完成三类证注册。 榜单给的是排名，医保给的是价格，价格只认证。一个在海外榜单上得分很高的模型，如果没有国内三类证、没有经过一致性验证的专家评估记录，连报价的资格都没有。 成本结构是最硬的约束。IDC数据显示，2025年中国AI加医疗应用软件市场规模35.4亿元，预计2030年达140亿元。艾瑞统计显示，国内医疗大模型发布量从2023年的61个增至2025年6月的311个，比拼参数与榜单分数已难构成壁垒。 模型能力趋同之后，验证能力成了稀缺品。爱思唯尔《未来医生白皮书（2026）》调研显示，中国医生AI使用率72%，全球平均57%；但全球仅37%认为当前AI工具可信，中国为49%。 人做评委的成本，论文里有一组硬数字：肿瘤科每例平均评估耗时约135分钟，眼科约95分钟。论文因此给出的定位是，AI评估体适合做前置筛选，最终判断仍要交给有资历结构和地域多样性的医生群体。 商业含义落在两类公司身上。联影医疗2026年上半年营收70.52亿元，研发投入13.83亿元；讯飞医疗收入4.46亿元，同比增长49.4%，智医助理覆盖7.7万家基层医疗机构。它们卖的不再只是设备或软件，而是一整套可以被验证的承诺。 在模型分数拉不开差距的赛道上，谁掌握可复现的评测流程、结构完整的评委画像和可审计的判分记录，谁就握住了医院采购的前置否决权。评测从成本项变成议价项，这是这篇论文真正的商业含义。 评委席正在变成最贵的一环，而它至今没有被任何一家公司认真定价。