夜雨聆风学习资料网

ARTICLE · 1396413

PEDIASBench:能做对考题,不等于看得好儿科

PEDIASBench:能做对考题,不等于看得好儿科

医学执照考试选择题,很多模型已经能拿到很高的分数。上海的研究团队专门针对儿科场景,搭建了一套叫PEDIASBench的评测体系,拉来十二款主流模型做了一轮完整测试,核心问题很朴素:大模型能不能达到儿科医生的执业水平。

儿科的难点从来不是背诵知识点。孩子没法清晰描述自身感受,家长转述时容易带上主观偏向,病情进展速度快,用药剂量必须按体重精细换算,沟通分寸也很难拿捏。这套评测没有简单照搬题库,划分成三个考察维度:基础医学知识落地、随病情变化调整诊疗思路、医疗安全与伦理规范。覆盖十九个儿科亚专科、二百一十一种常见病症,题型包含单选、多选与案例简答题,病例素材取自真实临床场景,同时参考标准化医学考试素材。它也是国内MedBench评测体系升级之后,新增的儿科专科评测赛道,由上海人工智能实验室联合上海市儿童医院共同搭建。

测试结果里有几组值得细品的数据。基础执照类选择题,模型表现亮眼,Qwen3-235B-A22B准确率超过九成。一旦进入复杂病例,得分普遍下滑,平均降幅接近十五个百分点。真正卡住绝大多数模型的,是动态诊疗环节:病情发生变化,原有诊断就要推翻重新判断。这个维度表现最好的DeepSeek-R1,案例推理得分也仅有0.58,刚刚过半。伦理安全相关题目,不少模型得分能到92.05%,条文记得很牢;但涉及人文安抚的场景,所有模型表现都偏弱,面对焦虑的家长,很难给出妥帖的沟通表达。不同亚专科之间差距同样明显,儿童保健、呼吸这类常见病应对稳定,肿瘤外科、心血管这类需要多线同步判断的复杂病症,短板会直接暴露。

看待这些数据,不能只盯着榜单分数。动态诊疗环节最高分刚过及格线,说明当下很多所谓的推理能力,只是适配固定考题的结果。答对一道静态试题,和在信息有限的情况下先给出初步判断、再根据新症状及时修正结论,完全是两回事。儿科只是把这个差距放大了:它要求判断者承认自身认知局限,并且随时推翻之前的结论。目前多数智能系统很难稳定做到,多轮信息交互之后容易前后说法矛盾,放到临床就是诊疗逻辑断裂,放到其他行业就是方案失效。

研究团队给出的结论十分保守:现阶段这类模型,不可以独立承担儿科诊疗工作,适合作为临床决策辅助、医学教学工具,或是医患沟通的帮手。这个边界,也是开发相关产品时必须守住的约束。

落到国内商业化落地,有几条清晰可行的路径。医疗信息化厂商的核心诉求,不是拿到一个更强的基础模型,而是一套安全可控的中间对接层,把模型稳妥接入现有业务系统。上海已经将MedBench这类平台作为医疗AI上线前的前置评测渠道,专科赛道持续扩充。评测报告、准入材料、复测整改服务,是当下缺口很大的环节,医院需要合规佐证,厂商需要第三方评估结论,双方都有付费意愿。做儿保、慢病随访、线上复诊的团队,可以把这套动态病例改造为内部验收用例,上线前反复回归验证,远比拿公开榜单宣传更有实际价值。轻量的玩法,是输出标准化内容:把临床指南、诊疗路径、专家共识整理成科室题库与风险红线清单,交付给医疗AI开发团队,不触碰患者数据,也不承担诊断责任。互联网医院方向,落地场景集中在导诊分诊、病历初稿整理、家长健康宣教这类辅助工作。

有两条底线不能松动。患儿相关数据,要在送入模型之前完成脱敏,不能等进入训练之后再处理;面向患者输出的所有内容,必须保留人工复核环节,一旦出现问题,能够追溯完整责任链条。

论文同时提到两个后续重点方向:多模态信息融合、临床反馈持续回流,这也是接下来投入成本最高的地方。影像、生命体征信号接入之后,评测难度会进一步抬高,能够产出可复现评测集、配套准入材料的玩家,才会长期留在赛道里。

答对考题早已不是难事。儿科场景给出了最直白的结论:能做对题目,距离独立接诊,中间隔着动态变化的病情、明确的责任划分,还有一句有温度的安抚。

附

  • arXiv:https://arxiv.org/abs/2511.13381

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料