AI医生测评复盘:京东知医、蚂蚁阿福、字节小荷、京东小康、百小医、氢离子 VS ChatGPT5.6 Sol、Kimi K3、Qwen3.8 Max、DeepSeekV4吕坤观察AI医疗的第158天7月，我们继续把AI放进患者和医生真正会遇到的医疗场景。2D医生端，初步诊断与风险分层是整体表现最好的能力之一；2C患者端，头部产品也已经能够比较完整地理解用户到底想解决什么。但也正因为基础能力越来越强，真正困难的问题开始浮出水面。一份测评中满分的病历，为什么医生觉得不符合临床实际还是得重写？AI告诉患者应该去医院之后，能不能继续帮他选对医院、医生、检查和费用路径？当AI开始推荐医生、解释医保编码，它承担的还是单纯的医学问答责任吗？以及对医生来说，AI时代真正需要学习的，到底是几个Prompt技巧，还是一种重新定义和评价自己工作的方法？7月2D医生端测评结果 来源：穿三甲研究院吕坤：这个月2D医生端有一个案例，我后来反复在想。我们让AI根据一位63岁胸闷患者的真实信息完成首诊辅助，包括主诉、现病史、既往史、诊断排序和后续追问。从我们的量表看，其中一份输出几乎挑不出大的问题。信息提取得比较完整，诊断方向也对，按照量表很多维度应该拿高分。但真人医生竺玉复核的时候说：“按照你们这个标准，它确实应该得高分，但真让我写病历，我不会这么写。”俊杰：具体是哪一类问题？吕坤：最典型的是，它把“患者女性，63岁”又写进现病史。从事实准确性看，还很详细。但医生真正打开HIS，年龄、性别本来就是结构化字段。它还把高血压、糖尿病、长期用药全部堆进现病史。信息也都是真的，可医生最后还得重新拆回既往史、用药史。我当时就在想：为什么一段信息几乎全对的测评高分输出，真实使用体验却依然不好？俊杰：因为这里其实已经有三个层次了。Benchmark首先解决的是“模型有没有能力”。比如信息能不能抽出来，医学知识有没有，推理有没有明显问题。进入具体Case以后，评价开始变化。你要看这个模型面对一个胸闷患者、面对一个年轻医生的时候，能不能处理这个场景里的风险和任务。再往后真正进医院，就不只是模型和病例了，还包括HIS、科室流程、医生习惯、字段设计。吕坤：对，这次复核以后，我们是不是应该把这三层分开。第一层是Model Benchmark。它的价值是标准化、可重复、大规模比较，告诉我们模型有什么基础能力。第二层是场景测评。同一个模型，面对心内科首诊医生和面对一个带孙子看牙的奶奶，需要承担的任务完全不同。这里开始出现角色、风险、责任和环境。第三层才是实际使用。医生真正问的是：能不能直接放进我的工作流？我要改多少？我还需不需要重新核对？最后到底有没有节省时间和认知负担？俊杰：所以这三类评测不能互相替代。模型Benchmark高，只能说明值得进入场景测试。场景测得不错，也不能直接推出某个医院、某个科室就一定好用。吕坤：这其实也解释了7月2D医生端一个很有意思的结果。14款产品在“初步诊断与风险分层”上的技术均值达到84.9/100，“诊断依据链与闭环”达到82.7，但“事实、判断、待补信息分层清晰度”只有30.8。模型已经越来越会推理，却还经常把“患者已经说过的”“AI自己推出来的”“医生还需要继续确认的”混在一起。而临床里，这恰恰是很重要的基本功。俊杰：因为医学不是把所有合理内容都写进去就结束了。“我现在不知道”本身也是信息。吕坤：对。所以这次真人复核给我的最大启发，没有停留在“医生比机器评分更准”。它提醒我们：AI医疗最后评价的对象，可能不是一段文本，而是一个人和AI共同完成任务的过程。对医生来说，这也是选择AI工具很实用的一个思路。以后看到一个模型排行榜，可以先知道它“能力大概怎么样”；但真正决定要不要进入自己的工作，还要再问一句：它距离我把这件事真正做完，还差多少人工操作？这可能比一个总分更重要。儿童口腔科推荐医院汇总 来源：穿三甲研究院吕坤：如果说医生端让我重新理解了“工作流”，这次儿童口腔科病例，让我重新理解了“真实场景”。病例其实很简单。奶奶独自带8岁孙子，孩子左下后牙肿痛，牙龈鼓起来，中间破了一个口子。爸爸觉得可能是“口腔溃疡”，想先买点药。如果按照传统医学问答，这道题做到“不能简单当口腔溃疡、建议尽快看儿童口腔科”，其实已经不错了。俊杰：但真实患者不会在这里停下来。吕坤：对。奶奶接下来一定还有问题：去哪家医院？哪个医生合适？怎么挂号？大概多少钱？可能做什么检查？父母没空，我一个人带孩子去要准备什么？所以这次我们干脆把这些问题都放进测题。量表里也第一次系统加入医院医生推荐、信息来源与更新时间、医保诊断名称、费用、祖辈陪诊，甚至要求产品面对广告、平台合作和付费排序时说明利益关系。俊杰：这其实就是我直播里说的“时空”。很多Benchmark是在一个时间截面里测模型。但现实医疗是一连串step。患者先在家问AI，然后去医院、进科室、做检查，再进入下一步。吕坤：后来我一直觉得，“从Case到Journey”是这个月很重要的一层成长。Case告诉模型：这个人发生了什么。Journey继续追问：这个人接下来会经历什么。而医院、医生推荐恰好是一个非常有意思的分界点。AI说“建议去儿童口腔科”，它主要还是在提供医学判断。但如果它继续说：“建议去A医院，找B医生。”它已经开始改变现实世界里的患者流向。俊杰：所以这时候“回答正确”已经不够。医生、医院这些信息本身也会变。训练数据里出现过，不代表今天还是一样。这个月我们为了核验模型推荐，技术侧真的去整理杭州医院官网、科室、医生和公众号资料。结果就发现一些很典型的问题：医院名称可能已经变化；医院和科室可能对应错；医生这个人真实存在，但归属医院不一定正确。吕坤：这让我意识到：医疗AI进入推荐以后，问题已经从医学知识延伸到现实世界数据。而且还有更深一层。患者为什么先看到A医院？为什么推荐B医生？依据是专科适配、距离、号源，还是平台商业合作？如果一个医疗平台同时有挂号、在线问诊、购药业务，它推荐某个医生的时候，医学排序和商业排序怎么区分？这已经不只是“幻觉治理”。AI一旦开始推荐，它就开始承担分配注意力的责任。谁先被患者看到，本身就会影响选择。俊杰：医保诊断名称其实也是类似的问题。吕坤：对。这个点我一开始只是觉得患者可能会问，所以放进了测题。后来越做越觉得，它背后其实很有意思。患者说的是：“牙龈鼓了一个包，破了一个口子。”医生脑子里思考的是：萌出、龋病、龈炎、牙髓或根尖周问题。真正进入医院信息系统和医保以后，又会出现一套规范诊断名称、编码。这其实是三个不同的语言体系。俊杰：模型要做的，不只是找一个最相近的词。还要知道当前证据到底支持到哪一步。一个规范编码看起来非常专业、非常精确。但如果患者还没有口腔检查和影像，AI直接给出一个非常确定的诊断名称，表达越精确，错误有时候反而越容易被相信。所以我们这次量表专门要求：可以告诉患者“可能涉及哪些规范名称”，但必须区分哪些只是可能，哪些要等医生检查以后才能确定。吕坤：这对我也是一个很重要的提醒：标准化语言并不能消灭临床不确定性。AI既要把患者的自然语言翻译成医疗系统能够承接的信息，又不能因为进入了编码系统，就假装自己拥有了更多临床证据。这其实是医疗AI很独特的一种能力。俊杰：所以真实世界里，模型后面一定还需要很多工具。吕坤：对。7月2C技术报告也出现了类似结构：模型在患者任务完成上表现已经相对不错，可一到检查路径、诊断编码、本地医疗资源真实性，得分明显下降。这说明大家前半程已经做得越来越好。真正拉开差距的，正在慢慢转向“后半程能力”。未来检查路径可以连接规则工具；医保编码可以有标准术语库；医院医生推荐应该连接动态官方数据；无法验证实时信息时，系统应该知道什么时候主动降级。医疗AI真正难的地方，正在从“给出一个好答案”，走向“把一个好答案安全地接到现实世界”。7月2C患者端测评结果 来源：穿三甲研究院吕坤：直播最后，我又回到了山甲一直没有完全解决的一个问题。医生为什么愿意长期参与测评？以前我们会请医生提供真实病例、一起制定量表，再回来复核AI答案。但如果一位医生花几个小时做完这些事情，最后只是帮助山甲得到一张更准确的排行榜，这个价值交换很难持续。俊杰：但医生其实也在这个过程中输出了很多自己的东西。吕坤：对，这次我才真正意识到这一点。医生复核AI时，最宝贵的往往不是：“这项应该给6分还是8分。”而是：“这句话我临床不会这么写。”“这个判断现在证据不够。”“这个问题我要先问，因为答案会直接改变下一步。”“这一段属于医院流程，不属于医学知识。”这些话，原来都藏在医生脑子里。俊杰：这其实就是隐性经验。如果能把这些东西提炼出来，先变成Rubric，之后就可能进入Skill、Context甚至个人Agent。吕坤：所以我现在越来越认同：测评本身，可以成为医生学习AI的一种方式。很多医生接触AI，第一反应是学Prompt。但Prompt之前其实还有更重要的问题。你能不能定义一个任务？你到底希望AI辅助的是病历书写、鉴别诊断、循证检索，还是患者教育？你能不能定义什么叫“好”？哪些错误绝对不能出现？哪些内容必须有？哪些只是你自己的表达习惯？你能不能看出AI输出的层级？什么是患者已经确认的事实，什么是合理推理，什么还需要医生继续追问？这些能力，本质上都属于AI literacy（AI素养）。俊杰：而且只有医生先把这些规则说清楚，Agent以后才知道应该怎么按照你的方式工作。吕坤：对。所以我现在会把医生学习AI理解成三个阶段。第一步，是使用者。知道不同工具擅长什么，敢于在真实工作里试。第二步，是选择者。能够拿同一个任务比较多个AI，知道什么时候该用哪个，也知道什么时候不能用。再往后，是创造者。这里的创造不意味着每个医生去训练一个大模型。它更现实的含义是：把“我是怎么完成这项工作的”，逐渐变成机器能够理解和执行的规则。这时候，一次测评留下的就不再只是一个产品分数。它可能沿着：真实任务 → AI输出 → 医生判断 → Rubric → Skill → 个人Context慢慢沉淀下来。俊杰：但这里还有一个问题。一个医生的做法，不一定就是行业标准。吕坤：对，这也是我们下一步必须非常谨慎的一件事。医生经验至少要拆成几层。临床安全底线，可以形成公共红线；指南和专业共识，是学科层面的规范；HIS、科室SOP属于机构工作流；某位医生自己的表达习惯和决策偏好，应该留在个人Context里。如果把这些东西全部混在一张量表里，很容易把“某个医生喜欢什么”误认为“AI应该是什么”。俊杰：所以现阶段，我们也不急着把医生复核产生的内容直接叫做“训练数据”。先把它做成可讨论、可复核、可迭代的Evaluation Asset，其实已经很有价值。因为医生在评价AI的过程中，也会被迫重新回答一个问题：“我自己到底为什么这么做？”这可能就是测评带给医生最大的学习价值。写在最后：这几个月，最开始看Model：AI有没有能力？后来进入Case：它面对一个真实患者会表现怎样？这个月，我们开始继续往Journey和Workflow走：它能不能帮助一个人完成下一步，又能不能真正进入医生每天工作的流程？这四层没有谁替代谁。它们只是让我们越来越接近同一个问题：AI到底怎样才能成为医疗里真正有用的工具？而对于医生，我觉得答案也正在变得清楚。AI时代，真正值得学习的可能不只是“怎么让模型回答得更好”。还包括：怎么定义任务，怎么判断工具，怎么识别边界，以及怎么把自己的专业经验变成AI可以理解的规则。如果测评能够帮助医生获得这些能力，那么一张榜单只是开始。会用AI很重要，会判断AI，可能更重要。
夜雨聆风
