夜雨聆风
一边是Nature Medicine的权威背书，一边是149名医生实测的"打脸"数据。同一个AI工具，对比同样的通用的大模型，结论却截然相反——到底该信谁？
导火索：一个让AI圈炸锅的"反常"结果
2026年6月，一篇挂在arXiv上的论文再次引爆了医疗AI圈。
UCSF、哈佛、斯坦福的联合团队花了大力气，收集了620个医生在真实看病时提出的真问题——不是考试题，不是AI编的，而是来自美国医生专属AI工具--OpenEvidence（OE）平台。然后他们找来149名执业医生，覆盖36个州、30个专科，做了一件看似简单但极少有人认真做的事：把四个AI系统的答案打乱，让专科医生盲选哪个更好。
结果：专用医疗AI OpenEvidence（OE）在五项指标上全面碾压GPT-5.5、Claude Opus 4.8和Gemini 3.1 Pro。
最扎心的是GPT-5.5——这个被无数医生日常使用的"全能助手"，在准确性上输给OE整整46个百分点，在完整性上差距超过60个百分点。
而但就在几个月前，Nature Medicine刚发表了一篇研究，结论完全相反：通用大模型（包括ChatGPT）在医疗benchmark上打败了以OE为代表的医生专用Ai工具。
基本同样的实验组和对照组，两个完全相反的结论，到底谁在说谎？
深度拆解：两个研究的关键差异
我们扒了两篇论文的方法论，发现它们的问题选择、评价医生选择、评分方法、盲法设计等等都存在巨大差异：
1.问题来源不同：真实问诊vs 企业聊天记录
表格
Real-POCQi（本研究） | Nature Medicine研究 |
来自OpenEvidence平台，医生主动提交的临床决策支持问题 | 来自企业版ChatGPT的聊天记录（注：更多是医患对话） |
涵盖"孕妇能不能用氟康唑""肝癌术后怎么随访"等真实诊疗场景 | 问题类型未完全公开，但偏向通用咨询 |
经过LLM聚类分析，"治疗与毒性"是最热门主题 | 问题分布未详细披露 |
关键矛盾点：两个研究的问题选择完全不同，一个是医生自己的问题（医生问专家的问题），一个是患者咨询医生（医患咨询）的问题，问题的完全不同。
研究者自己承认："医生可能把不同类型的问题导向不同工具"——这叫路由偏差，是真实世界评估的致命陷阱。
2.评卷医生不同：149名专科匹配vs 12名通用评委
Real-POCQi | Nature Medicine |
149名医生，来自36个州 | 12名医生，来自单一机构 |
专科严格匹配：心脏问题→心脏科医生，妇科问题→妇科医生 | 未明确专科匹配，可能骨科医生评肿瘤问题 |
覆盖30个专科，从全科到器官移植 | 专科覆盖未详细说明 |
这是什么概念？
想象两个评卷场景：
- 场景A：高考数学卷让数学老师判
- 场景B：高考数学卷让语文老师判
Real-POCQi选的是A，Nature Medicine研究更接近B。
研究者尖锐指出："他们的评审来自单一机构，且没有将专科评委与问题主题匹配。"在现代医学里，专科细分是基石——让消化科医生评妇科内分泌问题，和让GPT自己评自己，差别可能没那么大。
3.评分方式不同：成对盲选vs 固定标准打分
Real-POCQi | Nature Medicine |
成对比较（head-to-head）：两个答案并排，医生盲选A/B | 孤立评分：单独看一个答案，按1-4分固定标准打分 |
5分偏好量表：A明显更好→A稍好→差不多→B稍好→B明显更好 | 4分制标准：基于预设rubric逐项打分 |
无默认中立选项，必须做出偏好判断 | 允许中间状态 |
为什么这很重要？
近期研究（JudgmentBench, 2026）已经证明：在高专业领域，成对比较比固定标准评分准确得多。因为固定标准需要预设"好答案"的模板，而临床问题的复杂性往往超出模板的覆盖范围。
打个比方：固定标准评分像是"按菜谱评判厨师"，成对比较像是"让美食家盲品两道菜哪个更好"。前者容易漏掉菜谱没写的惊艳发挥，后者更贴近真实决策场景。
4.盲法程度不同：身份完全隐藏vs 可能存在暗示
Real-POCQi | Nature Medicine |
四层随机化：显示模式→问题分配→系统配对→A/B位置，全部随机 | 盲法细节未完全披露 |
定制渲染系统，确保四个答案的视觉格式完全一致 | 未明确说明格式统一性 |
评委不知道自己在评哪几个AI | 未明确评委是否知道系统身份 |
盲法不是小事。如果评委能看出哪个答案是"ChatGPT风格"（比如特别自信、特别长、特别会"首先...其次..."），评分就会unconsciously 偏倚。Real-POCQi甚至专门测试了"纯文本"和"文本+引用"两种模式，发现加引用后OE优势更大——因为OE的引用质量确实更高，但这也可能让评委猜到身份。
5.样本量与统计效力不同：620题/1156次比较vs 未公开细节
Real-POCQi | Nature Medicine |
620题，1156次成对比较，5780个维度评分 | 问题总数未在公开摘要中明确 |
每专科约100题采样，覆盖36专科中的30个 | 专科覆盖和采样策略未详细披露 |
统计检验使用置换检验+聚类自助法，考虑问题相关性 | 统计方法未在公开信息中详细说明 |
样本量差异意味着：Real-POCQi的结果更稳定，细分分析更可靠。比如他们能分出来"OE用户在评OE时给分略高，但非OE用户也显著偏好OE"，这种敏感性分析需要大样本支撑。
研究进一步发现：AI当评委？现在还不行！
Real-POCQi团队还做了一个"元实验"：让三个通用大模型（GPT-5.5、Claude、Gemini）去当评委，给四个系统的答案打分。
结果也很有趣：
- GPT-5.5严重"自恋"：给自己打高分，和人类专家意见负相关（Kendall's tau = -0.200）
- 三个AI都"过度自信"：打分比人类极端得多，动辄"明显更好/更差"
- 即使组成"AI陪审团"，和人类的排序依然差距很大
唯一共识：AI评委和人类专家都同意OE是最好的。但一到排第二、第三、第四名，AI就开始"各说各话"。
这意味着什么？现在用AI评估AI，在医疗领域就是"黑箱评黑箱"。如果Nature Medicine的研究用了AI辅助评分，或者评委受了AI工具使用习惯的影响，结论可靠性就要打问号。
核心争议：到底在比什么？怎么比？
两篇研究的根本分歧，其实是个本质问题：我们到底在评估"AI的医学常识的储备"，还是"AI在真实临床场景中的决策支持价值"？
Nature Medicine研究更像前者 | Real-POCQi更像后者 |
问题来自通用聊天场景 | 问题来自临床决策支持平台 |
评委可能是"通用医学知识"视角 | 评委是"我需要这个信息做临床决定"视角 |
评估的是"答案对不对" | 评估的是"答案能不能帮我治病" |
固定标准打分，强调知识覆盖 | 成对比较，强调相对实用性 |
没有绝对的对错，但应用场景天差地别。
如果你问"医学考试怎么备考"，通用模型可能更好；但如果你问"这个刚做完肝移植的病人发烧38.5度，要不要调整他克莫司的剂量"，专用工具的优势就凸显出来了——因为它引用的可能是最新器官移植指南，而不是训练数据里的通用医学知识。
研究者自己怎么说？
Real-POCQi团队在论文里直接点名对比："我们的结果与近期发现形成对比...他们的查询集来自企业ChatGPT实例，而我们的来自OE。医生对这两个工具的使用目的和交互方式可能不同。"翻译成人话：比的不是同一个东西，结果自然不同。
他们还抛出了一个更尖锐的问题：
"通用模型在通用AI评估框架上表现好，但在针对特定部署场景设计的评估中表现不佳；反过来，针对特定场景优化的工具可能无法泛化到其他场景。"
这就是医疗AI的根本性困境：没有"全能冠军"，只有"场景冠军"。
结论：3个需要关注的"规律"
规律一：评估场景必须匹配应用场景
用考试题测出来的冠军，不一定是临床实战的冠军。如果你的AI是给医生在问诊时用的，那就必须用真实临床问题、专科医生、决策支持视角来评估。
规律二：评委必须专业
30个专科不是摆设。让非专科医生评专科问题，或者让AI当评委，结果可能和真实临床需求南辕北辙。149名专科匹配医生vs 12名通用评委，样本量和专业性都是碾压级的。
规律三：没有"最好"的AI，只有"最合适"的AI
通用大模型是瑞士军刀，专用工具是手术刀。如果你需要切个苹果，瑞士军刀更方便；如果你要做心脏搭桥，手术刀才是唯一选择。
根据这两个研究的结果，我们需要关注3点：
