一个不预测任何变化的AI,为什么也能拿高分

判断AI是否可靠，不能只看总分。2026年9月19日提交的R-GEAN论文研究住院用药变化，却发现一个反常结果：完全不预测加药或停药的基线，也能在完整用药方案的评价中排到第一。

这不是模型真的懂得治疗，而是评分方法奖励了大量“没有变化”的药物。这个问题值得普通用户理解，因为合同审查、代码修改和风险监控也可能出现同样的错位：分数很好，关键变化却没有被发现。

高分可能来自抄对了不变部分

住院期间，医生可能新增、停止或继续某类药物。R-GEAN要预测的是从入院24小时后到出院之间，哪些ATC3药物类别被加入，哪些被移除。ATC3可以理解为一种药物分类层级，模型判断的是类别变化，而非具体药名或剂量。

设想一名患者在入院24小时后有十类药物，出院时八类没变、一类停用、一类新增。如果模型照抄原清单，它能对上大部分内容，却会漏掉真正需要预测的两项变化。只比较完整清单，容易让这种模型获得高分。

论文因此设置了专门衡量“编辑动作”的综合指标，覆盖新增、移除、方案是否变化及变化组合。完整出院方案与该指标给出的模型排名相关性较弱，Spearman相关系数只有0.20。也就是说，两种评分实际上在考不同能力。

尺子要直接对准真实任务

研究使用240480次住院记录，涉及82286名患者。R-GEAN的变动综合得分为0.464，高于最强主要对照方法的0.435；重新实现的RETAIN、GAMENet和MICRON分别得到0.428、0.420和0.288。

这些数字只说明R-GEAN更擅长论文定义的预测任务。它预测的是实际发生过的处方变化，不是判断这些变化在医学上是否正确。历史上常见的改药方式，也可能受到病情差异、医生选择和数据记录方式影响。

模型的优势也并不均匀。材料显示，其提升主要来自识别出院时已不再使用的药物类别；罕见的新增类别，以及一次住院出现多项调整的情况，仍然困难。因此，“平均更好”不能替代对高风险失败样本的检查。

控制信息泄漏才能证明是提前预测

这项基准只使用患者过去已经完成的住院记录，以及本次住院最初24小时内可获得的信息。新增候选是当时尚未使用的类别，移除候选则是当时正在使用的类别，两个预测器分别评分。

这种做法是在控制“信息泄漏”，即避免把结果发生之后才出现的线索混入输入。它类似闭卷考试：若预测出院用药时已经看到了后续记录，再高的成绩也不能证明模型有提前判断能力。

R-GEAN采用不对称设计，也是因为加药和停药并非同一个问题的正反面。前者要从尚未使用的类别中寻找候选，后者要检查现有类别是否会退出。分别建模，有助于让评价和错误分析落到具体动作上。

芯片设计研究也在把“判断”交给外部验证

补充材料中的ChipMEM研究处理的是相邻问题。它让大语言模型智能体调用电子设计自动化工具，生成或修改芯片的寄存器传输级设计；只有相关结果通过综合、仿真或形式验证后，才把经验保存为可复用技能。

在相同模型和工具设置下，ChipMEM在54个设计中得到39个通过等价性检查的结果，对照为35个；在49个设计的短测试集中，平均面积改善为8.69%，对照为5.66%。这些是论文实验结果，材料没有提供芯片企业部署、采购成本或生产收益的证据。

它与R-GEAN共同说明：模型给出答案之后，还需要一把与任务相符的尺子。医疗预测要单独检查新增和移除，芯片设计要通过工具验证。自然语言解释可以帮助人理解，但不能同时充当结果生产者和最终裁判。

高风险AI会先变成可拦截的助手

如果这种思路继续进入工作流，首先变化的可能是医院用药审核、芯片设计验证和多步骤AI代理监控。AI先提出变化，独立规则或工具再检查，无法自动确认的结果交给专业人员复核。

这条路径成立的条件是：任务有明确验收标准，输入时间边界可追踪，错误能在执行前被拦截。值得观察的信号包括罕见情况是否进入测试集、验证工具能否接入现有系统，以及失败能否追溯到具体输入和步骤。

先从能验收的高频变更任务切入

产品团队可以优先试验“找出变化并验证变化”的窄任务，例如药物类别增减审核、芯片修改后的验证记录，或多步骤代理的风险拦截。形态可以是评测工具、审核插件、监控面板或系统接口，但目前材料不能证明这些需求已经完成市场验证。

潜在付费方更可能是需要承担错误责任的医疗信息、药事、研发、验证或合规团队。可先通过小范围试点证明漏报、误报和接入成本，再进入院内软件或研发工具采购；具体按项目、订阅还是调用量收费，材料没有依据，需要实际验证。数据接口、权限、隐私、责任边界和罕见样本覆盖，是进入市场前的关键门槛。

以后再看到“模型刷新纪录”，最有用的动作不是先记住分数，而是查看任务定义、比较基线和失败样本：这个指标奖励的，是否正是你准备让AI完成的那件事？