AI测试答对了,为什么还不能证明GMP用途可靠?

EMA的Annex 22研讨报告在第11页记录了与会报告者关于验证、测试数据独立于开发和训练数据的强调，并未给出唯一强制技术方案。官方活动页列报告首次公开为2026年10月2日；会议在6月30日至7月1日，不能混为同一天。

这是研讨输入，不是已经生效的Annex 22条款。以下为质见GMP原创的测试准备建议，重点是判断证据是否可信，不重复讨论AI总体能否上线，也不以模型名称或一项答题成绩直接认定系统已经适合具体GMP用途。

作者建议画出资料用途：哪些用于调提示词、补知识库或修规则，哪些用于最终独立评价。若团队反复看同一套答案，再据此修改系统，原先的题目可能已经参与开发。此时继续用它们证明独立表现，需要认真评价其局限，不能仅保留一个“测试集”的名字。

可以给资料与样本建立来源、用途、访问权限和变更记录。数据治理不只是防止泄密，也要让团队解释某项结果是否受到先前调整影响。对无法证明独立性的材料，明确它回答的是开发过程还是独立评价问题，不把两类结果混合后计算一个更漂亮的成绩。

若使用外部模型，也不宜空泛声称已经证明其所有训练资料均不含某些信息。应说明能够控制和核查的边界，例如企业内部开发资料与保留测试资料怎样隔离，以及对基础模型未知信息的局限如何进入评价。诚实记录边界，比无法证明的绝对保证更有价值。

作者建议将模型、提示词、知识资料、接口、权限和后处理规则作为实际被测组合记录。相同模型配上不同资料与控制，可能回答不同问题。测试通过只能说明特定组合在已评价条件下的表现，不能直接推广到另一部门、另一流程或另一类质量决定。

评价计划应先说明用途、重要失败情形及接受依据，再执行测试。遇到模糊结果，保留判定过程与不同意见，不在看到成绩后临时放宽标准。对尚未覆盖的场景列明限制，而不是用大量重复的容易题，掩盖少数真正影响质量判断的困难问题。

建议测试资料缺失、相互矛盾、过时版本和超出用途等情形，观察系统是否暴露不确定性，以及使用者能否回到原始依据。测试重点不只在输出内容，还包括错误进入流程后会不会被识别、阻止、升级或拒绝继续使用。

人工复核也需要真实条件。可以观察审核者是否看得到依据、是否有能力质疑、是否有权拒绝输出，而不是仅测试一个确认按钮能否点击。对有意设置的教学错误，应与真实生产活动分开，使用适当测试环境，不让验证活动本身干扰受控业务。

作者建议记录资料库、供应商模型、接口或控制规则变化，并评价它们可能影响的用途和失败方式。不是每次变化都机械重做全部测试，也不能因为页面名称没变就沿用旧结论；应说明复用哪些证据、补充哪些评价，以及理由是什么。

若供应商无法提供必要变更信息，记录这一限制及对控制能力的影响。运行监测能带来新的知识，但不能自动替代独立验证。发现问题后，区分用于改进的资料和用于后续检验改进效果的资料，防止同一个案例在两边反复使用，却被误称为新的独立证据。

测试人员也需要与开发目标保持适当距离。作者建议预先约定如何记录模糊输出、谁有权对结果提出异议，以及是否保留未通过的试验。不能只挑选最后一次漂亮输出作为代表，也不能把人工修正后的答案计为模型独立作答。必要时分别展示原始输出、控制动作和最终人工决定，使审核者能够判断可靠性来自哪里。这样得到的证据更有利于确定实际用途与限制，而不只是帮助团队获得一个通过标签。

建议把用途、被测版本、数据来源、独立性安排、接受依据、结果和剩余限制汇成一页，详细记录通过链接关联。让未参加开发的人也能理解：测试实际上检验了什么，什么仍不知道，以及谁基于哪些依据作出了质量判断。

本篇不把研讨案例改写为企业已上线成果，也不将报告里针对电子批记录系统的GMP风险评估支持，偷换成自动审核批记录。对中国API与QA人员，更可迁移的经验是让证据与用途匹配，保留独立质疑的空间，而不是把“AI答对了”当作一项可以无限外推的质量保证。

参考资料

EMA｜Annex 22研讨报告，第11页独立验证讨论

EMA｜活动及报告首次公开日期