OpenAI 怎么做模型评测?从榜单到真实任务的 5 个启发

今日 AI 公众号热文精读。原文来自公众号「追焦Lock」：《前沿｜OpenAI 怎么做模型评测？》。本文在原文观点基础上做梳理、改写与延展，方便快速理解其对企业用 AI、智能体落地和模型选型的启发。

OpenAI 每次发布新模型，外界最先看到的往往是排行榜、分数和演示视频。但真正决定模型能不能进入真实业务的，并不只是 MMLU、GPQA、SWE-bench 这些分数。

更关键的问题是：模型能不能完成真实任务？能不能稳定交付？失败时能不能被发现？能力边界有没有提前被评估？

围绕 OpenAI 前沿模型评测负责人 Tejal Patwardhan 的访谈，今天这篇文章最有价值的地方，是把「模型评测」从一个技术指标问题，拉回到了真实工作流、企业落地和安全边界上。

1. 旧榜单正在变钝

过去几年，AI 行业习惯用公开 benchmark 判断模型强弱。一个模型发布，大家先看数学、代码、知识、推理等分数，谁高几个百分点，谁就更容易被认为「更强」。

但当模型能力越来越接近测试上限，旧榜单会遇到两个问题：

这就是访谈中提到的 BenchMaxxing：模型看起来更会考试，但未必更会工作。

对企业来说，这个判断很重要。采购或接入模型时，只看通用榜单，很容易买到一个「看起来最强」但在自己业务里不稳定的模型。

OpenAI 近年来做了不少更贴近真实任务的评测，例如 SWE-bench Verified、MLE-bench、PaperBench、GDPval、FrontierScience 等。

这些评测背后的方向很一致：不要只问模型会不会答题，而要看它能不能完成真实任务。

企业内部做 AI 评测，也应该遵循类似原则：

一个简单判断是：如果你的评测不能回答「这个模型能不能替我完成这件具体工作」，它就还只是体验测试，不是决策依据。

当模型开始具备 agent 能力，评测就不能只看最终答案，还要看整个执行过程。

一个智能体任务通常包含：理解目标、拆解步骤、调用工具、读取反馈、修正错误、交付结果。任何一个环节出问题，最终体验都会崩。

所以，智能体评测至少要看五件事：

这也是很多企业落地 AI 时容易踩坑的地方：模型单轮问答很好，但一进入多步骤流程，就开始暴露稳定性问题。

访谈中一个很有意思的概念是 capability overhang，可以理解为「能力悬置」。

意思是：模型已经具备某种能力，但用户、产品团队或组织还没有意识到，也没有把它放进真实流程里。

这会带来两个结果：

这点对企业尤其关键。很多团队的问题不是「AI 还不够强」，而是没有持续重新评估新模型能做什么。

一个月前不能自动化的流程，两个月后可能已经适合半自动；以前必须人工完成的步骤，新模型加工具后可能只需要人工抽检。

真正成熟的模型评测，不应该只是上线前跑一次分数，而应该成为持续反馈系统。

这套系统至少包括：

换句话说，评测不是为了证明模型「很强」，而是为了知道它在什么条件下可靠、在什么条件下不可靠。

第一，不要迷信榜单。 榜单可以作为初筛，但不能替代自己的业务评测。

第二，把失败样本当资产。 成功案例适合展示，失败案例才适合训练组织判断力。

第三，定期重看旧流程。 AI 能力变化太快，很多旧判断会过期。以前不能交给 AI 的任务，未来可能会变成 AI 最适合切入的入口。

这篇热文真正提醒我们的，不是 OpenAI 又做了哪些新 benchmark，而是 AI 评测的范式正在变化：

从考试题，到真实任务；从最终答案，到执行过程；从一次性分数，到持续反馈系统。

如果说上一阶段的模型竞争看的是「谁更聪明」，那么下一阶段的竞争更可能看的是：谁能更稳定地进入真实工作，并在失败时被及时发现和修正。

这也是企业用好 AI 的核心能力：不只是选模型，而是建立一套能持续识别能力、释放价值、控制风险的评测机制。