AI科研评测,变天了

↑关注我们，解锁前沿科研资讯！夯实研究能力！

当下，AI大模型与智能体的评测逻辑正在发生一场颠覆性变革。

过去我们评判AI能力，标准简单粗暴，答对题，你就是好模型。但今天，AI不再是那个只会做选择题的“考生”。它进化成了能自主检索信息、调用工具、运行代码、分析数据、推导结论的完整作业主体。

这种情况下，问题就随之而来，如果一个AI最后答案对了，它的过程一定靠谱吗？如果最后答案错了，它前面的工作就全废了吗？

答案都是否定的。

6月11日，在arXiv集中发布的五篇重磅研究，完整搭建起了新一代AI评测的实践体系，它们分别从智能体基础设施、生物科研、科学推理、事实核查、社会科学复现五个方向，展示了AI评测的新趋势。

研究原文已打包，

每一项都十分有含金量！

留言【AI测评】获取全部论文PDF

传统评测为什么不够用了？

长期以来，主流AI基准评测都沿用“固定输入、单次输出、结果打分”的答题模式。这套体系适配选择题、阅读理解、基础数理、简单代码小题等标准化任务，但面对当下主流的AI智能体系统，存在无法弥补的短板，已然彻底过时。

这就带来三个致命问题。

第一，答案对，不代表过程对。模型可能靠记忆、猜测、训练污染，甚至任务捷径蒙对。

第二，答案错，也不代表全程没价值。EpiBench的结果就很典型：很多AI任务虽然最终失败，但中间已经找对文件、算出有效结果，只是在最后的专业判断上翻车。

第三，模型能力不等于系统能力。同一个大模型，换一个运行框架、终端环境、工具接口，表现可能完全不同。所以只报一个“模型名排行榜”，越来越不够用了。

简言之，新一代AI评测的核心升级，重新定义了AI的可测能力边界，它从单一的结果准确率，升级为全流程轨迹质量、证据充分性、工具使用合理性、领域判断可靠性、实验可复现性的综合评估。

AgentBeats：让评测变成智能体之间的标准化交互

图片来源：AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility

传统评测有个核心痛点，就是适配成本太高。N个基准测评×M个智能体模型，每个组合都要单独定制适配方案。而且各体系互不兼容，没法公平对比。AgentBeats提出的AAA范式（Agentified Agent Assessment）解决了这个问题。

核心思路是，AI评测本身，就是一个智能体完成的标准化任务。它搭建了三方角色：

Judge Agent：评判智能体，负责发任务、配环境、看过程、打分；

Subject Agent：被测智能体，负责接任务、执行、交结果；

Delegator：调度方，负责发起评测请求。

图片来源：AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility

关键还在于，它直接复用行业成熟协议——A2A管任务通信，MCP管工具调用。这样一来评测逻辑和被测智能体彻底解耦，智能体只要支持标准协议，就能接入不同评测。

论文中的公开竞赛也验证了这套机制：5个月内，吸引了298个Judge Agent、467个Subject Agent，覆盖12类评测场景。

EpiBench：生物科研领域的真实可验证评测

图片来源：EpiBench: Verifiable Evaluation of AI Agents on Epigenomics Analysis

EpiBench聚焦表观基因组学，给真实工作流快照、原始文件、元数据和任务要求，让智能体完成接近科研人员日常工作的分析判断，评测AI能不能完成真实科研分析任务。

研究覆盖106项任务，涉及四类实验技术，结果却很扎心，在16组“模型-运行框架”组合中，没有任何系统通过超过一半任务。最高的GPT-5.5 / Pi通过率为45.0%。后面GPT-5.5 / Codex为39.9%，Claude Opus 4.8 Max / Pi和GPT-5.4 / Pi都是39.0%。

图片来源：EpiBench: Verifiable Evaluation of AI Agents on Epigenomics Analysis

这说明AI不是完全不会做，它常常能找到正确文件、算出有用中间结果、执行部分流程。真正容易翻车的是最后一步的领域专业判断。

这也给科学AI敲了个警钟，科研智能体真正的瓶颈，是能不能把工具结果转化为可靠科学结论。

SciR：可控、可溯源的科学推理评测体系

图片来源：SciR: A Controllable Benchmark for Scientific Reasoning in LLMs

过往的科学推理评测，长期陷入一种两难的困境：

真实科研文献场景真实，但人工标注成本高、没有标准化答案；合成逻辑题答案确定、好打分，但场景太假、脱离现实。

SciR基准的出现，完美破解了这一痛点，打造了首个可参数化控制、覆盖多推理范式的科学推理评测体系。

底层逻辑：先构建形式化真值——基于推理树、规则假设、因果图谱搭建三大推理框架，保证答案确定性和可验证性。

上层渲染：再把标准化逻辑任务，渲染成贴近真实科研文献的多文档场景。

图片来源：SciR: A Controllable Benchmark for Scientific Reasoning in LLMs

更关键的是，SciR控制了两个难度维度：信息抽取难度和逻辑推理难度。

结果显示，两种难度都会打击模型表现，而且会叠加。比如论文中提到，gpt-4o CoT在推理复杂度增加时掉约8分，在文本混淆增加时掉约11.5分，两者叠加时掉约23分。甚至神经符号系统也会受影响。即便后端有形式化求解器，只要前面的文本抽取错了，后面照样崩。这也充分说明，科学推理正确的流程，是先读懂，再推对。

ProFact：事实核查从“给结论”升级为“审过程”

图片来源：From Verdict to Process: Agentic Reinforcement Learning for Multi-Stage Fact Verification

传统事实核查只做三件事：输出“属实/虚假/证据不足”标签。

但真实核查是一套多环节、强逻辑的严谨流程——拆解论点、检索证据、逻辑推导、得出结论。一个标签根本没法评判核查质量。

ProFact把事实核查建模成多阶段马尔可夫决策过程（MDP），让AI循序渐进走完完整流程。

图片来源：Automated reproducibility assessments in the social and behavioral sciences using large language models

整套流程分为三个核心阶段：

论点拆解：把模糊命题转化为精准核验问题

证据检索：获取有效佐证信息，生成阶段性结论

最终裁决：基于完整证据链输出判定

以往只靠最终结果对错给奖励，模型无法定位错误环节。ProFact为每个环节提供精准学习信号——拆解阶段看问题匹配度，检索阶段看证据契合度，裁决阶段看结论对错。

在AVeriTeC标准数据集上，搭载多款开源大模型的ProFact全面超越现有基线。移除过程奖励后，所有模型性能明显下滑。 同时推理耗时和Token消耗大幅降低。

社科自动化复现：LLM成为规模化科研审计工具

图片来源：Automated reproducibility assessments in the social and behavioral sciences using large language models

社会与行为科学领域长期存在一个核心痛点：科研成果复现成本极高。传统复现需要专业研究者重新解析论文、梳理数据、编写代码、复盘统计分析，人力成本巨大、无法规模化落地，导致大量科研成果的真实性、可靠性难以验证。

最新研究突破性证明，LLM可以替代人工完成标准化、规模化的科研成果复现。

这一项研究，使用76篇已发表社科论文，给LLM提供原始论文、数据集、研究论点。让模型完全复刻人工分析师的工作流——文档解析、数据读取、变量定义、代码编写、统计分析、效应量计算。

图片来源：Automated reproducibility assessments in the social and behavioral sciences using large language models

每篇独立测试5次，实测数据颠覆认知↓

不难看出，LLM在标准化、流程化的科研复现任务中，稳定性、一致性、规模化能力全面超越人类分析师，未来期刊审稿可以靠LLM批量初筛，快速识别无法复现、结论存疑的研究。

新一代AI评测的六大核心设计原则

综合五篇前沿研究，可系统性总结出新一代AI智能体评测的六大底层设计原则，也是未来行业评测体系的核心发展方向：

1. 从结果正确→全轨迹正确

不只看最终答案，全面核查任务拆解、证据检索、工具调用、领域判断、结果溯源的全链路。

2. 从主观偏好→确定性可验证打分

结构化输出、数值误差容忍、程序化评分器、形式化真值——把主观空间压缩到最小。

3. 从通用题库→真实领域工作流

脱离问答式评测，聚焦生物科研、事实核查、社科统计的实操场景。

4. 从单一模型→完整系统评测

能力由模型、提示词、工具组件、运行框架、通信协议共同决定。未来评测必须标注完整配置，不能只报模型名。

5. 从静态数据集→交互式动态评测

评判智能体动态下发任务、观测轨迹、自适应提问，实现更全面的能力考核。

6. 从单一分数→精准错误画像

核心目的不是排名，是精准定位短板——区分信息抽取不足、逻辑推理薄弱、领域判断失误。

行业变革带来的学术与产业影响

这场评测范式革命，正在从研究门槛、人才需求、基建方向、模型训练、科研落地五个维度，重塑AI学术与产业生态：

第一，评测研究的技术门槛大幅提升。未来优质的基准评测，必须同时满足场景真实、答案可验证、环境可复现、数据来源清晰、规避训练捷径、支持多系统对比、可拆解失败模式等多重要求，粗放式的题库堆砌式评测将彻底被淘汰。

第二，领域专家价值愈发凸显。垂直领域评测无法仅靠AI算法研究者完成，生物、统计、社科、医学等领域专家的专业判断，是保障评测科学性、合理性的核心前提，跨学科研究将成为主流。

第三，评测基础设施成为独立研究赛道。研究重心从单一数据集设计，转向协议标准、运行沙箱、持续集成审计、智能体注册管理、隐私兼容评测、公开榜单体系等底层基建建设。

第四，模型训练逻辑反向适配评测趋势。随着过程化评测普及，模型训练将从单一最终奖励优化，转向全流程轨迹优化、过程分层奖励、工具使用强化学习、证据驱动训练，实现训练与评测的闭环匹配。

第五，科学AI的能力评估更加精细化。宽泛的“AI是否具备科学推理能力”将被拆解为可落地的具体问题：能否精准提取科研核心变量、能否区分数据结论与文献先验、能否匹配正确统计模型、能否维持完整证据链、能否保证分析结论稳健。

论文参考：

[1] Liu, X et al. (2026). AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility. arXiv:2606.13608

[2] Muralidharan et al. (2026). EpiBench: Verifiable Evaluation of AI Agents on Epigenomics Analysis. arXiv:2606.13602

[3] Beckmann et al. (2026). SciR: A Controllable Benchmark for Scientific Reasoning in LLMs. arXiv:2606.13020

[4] Yang et al. (2026). From Verdict to Process: Agentic Reinforcement Learning for Multi-Stage Fact Verification. arXiv:2606.13262

[5] Holtdirk et al. (2026). Automated reproducibility assessments in the social and behavioral sciences using large language models. arXiv:2606.13670

马上使用DiVoMiner^®高效完成研究

扫码注册享免费公益版↓

还想看什么内容？无论是你感兴趣的话题或遇到的难题，都欢迎在评论区留言哦！创作不易，请大家多点赞、分享和点击“推荐”支持。