夜雨聆风ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research
让AI自主搞科研，听起来很科幻，但这些Coding Agent、大模型吹嘘的“端到端自主研究”能力，到底行不行？与其争论，不如出一张考卷。ScienceAgentBench、PaperBench这些老牌“模拟考”已经不够用了——它们要么题目太简单（只考问答），要么只考“复现”论文，要么领域太窄（只搞机器学习）。我们需要一个真正逼近现实科研的、严苛的、跨学科的“高考”。这就是ResearchClawBench（RCBench）的野心：它不给你看标准答案（目标论文），只给你研究背景、原始数据和文献，看你能不能独立“重新发现”那个答案。
考卷长什么样？一个任务的解剖
RCBench的核心设计思想是：从真实已发表的论文中，逆向工程出可执行的科研任务。这可不是编个“分析某数据集”那么简单。它由几位领域专家合作完成，流程大致如下：首先，从高质量论文中筛选出那些问题明确、数据可得、有研究价值的工作。然后，专家们将原论文的核心问题改写成可执行的任务描述，并整理好相关的参考文献和原始数据。最关键的是，他们围绕被隐藏的目标论文，构建一套专家定制的评分标准（Rubrics），将预期的科学产出分解为可验证、带权重的子条目。最后，所有材料打包成标准化任务包。
为了让我们更直观地理解这个构建过程，论文提供了下面这张流程图。它展示了专家们如何从海量论文中筛选，一步步提取问题、整理数据、构建评分标准，最终形成一个完整的任务包，并经过交叉验证确保质量。
图1: RCBench任务构建流程。专家筛选论文、提取问题、收集文献与数据、构建评分标准、打包并交叉验证。
如上图所示，这个过程强调了“人”的核心作用。这不是自动化流水线能完成的，它依赖专家对领域知识的深刻理解，才能确保每个任务在科学上是有意义的，并且评分标准能精准捕捉到目标论文的精髓。一个具体的任务例子，比如天文学领域的Astronomy_000，其核心是利用贝叶斯框架，从黑洞自旋和质量的后验样本中约束超轻玻色子的性质。任务描述、输入数据、参考文献和三条带权重的评分细则都清晰列明。整个RCBench目前包含10个科学领域的40个任务，从天文学、化学到神经科学、物理学，覆盖面相当广。
怎么评分？“重新发现”与“真正发现”的平衡术
评估开放式的科研报告是个老大难问题。简单用LLM当裁判有偏见风险，而传统的匹配式评估又不适用于这种创造性的输出。RCBench的解决方案是构建以目标论文为核心、但又为创新留有空间的评分体系。
整个评估框架如下图所示。它将一篇完整的科研论文（即AI的目标产出）拆解为一系列具体的“科学构件”（如关键图表、结论、方法描述），每个构件都对应评分标准中的一项，并带有反映其重要性的权重。评估时，AI生成的报告和代码会被隐藏了目标论文的裁判（由GPT-5.1担任）逐项比对。
图2: ResearchClawBench整体框架。将论文、文献、数据转换为任务包；智能体与LLM在统一环境中交互；输出根据评分标准进行评估。
如上图所示，这个设计的关键创新点在于评分锚点的设定。满分不是100，而是50。也就是说，如果你完全复现了目标论文，你得50分。超过50分，说明你在复现的基础上，发现了比原论文更优的结果或更深刻的见解。这就完美地平衡了“检验AI能否做到人类已做到的事”（重新发现）和“激励AI做出超越”（真正发现）两个目标。RCBench的任务也主要分两类：目标优化型（奖励更优的定量结果）和诊断分析型（奖励更完整、深入的解释）。下面这张概念图清晰地展示了从“重新发现”到“发现”的连续得分空间。
图3: 评分设计概念图：从“重新发现”到“发现”的连续得分空间。
如上图所示，这个评分体系非常巧妙。它没有用一个僵化的标准扼杀创新的可能性，而是把一个开放式的科研产出评估，转化成了一个有明确锚点、可量化的比对过程。这既保证了评估的客观性和可复现性，也为未来探索真正的AI科学发现提供了一个起点。
统一考场：如何让“裸模”和“全副武装”的Agent同台竞技？
为了评估各种AI系统，RCBench需要一个统一的实验环境（Gym）。对于拥有完整代码、工具调用能力的自主研究Agent（如Claude Code, OpenClaw），它们可以像人类研究者一样在计算环境中自由操作文件、执行代码、访问网络。但是，对于那些只有基础对话能力的原生大语言模型（LLM），如何让它们也参与进来呢？
为此，论文引入了一个轻量级的工具调用框架——ResearchHarness。它通过一个简洁的ReAct循环，为原生LLM提供了三类核心工具：网络工具（搜索、抓取网页）、本地文件工具（读写、查找、解析文件）和本地执行工具（运行Shell命令、管理终端会话）。这个设计力求保持最小的脚手架，让评估结果更贴近模型本身的能力，而不是依赖于花哨的外部工具链。ResearchHarness还支持超长上下文下的自动记忆压缩，保证了长流程任务的可行性。
实验结果：顶尖选手也“挂科”
论文在40个任务上系统评估了7个自主研究Agent和通过ResearchHarness接入的17个原生LLM。结果令人大跌眼镜。
| 自主研究Agent | |||
| 原生LLM (通过ResearchHarness) |
解读：
• 核心结论：当前所有被测的AI系统，无论是配备了完整工具链的Agent，还是通过轻量框架接入的大模型，在端到端的自主科学“重新发现”任务上都表现不佳，平均得分仅为达标线（50分）的一半左右。距离可靠的自主科研，路还很长。
• Agent vs. LLM：令人意外的是，结构更复杂、能力更“全面”的自主研究Agent，其平均表现并没有显著优于仅通过ResearchHarness接入的原生LLM。这表明，在当前的基准测试下，限制性能的主要瓶颈可能并非工具使用或环境交互能力，而是模型内在的科学理解、推理和规划能力。
• 领域差异：模型在不同学科上的表现差异巨大。例如，Claude-Opus-4.6在天文学和地球科学上表现突出，而GLM-5.1在化学上领先，Gemini-3.5-Flash在信息科学上最好。这说明现有的通用大模型在科学知识和推理上存在显著的领域偏科。
除了核心的评分标准，论文还从四个补充维度评估了报告的质量：全面性、深度、指令遵从度和专业性。结果显示，AI系统在专业性上得分普遍较高（很多超过70），但在全面性和深度上表现较差。而且，这些维度与核心评分标准的相关性很弱。这清晰地指出，AI生成的科研报告往往“形式大于内容”——报告格式可能很规范，图表可能很精美，但其中的科学实质（关键证据链、机制解释）却常常缺失或出错。
图4: 错误类型分布。失败主要集中在实验协议不匹配、证据不匹配和科学核心缺失。
如上图所示，对所有失败案例的错误类型分析进一步印证了这一点。失败最多的三类原因是：1. 实验协议不匹配（做的方法和目标论文不一样），2. 证据不匹配（图表、数据或结论与关键证据对不上），3. 科学核心缺失（遗漏了核心机制或发现）。而目标错位（解决了另一个相关问题）、报告失败或执行失败等原因则占比较低。这说明，AI并非不能运行代码或生成报告，而是在执行过程中，很容易偏离正确的科学轨道，在关键的实验设计、证据收集和解释环节上“跑偏”。
图5: Physics_002任务案例。OpenClaw恢复了最直接的XEB趋势，但遗漏了目标论文中保真度估计证据链的多个关键部分。
如上图所示，这个来自物理学的具体案例很好地说明了“跑偏”是如何发生的。任务是要求估计随机量子电路采样的保真度。得分最高的Agent OpenClaw正确地计算了counts加权的线性XEB，并观察到了保真度随电路深度增加而下降的趋势（拿到了该部分对应的大部分分数）。然而，它完全遗漏了目标论文中一系列更精细的验证步骤：固定深度下的多量子比特缩放分析、包含镜像电路的推断、门计数误差模型，以及多估计量的一致性检验。AI的分析往往停留在最直接的可观测趋势，而无法深入构建完整、自洽的证据链和物理模型。这就像一个学生能解出一道题的最终答案，却完全不会写解题过程和验证步骤。
资源投入：砸钱砸时间有用吗？
论文还分析了系统运行的成本和时间与最终得分的关系。结果发现，得分与资源投入只有微弱的正相关。得分最高的Claude Code同时也是最贵、最慢的系统之一。位于成本-得分帕累托前沿“膝盖”处的是Qwen3.7-Max（性价比相对较好），而运行时间上的高效代表是OpenClaw。
图6: 资源-得分关系。左图为平均任务成本 vs. 平均得分，右图为平均运行时间 vs. 平均得分。靠近左上区域的系统效率更高。
如上图所示，这个分析揭示了一个重要的现实：在当前这些任务上，简单地增加计算量和时间，并不能稳定地带来成绩的提升。模型的失败更多源于上述的科学逻辑偏差，而非因为思考时间不够或尝试次数不足。这或许暗示，当前的模型在科学推理上，还没有找到那种能通过“反复试错”来逼近真理的稳健方法。
个人视角：贡献、局限与未来
真正的贡献：RCBench填补了AI科研能力评估的一个关键空白。它不是一个简单的“做题”测试，而是一个模拟完整科研流程的、端到端的、基于真实论文和数据的严格评估。它迫使AI不仅要生成答案，还要设计实验、处理数据、构建证据链和撰写报告。更重要的是，它通过“隐藏目标论文”和“50分达标”的设计，巧妙地平衡了“复现”与“创新”的评估。这篇论文本身也做得非常扎实，附带了详尽的案例分析和代码数据，复现性强。
业内潜台词：这个基准的出现，相当于给火热的“AI Scientist”叙事泼了一盆清醒的冷水。它用数据表明，当前最强的AI系统（无论是Agent还是LLM）在自主科研上依然处于“不及格”水平。这促使社区思考：我们是否过度宣传了AI的科研能力？提升性能的关键，究竟是改进工具链和代理框架，还是从根本上增强模型的科学推理和理解能力？论文中“表现与资源投入弱相关”的发现，可能指向后者才是核心瓶颈。
不足与未来方向：当然，RCBench也有其局限性。正如论文在“局限性”部分所坦诚：1. 目前的任务主要基于“干实验”（数据分析、模拟计算），无法评估需要真实实验平台的“湿实验”能力。2. 评分主要针对最终报告，对研究过程的评估还不够细粒度。3. 评估真正的新科学发现，需要比基于现有论文构建评分标准更可靠的方法。未来，随着AI能力的提升，RCBench本身也需要进化，可能需要纳入更复杂的、多步骤的、甚至需要与实验设备交互的任务，并探索更强大的自动评估方法，以最终衡量AI从“重新发现”走向“真正发现”的能力。这条路还很长，但至少我们现在有了第一把可靠的标尺。
❤️❤️❤️如果这篇内容对你有帮助，欢迎点个赞、点个在看，也欢迎转发给更多有需要的朋友。你的每一次互动，都是我持续更新的动力。❤️❤️❤️
论文原文: https://arxiv.org/abs/2606.07591
