ARTICLE · 1160627
科研AI工具:大厂的AI for Science 多智能体平台相继发布,微软的Microsoft Discovery vs Google的ScientistTwo
科研工具 · 预印本 arXiv:2609.19644，2026 年 9 月 17 日，7 位作者，6 位来自 Google Cloud AI Research，1 位来自加拿大滑铁卢大学。系统叫 ScientistTwo。这篇文章咱们按「科研工具」来读它：这个平台能干什么、跟本号 8 月 14 日写过的微软的Discovery平台区别在哪儿。
此前咱们专门拆解过Microsoft的最新智能体平台，名字是Discovery Platform。最近，Google也跟上了步伐，发布了自己的智能体平台，名字是ScientistTwo，这套系统的玩法是这样：拿一篇已经在顶会上发表的论文，连同它的代码一起喂给这个工具，让 AI 自己找出这篇论文的短板、想出改进办法、写代码做实验、做消融、写成新论文，最后还自己走一遍模拟的同行评审和答辩。全程都不用人插手。 Google团队拿 107 篇这样的论文来试，86 篇真的被改出了更好的结果，成功率 80.4%，平均相对提升 25.2%。 成本也报了：平均一篇花 2 到 3 天，3,765 美元。 摘要里还有一句更抓眼的点：AI 写的论文在自动评审下拿到的平均分超过人类论文。 |
📖 先补 3 个名词 ICLR / ICML / NeurIPS：机器学习领域最顶的三个会议。在这些会上发论文，分量相当于别的学科发顶刊。 消融实验：把自己方法里的零件一个个拆掉，看少了哪个性能掉得最多，用来证明每个零件真的有用。审稿人很看重这个。 分布内与留出：如果一个评委参与过你的打磨过程，它就是「分布内」的，给分会偏高；没参与过的叫「留出」评委，更能说明问题。这两个词是理解这篇成绩的钥匙。 |
📊 30 秒速览 | |
107 拿来改的顶会论文数量，覆盖大模型、机器人、神经科学、语音、强化学习等方向。 | 86 改出了更好结果的篇数，成功率 80.4%。剩下 21 篇失败。 |
3,765 美元 改一篇的平均花费，含模型调用和虚拟机成本。 | 2 到 3 天 改一篇的平均耗时。大头花在反复试想法和跑实验上。 |
一、二十多个智能体，各管一段
这套系统不是一个大模型包打天下，而是把科研流程切成若干段，每段派一个专职智能体。数下来有二十多个，光名字就能看出分工有多细：
所谓「编排」，实际上是一条写死的阶段流水线，每一段都套同一个模子：生成候选 → 评判者审 → 通过就走，不通过就改，改到上限还不行就整段放弃。
有个省算力的设计值得一提：先在基准数据集的一小块上快速筛想法，筛出有戏的再放到全量数据上跑。
底层用的是 Gemini 3.6 Flash 和 Claude Opus 4.8，需要写代码的环节用 Claude Code。
二、效果怎么样？
论文列了七个已有的自动科研系统，它们生成的论文在两个 AI 评审那里的平均分在 1.0 到 4.1 之间，接收率几乎全是 0。这套系统的分数是 7.5 和 5.7。跟同类比，差距很大。
再看跟人类论文比，这张表是全文的核心：
两列的走向完全不一样。看评委甲，AI 论文全面超过人类；看评委乙，AI 只在前两档略微领先，面对 ICML 亮点论文则是输的（5.7 对 6.1），接收率 69.4% 对 96.9%。这一点论文自己承认了：还达不到亮点论文的水准。
读这篇要认准的一件事 两个 AI 评委不是一回事 一个参与过这些论文的打磨过程另一个从头到尾没参与那些漂亮的数字大部分出自参与过的那个 数据来源：arXiv:2609.19644（2026） 科研 AGENT 实验室 |
↑ 长按保存或截图发到课题组群
三、这一点论文自己交代了
上面那两个评委的差别不是我推断的，是论文自己在实验设置里写明的：
评委甲被称作「分布内评测」，因为它同时也被用来打磨这套系统生成的草稿；评委乙是「留出评测」，在开发过程中基线方法和本方法都没见过它。 |
这个设计本身是规范的：设一个留出评委正是为了防止自己骗自己。论文也把两列数字都摆了出来，没有藏。
但摘要里那句「在自动评审下取得高于人类论文的平均分」没有区分是哪个评委。读的人如果不翻到表格，很容易把 7.5 对 6.2 那个差距记住，而那个差距来自参与过打磨的那一位。
四、有一组数字论文没有点破
系统里有个「答辩智能体」：评审给了意见之后，它会主动去补做实验来回应。论文做了个消融，看答辩做几轮效果最好。
从 1 轮到 2 轮，参与过打磨的评委从 6.9 涨到 7.6，没参与过的评委从 5.8 掉到 5.7，接收率从 73.5% 掉到 69.4%。
两个方向相反。一个自然的解读是：第二轮答辩做的功，有一部分是朝着那位参与过的评委的偏好去的，对论文本身的质量没有帮助，甚至有点损耗。
论文在这段的文字里强调的是「即便在留出评委那里，答辩也提升了接收率」，用的是 0 轮到 1 轮的对比，这一点成立。但 1 轮到 2 轮那个反向的信号，正文没有讨论。而全文的主结果用的正是 2 轮。
五、人类评委怎么说，这才是最实的一组
前面全是 AI 给 AI 打分。好在论文还做了一件更要紧的事：请了 9 位有经验的人类审稿人，评了 33 篇生成的论文。
打分分两种。一种是单独打分，1 到 5 分，3 分以上算正面；另一种是跟人类论文直接比，3.0 表示打平，高于 3.0 表示 AI 更好。
这组数字给出的画面比摘要平实得多，也更有信息量：
总体是打平，方法的严谨性上人类更好。AI 赢的地方集中在实验的广度和消融的完整，而那正是机器最拿手的活：不知疲倦地多跑几个基线、多做几组消融。至于「想出一个扎实的方法」，人还在前面。
这组数据是论文自己做的、自己报的，包括那个对自己不利的 2.9。这一点值得肯定。
六、做得扎实的几块，和还缺的几块
做了完整性审计，而且过了。四项检查：报告的分数能不能靠重跑仓库复现、代码有没有钻规则空子、参考文献有没有编造、论文里写的方法跟代码对不对得上。结果是 49 篇全过，1,814 条参考文献零编造。这在本号读过的自动科研系统里少见。 成本和失败率都公开了。一篇 3,765 美元、2 到 3 天，21 篇失败。肯报这些数的论文不多。 「全自动」的边界自己划清了。论文原话是：人类研究者定义目标科学挑战，AI 自主编排推进它的路径。输入是一篇已发表论文连同它的代码，基线是靠复现这份代码得到的。所以起点、基准、代码环境都来自人的工作。 ✅ 承认了对手赢的地方。跟另一个系统比，整体它领先（平均提升 25.2% 对 7.5%），但在 ICLR 那一组上是输的（3.8% 对 7.2%），论文写了出来。 |
⚠️ 数据污染完全没有讨论。被改进的 107 篇全是 ICLR、ICML、NeurIPS 的已接收论文，它们和它们的开源代码极可能已经在底层大模型的训练语料里。论文没有任何关于这一点的检查或说明。这是全文最大的缺口。 ⚠️ 「更好」是评判智能体判的，不是统计检验判的。子集上问「比复现的基线好吗」、全集上问「比原论文报告的结果好吗」，答案是好/不好/需要调参这样的三分类。全文没有随机种子数、没有方差、没有置信区间，也没有任何统计检验。 ⚠️ 调参预算不对等。新方法有好几轮工程师智能体做调参和代码优化，人类基线没有同等的预算。 ⚠️ 提升幅度是让模型读表读出来的。跟另一个系统比较时，两边的提升数字是「用 Gemini 3.6 Flash 把主表解析 10 次再取平均」得到的。这个测量方式本身值得留意。 |
论文自己的局限声明写得也实在：虽然达到了常规会议论文的接收门槛，但还达不到那种带来范式转变的亮点或口头报告的水准；下一步要往「发现全新概念」而不是「局部算法改良」的方向走。
七、当成工具看，它现在能不能用
先给结论：暂时还下载不了。
全文没有代码开源的声明，只在摘要末尾留了一个项目网站的地址。
本号 8 月 14 日写过微软的 Microsoft Discovery，那篇的定位就是产品体检。两套东西都出自大厂，但性质差得很远，放一起看反而清楚：
适用场景也不是一回事。微软那套解决的是「资料读不完、历史数据散着没人整」，材料、化学、电池、催化这类候选空间大的方向最对口。这套解决的是「已经有一篇发表的论文和它的代码，想把它的指标再往上推一截」。对绝大多数人来说，这不是日常需求。
但有个软肋是共同的，而且都不小。
写微软那篇时，我引过一条第三方分析里的局限：因为它严重依赖已有的科学文献和用户提供的知识库，所以在文献很少、高度前沿的题目上是弱项。 这套的依赖更直接。它的输入就是一篇已发表论文连同它的代码，改进的方向是从这篇论文自身的短板里抽出来的。论文自己的局限声明也认了这一点：还达不到那种带来范式转变的水准，下一步要往发现全新概念而不是局部算法改良的方向走。 再加上数据污染那条没讨论，107 篇顶会论文和它们的开源代码很可能已经在底层模型的训练语料里。所以现阶段更稳妥的读法是：它证明了 AI 能把一条已经铺好的路修得更宽，还没证明它能自己找一条新路。 |
所以如果你现在想找个能用的科研工具，这篇不是答案，它是个信号：大厂在往哪个方向使劲，以及这条路走到哪一步了。真要挑工具，微软那套至少能下载下来试一下午。
数据来源 ScientistTwo: Pioneering the Human Knowledge Frontier with Autonomous AI，arXiv:2609.19644v1 [cs.AI]，2026-09-17，DOI 10.48550/arXiv.2609.19644 ｜ 项目站 https://scientist-two.github.io/ |
💬 评论区聊聊 三个问题。第一，一篇 3,765 美元、两三天，换来一篇「常规接收水平」的论文，这个价格你觉得值吗？第二，人类评委的结论是「总体打平、方法严谨性人类更好」，这跟你的直觉一致吗？第三，8 月 14 日那篇写微软平台时我的判断是「材料化学这类候选空间大的值得试一下午」，那篇你试了吗，好不好用？ 📤 发给做 AI 和关注科研自动化的朋友 四件事：一、107 篇顶会论文改成了 86 篇，平均一篇 3,765 美元、两三天，成本和失败率都公开了；二、引用「分数超过人类论文」时务必区分评委，参与过打磨的那位给 7.5，没参与过的给 5.7，后者对上 ICML 亮点论文是输的；三、9 位人类审稿人的结论是总体打平、方法严谨性人类更好、AI 赢在实验广度和消融完整；四、当工具看的话现在还拿不到，没有开源声明，跟微软那套可下载的产品不是一个阶段的东西。 |
📂 明日预告 JACS｜北京大学深圳研究生院 做有机合成的人都知道，纯化产物是个又慢又靠手感的活。他们做了一套系统：规划智能体出方案，过一道人工复核，机器人执行点样、展开、刮取，三个真实案例的产物都拿核磁确证了。 |
科研 AGENT 实验室 · 顶刊雷达 · Google 自主科研多智能体
2026-10-12