AI 能给你 100 个科研 idea,凭什么只做那一个?

过去，这句话最重要的是前半句。科研新手最容易犯的错误，是把几个月押在第一个冒出来的念头上。候选不够多，根本没得选。

但 AI 把这个问题翻了过来。

把研究方向和几十篇论文交给模型，几分钟后，它就能给你几十个候选：每个都有问题、动机、方法名和实验方案。可它没有同时送给你几十名学生、几十份算力预算，以及几十个三个月的执行窗口。

现在最麻烦的，已经不是想不出 idea，而是每一个都像“可以试试”，你却不知道该先放弃哪一个。

标题里的“100”是修辞，不是某项研究给出的标准数量；“只做一个”也不是预设淘汰率。它要问的是：当候选远多于可用资源时，我们凭什么决定谁获得下一份证据预算？

最近两项前后衔接的研究，恰好把这种变化做成了一次实验。

2025 年，研究者让 AI 和人类专家分别提出 NLP 研究 idea，再请同行盲评。在执行前的纸面新颖性评价里，AI 候选占了上风：以每个 idea 的平均分计算，AI 候选的新颖性得分是 5.62，人类候选是 4.86；如果再让人从 AI 生成的候选里挑一遍，得分还能涨到 5.78。

真正值得看的，是后续。

研究团队又找了 43 位研究者，把匿名的 AI idea 和人类 idea 随机分给他们。每个人有三个月的执行窗口，真的去做实验、写代码、交一篇至少 4 页的短论文。平均下来，每人花了约 103 个小时。项目做完后，再交给 58 位专家盲评。

AI idea 从执行前到执行后的评分掉得更厉害。新颖性、兴奋度、有效性和总体评价，四项都是如此。多项指标的点估计排序，也从 AI 在前变成了人类在前。

要把话说准：这项研究没有证明“人类 idea 做出来以后全面胜过 AI”。以每个项目为独立数据点，执行后两组的直接差异没有达到统计显著。最扎实的发现是，AI idea 从纸面走到执行，落差显著更大。

人类这边也没拿出压箱底的选题。当初写这些 idea 的49 位作者中，37 位是接到任务后临时想的；他们自评，这些 idea 大约处在自己以往想法的前 43%，论文作者认为更接近中等水平。

这组结果还有两个边界。

第一，它研究的是一组受控的 NLP 任务，不能直接外推到所有学科。不同领域的实验成本、证据标准和停止规则可能完全不同。

第二，生成端使用的是以 Claude-3.5-Sonnet 为核心的 Agent。这项研究不能回答 2026 年更新模型的 idea 执行起来会怎样。新模型可能缩小纸面与执行之间的落差，也可能同时降低部分代码、模拟和分析成本。生成、执行和判别三种成本究竟怎样变化，需要继续测量，不能预先写成“差距必然扩大”。

但本文的方法并不依赖某一代模型永远输给人。只要候选供给超过团队能够去重、核查和执行的预算，“凭什么继续”就是绕不过去的问题。

这两项研究最值得带走的，不是一场人机胜负，而是一句提醒：

一段 proposal 可以默认方法有效、实验顺利、故事闭环。真做起来，基线公不公平、数据有没有泄漏、消融能不能站住、结果是否稳定，这些账一笔都躲不掉。

比起让 AI 再想一个更漂亮的方向，我现在更关心的是：能不能在花掉那 103 个小时以前，就发现哪些方向不值得做？

AI 确实把 idea 变便宜了。

过去想一个相对完整的方向，要读文献、画草图、跟人讨论。现在把研究背景和几篇论文交给模型，几分钟后就能得到一串像模像样的标题、动机、方法和实验方案。

问题是，它们可能只是“像得不一样”。

前面那篇论文使用了一个以 Claude-3.5-Sonnet 为核心的生成 Agent。它针对每个主题生成 4,000 个 seed ideas，再用 embedding 去重，把余弦相似度高于 0.8 的看作重复。最后，非重复候选大约只剩 200 个。

这个比例只属于那套模型和去重口径，不能外推。但它至少提醒我们：

标题换了，术语变了，真正的主张和判别路径可能还是同一个。数量、新颖性、多样性和可执行性，本来就是四回事。

模型吐出一个候选几乎不花钱，可它一旦进入组会、排期或实验队列，就要花导师和学生的时间，花数据、样本、算力和设备。生成端扩得很快，判别端却没有跟着扩容。

科研人很容易从“想不出 idea”，突然跳到另一个坑里：每个方向都想试一点，哪个都舍不得停。

面对几十个候选，最顺手的办法是再开一个模型，让它按新颖性、可行性和影响力打分，选出前五。

当预筛工具用，当然可以。但别把那个排名看得太重。

在上述研究专门构造的 idea 排序任务里，表现最好的 LLM evaluator 准确率约为 53.3%，研究中的专家评审一致性约为 56.1%。AI 排名和人工重排挑出的 top ideas，也只有大约三分之一重合。

这不是在证明人比 AI 高明。人类评审的一致性也不高；只看 proposal，本来就很难预测开放研究做出来以后怎样。

更何况，如果同一套模型先生成、再补强、最后还负责打分，它们很可能共享同一个盲点。模型写了一份语气严厉的反驳，不等于反证已经出现。

现在也有约束更强的尝试。比如 ScholarEval 把 soundness 和 contribution 拆开，并要求评价锚定到检索到的文献上，至少让前期预筛有出处可追。

但文献里没有的东西，它仍然看不到。一个新方法到底有没有效果，一组实验能不能复现，还是得等数据、代码和实验说话。

我愿意让 AI 帮我挑毛病，但不会让它独自结案。它可以提出攻击路线，裁决还得落到外部可核查的东西上：原始文献、真实数据、代码执行、实验结果、数学证明或专业工具。

这件事其实一点也不新。

19 世纪末，地质学家 T. C. Chamberlin 就提醒同行，别太早爱上自己的第一个解释。他提出“多重工作假设”：同一个现象，先保留几种都说得通的解释，让它们一起接受证据检验。

1964 年，John Platt 在《Science》发表《Strong Inference》，把这件事说得更直接：提出替代假设，设计能排除其中一部分的关键实验，然后继续下一轮。

这里的“删除”，不一定是永久宣布一个假设错误，也可能只是降低可信度、缩小适用边界，或者在当前资源和条件下暂停投入。

值得我们借回来的，不是“证伪”这个大词，而是一个朴素的实验习惯。

假设一个新模块让指标提高了 1.5 个点。与其立刻替它补理论故事，不如先列出参数量、训练预算、数据泄漏和随机波动等竞争解释，再问：哪个最低成本的动作，最能让这些解释产生不同预测？

科研不该追求更高的淘汰率，更不能只留下安全、容易发论文的小改进。一个高风险方向当然可以做，前提是下一步实验能够带来足够多的新信息。一个四平八稳的方向，如果验证成本巨大、失败条件又说不清，也未必值得做。

我们要省掉的不是冒险，而是那些花了很多资源，最后仍然没有改变判断的实验。

先统一一下本文的叫法。这里把一段相对完整、准备进入筛选的研究方案叫“候选”；把候选中能够被观察和证据区分的核心主张叫“假设”。候选一旦真正获得人力、算力、样本或设备预算，才开始成为项目。

四轮淘汰赛管理的，是候选怎样从语言进入资源队列。

我把一种很常见的状态，暂且叫作“假设债”。

一个候选刚出现在聊天窗口里，还不算债。等它进入组会、写进计划、占了学生的时间和机器，却没人说清证据计划、退出条件和决策规则，债就欠下了。

验证问的是判断对不对；假设债关心的是，在答案出来以前，候选凭什么进入资源队列，最多值得花多少，以及何时退出。

真正需要管理的，是整组候选怎样争夺下一份证据预算。

听起来像是多加了一套流程，但前三轮的目标是尽量把合并、核查和桌面审查控制在小时级或少量人天内；它们试图省下的，是错误方向数十甚至上百小时的执行成本。

我会把候选放进四轮淘汰赛。

第一轮：别按标题去重，按“核心主张—可观察信号—判别动作”合并

AI 很擅长给同一件事换名字。两个标题完全不同，但核心主张、可观察信号和判别动作相同，基本就是同一家人。

这一轮不判断谁最好，只做合并：

机制型研究可以进一步写清机制；探索性或描述性研究，则写预期观察、采样结果，以及什么信号会改变下一步决策。

合并以后，原本几十个候选也许只剩若干“假设家族”。具体比例因问题而异，重要的是别为同一个 idea 的多种包装重复交学费。

第二轮：不用平均分，设置入队硬门槛

很多筛选表喜欢给新颖性、价值、可行性打分再求平均。但总分会掩盖致命缺陷。

一个 idea 即使新颖性 9 分、影响力 9 分，只要它无法产生可观察的独特信号，“可判别性”就是 0。这个 0 不该被其他高分平均掉。

要进入下一轮，候选至少得回答五件事：

过不了门，不等于永远错误。有些应当淘汰，有些只是暂缓：现在缺数据、缺测量手段，或者成本超出团队能力。

第三轮：不开大实验，先做反方桌面审查

进入这一轮的候选，先别急着跑完整系统。

人和 AI 一起查四件事：

AI 在这里很适合当反方。不要再问“请论证这个 idea 为什么成立”，而是问：

桌面审查不是靠语言判死刑，而是寻找最短攻击路径：已有的反对证据、更简单的解释，或者根本不存在的判别动作。

走完这一轮，值得做 pilot 的方向通常已经不多。

第四轮：做“最小决策实验”，预算逐轮增加

这里需要的不是“最小实验”，而是“最小决策实验”。

它必须同时满足两点：

1. 成本足够低；

2. 不同结果真的会把我们带向不同的下一步。

这里的“实验”取广义：文献核查、数据审计、模拟、证明或小规模访谈，只要能产生判别信号，都可以。

如果阳性、阴性和模糊结果最后都通向“继续做”，这个实验就没有帮我们决策，只是在给项目增加工作量。

仍以“新模块提升 1.5 个点”为例，第一轮预算应该先给数据审计、等参数、等预算的基线、多随机种子和关键消融，而不是直接扩到十个数据集。

实验前还要写清楚：

这像一次轻量预注册：把事前检验和事后新解释分开，免得结果一出来，球门也跟着移动。

预算也不要一步给满。可以先让三五个候选各拿一份小预算，第一轮证据出来后，只给幸存者追加三份；再下一轮，才把十份预算集中到一两个方向。

这里借的是 Hyperband、Successive Halving 逐轮增加预算的逻辑，不是把科研变成超参数搜索。科研候选并不同质，早期信号还会偏爱容易测量、容易出结果的方向。因此要留一小部分探索预算，不能因早期信号弱，就把高风险、高价值的方向清空。

至于先做哪个实验，可以借用 expected information gain 的直觉，不必真的算公式，只问一句：

最便宜的实验不一定最值钱。便宜但没有判别力，只是在制造更多数据。真正应该优先的，是单位成本最能减少关键不确定性的那一步。

如果用 100 个初始候选来演示，漏斗可能是：

↓

↓

↓

↓

这些数字不是标准答案。不同学科、不同课题组会有完全不同的比例。真正重要的是：

还可以给每个候选配一张“假设淘汰卡”。它不负责凭空选出冠军，而是记录：这个候选属于哪个假设家族，为什么获准入队，已经获得什么证据，当前预算是多少，下一轮需要什么信号，以及在什么条件下暂停、终止或重新捡回来。

这张卡管理的，就是每个候选欠下的假设债：它已经用了多少资源，还欠什么判别证据，凭什么继续占用下一轮预算。

被淘汰的方向也别直接删除。记录停止依据和复活条件：今天缺测量工具而暂停的想法，几年后可能重新变得值得做。探索预算和复活机制，都是为了防止流程只奖励“最容易早出结果”的方向。

我们常用一句话安慰自己：人负责提问题，AI 负责给答案。

现在看来，这个分工维持不了多久。AI 已经能成批提出问题，还能把动机、方法和实验补得很完整。

人更该守住的是三件具体的事：资源分配权、证据门槛和停止权。

一个问题即使成立，值不值得做？什么证据才算够？时间、样本和算力先给谁？一个方向做了三个月仍然模棱两可，是继续、转向，还是停下来？

这三项权力后面还跟着一项责任：如果一个方向被错误推进，或者被过早淘汰，必须有人复盘当时的判断规则，并更新下一轮的资源和证据机制。

一个 idea 在屏幕上只有几百字，生成它可能只要几十秒。一旦进入现实，却可能吃掉一个研究者上百个小时。AI 在生成端省下的几分钟，不会自动抵掉执行端的成本。

AI 当然应该帮我们想得更多。但下一次让它生成候选时，别急着让另一个模型评出前三名。先让它们合并同类项，过硬门槛，接受反方审查，再用一轮小预算去争下一轮的大预算。

四轮淘汰赛不是为了把 idea 杀得越多越好。它要清理的，是那些已经占用资源，却没有判别路径、证据计划和退出条件的假设债。

科研不缺下一个听起来聪明的答案。更缺的是，在投入第 103 个小时以前，让现实有机会说一次“不”。

你课题组里那些“都可以试试”的方向，哪一个真的配得上下一份实验预算？