AI搞科研真有那么神?11683篇论文揭示的残酷真相

最近半年，「AI写论文」几乎成了科技媒体的固定栏目。

每隔几周就有一条新消息，某模型在SWE-Bench上刷新纪录，某AI系统自动生成了可运行的代码，某实验室让大模型独立完成了从文献综述到实验设计的全流程。

标题越写越猛，叙事越来越像科幻，AI科学家即将到来，人类研究员即将被替代。

但2026年7月，一篇来自耶鲁大学和芝加哥大学的论文，给这股热潮泼了一盆冷水。

不是那种「AI不行」的冷水，而是一种更精准的冷水，AI搞科研，质量没问题，但路子太窄了。

一场11683篇论文的控制实验

这篇论文叫 Measuring the Gap Between Human and LLM Research Ideas（arXiv:2607.01233），作者Ziyu Chen来自耶鲁大学，Yilun Zhao和Arman Cohan来自芝加哥大学。

研究团队设计了一个巧妙的实验。

他们没有直接问「AI写的论文好不好」，这个问题太模糊，之前的研究吵来吵去也没定论。他们换了一个思路，给AI和人类科学家同一份「起跑线」，看谁跑出的方向更多样。

具体做法是，收集了11683篇发表在顶级会议和期刊上的论文，提取每篇论文引用的「前人文献」（prior work）作为统一的背景知识。然后让LLM和人类科学家基于同样的背景文献，各自提出新的研究想法。

控制变量做到这个程度，才是真正的「同台竞技」。

结果出人意料。

质量打平，但多样性差了4到5倍

先说好的，在「想法质量」这个维度上，LLM和人类科学家没有显著差距。评审专家对两者的评分基本持平，AI提出的研究想法，在可行性、合理性、技术深度上，都能达到人类研究员的水平。

但问题也跟着来了。

研究团队用一套「双轴评估框架」分析了所有想法的来源和方法

纵轴是Opportunity Pattern（机会模式），你的研究想法从哪来？是发现了一个矛盾？填补了一个解释空白？还是把两个不相关的领域连了起来？

横轴是Method Paradigm（方法范式），你用了什么方法？是综合现有工作？扩展范围？还是从头构建一个新系统？

在这套框架下，人类科学家的想法分布是「百花齐放」的，有人去解决矛盾，有人去填补空白，有人去构建系统，有人去做实证研究。

而LLM的想法高度集中在一个区域，Bridge Opportunity + Synthesis/Unification。

说白了就是，把A领域的东西搬到B领域，然后美其名曰「跨学科融合」。

数据说话，人类科学家使用这种「缝合」策略的比例是12.1%，而LLM的比例是47.1%到64.2%，差了4到5倍。

「螺丝刀加手电筒等于智能光感旋凿系统」

浅黑科技在解读这篇论文时，用了一个生动的比喻

人类科学家可能会去造个火箭，或者去研究为什么自行车会爆胎；而AI默默看了一眼现有的工具箱，决定把螺丝刀和手电筒绑在一起，并自豪地称之为「智能光感旋凿系统」。

这个比喻精准地戳中了LLM科研的核心问题，它不是在创新，它是在做统计学的排列组合。

为什么？因为LLM的底层机制就是「寻找高概率的连接」。在海量学术文献中，把A领域的概念引入B领域，是统计学上最安全、最「合理」的生成策略。它不需要真正的洞察力，不需要在实验室里被Bug折磨到凌晨三点，不需要经历「这个方向走不通」的痛苦，它只需要在概率分布中找到那个最平滑的过渡。

而真正的科研突破，往往来自那些「不平滑」的地方。

牛顿被苹果砸到脑袋（虽然是传说），弗莱明发现青霉素是因为培养皿被污染了，克里克和沃森发现DNA双螺旋结构靠的不只是数据，还有对「漂亮结构」的直觉。这些都不是「高概率连接」能产生的。

思维链的悖论，更多算力 = 更精致的缝合

论文中还有一个反直觉的发现，值得深思

思维链越长，LLM的缝合倾向越坚定。

通常的理解是，给模型更多推理时间，它应该能探索更广阔的空间。但实验数据显示恰恰相反，更多的推理步骤并没有带来更高的多样性，反而让模型把「缝合配方」打磨得更加精致、更具欺骗性。

这就像给一个只会用锤子的人一把更贵的锤子。他不会因此学会用螺丝刀，他只是会把钉子钉得更漂亮。

这个发现对当前AI科研工具的评估体系是一个直接的挑战。很多工具在宣传时说「支持深度推理」「支持长思维链」，好像推理越深，想法就越好。但TasteGap论文告诉我们，如果方向本身就是窄的，深度只会让你在窄路上走得更远。

不是AI不行，是AI的「不行」很特殊

这篇论文不是在说「AI搞科研没用」。

它揭示的是AI科研能力的一种非常特殊的「不行」，不是质量不行，而是想象力不行。

这和斯坦福大学2025年ICLR论文 Can LLMs Generate Novel Research Ideas? 的发现相互印证，LLM想法在新颖性上接近人类，但可行性较低。两项研究从不同角度指向同一个结论，AI和人类在科研上的差距，不在执行力，而在方向感。

2026年1月，清华大学李勇团队联合芝加哥大学在Nature上发表的一项研究，通过分析2.5亿篇科学文献、构建覆盖4130万篇AI相关论文的知识图谱，从另一个维度补充了这幅图景，使用AI工具的科学家发表论文数量是不使用者的3.02倍，引用量达到4.84倍，但科学探索的方向却在趋向集中化。

效率在提升，视野在收窄。这大概就是AI给科研带来的最大悖论。

为什么AI逃不出「缝合」套路？

原因可以分三层看。

第一层，概率预测的核心原理。 LLM的本质是预测下一个token。在学术语境中，「高概率的下一个token」往往就是已有文献中最常见的连接方式。把机器学习应用到生物信息学，把强化学习引入机器人控制，这些「缝合」在统计学上是最安全的，因为训练数据中这样的例子最多。

第二层，缺乏「工程实践痛感」。 人类科学家在实验室里被Bug折磨过，经费被砍过，论文被拒过。这些「痛苦」不是负面情绪，而是信息，它们告诉你哪些方向是死胡同，哪些假设在现实中不成立。LLM没有这些体验。它在服务器里运行，没有失败成本，没有真实反馈，只能在文字和概念的层面做排列组合。

第三层，训练数据的同质化。 学术文献本身就存在「缝合偏好」，发论文的最快路径就是「A方法+B场景」。LLM放大了这种偏好，形成了统计学的二阶效应。训练数据里「缝合」多，模型就更多地「缝合」；模型更多「缝合」，生成的数据里「缝合」就更多。这是一个自我强化的循环。

对普通人意味着什么？

学术圈的事。

如果你在考虑要不要让AI帮你写论文， 可以，但要知道它的天花板在哪。AI能帮你快速找到「看起来合理」的研究方向，但它给你的大概率是「别人已经做过的东西的变体」。真正有价值的创新点，还是需要你自己的洞察。

如果你在评估AI科研工具， 不要被「自动生成研究想法」的demo迷惑。demo看起来都很惊艳，但仔细看，那些想法大多是「已知方法的重新组合」。真正衡量一个科研工具好不好，不应该看它生成的想法有多「像样」，而应该看它能不能帮你跳出思维定式。

如果你在思考AI的未来， 这篇论文提供了一个很好的案例，AI的能力边界不是「强」或「弱」这么简单。它在某些维度上已经和人类打平，但在另一些维度上差距巨大。理解这种「不均匀的能力分布」，比简单地说「AI很强」或「AI不行」要有用得多。

写在最后

回到开头的问题，AI搞科研真有那么神吗？

答案是，没有媒体说的那么神，但也没有批评者说的那么弱。

AI是一个强大的「加速器」，它能帮你帮你检索文献、验证假设、写初稿。但它不是一个「方向感」的替代品。在「往哪走」这个问题上，它目前还远远不如一个被Bug折磨了三年、对领域有直觉判断的博士生。

11683篇论文揭示的残酷真相，其实也是一个简单的真相，质量可以量化，但品味不能。

AI可以写出「正确」的研究计划，但它写不出「有趣」的研究计划。它可以找到「合理」的方向，但它找不到「让人兴奋」的方向。

而科学史上那些真正改变世界的突破，从来都不是因为「合理」，而是因为有人觉得一个「不合理」的想法值得试一试。

参考文献

[^1]: Chen, Z., Zhao, Y., & Cohan, A. (2026). Measuring the Gap Between Human and LLM Research Ideas. arXiv preprint arXiv:2607.01233 [OL]. https://arxiv.org/abs/2607.01233

[^2]: Si, C., Yang, D., & Hashimoto, T. (2025). Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers. ICLR 2025 [C].

[^3]: Li, Y., et al. Artificial intelligence tools expand scientists' impact but contract science's focus. Nature, 2026-01-14 [J]. https://www.nature.com/ 报道来源，清华大学电子工程系, 2026-01-15.

[^4]: 浅黑科技. AI搞科研真有那么神？今日头条, 2026-07-05 [OL].

[^5]: IdeaSeed Dataset. HuggingFace [DB]. https://huggingface.co/datasets/idealand/IdeaSeed

[^6]: TasteGap Code Repository. GitHub [CP]. https://github.com/ziyuuc/TasteGap

作者，JohnSay | 网络安全从业者/AI安全研究者