乐于分享
好东西不私藏

AI 开始「翻旧账」:把20年前的论文喂给GPT-5.5,它找出了人类没发现的错误

AI 开始「翻旧账」:把20年前的论文喂给GPT-5.5,它找出了人类没发现的错误

沃顿教授拿自己研究生时代的论文做了一场实验。结果让他脊背发凉——AI 不只找出了错误,还补上了新数据、重写了分析代码、把结论推到了他当年想都不敢想的方向。

2026年6月21日,沃顿商学院教授 Ethan Mollick 发了一条帖子。他把自己2006年发表的第一篇学术论文——一篇关于摩尔定律历史的 IEEE 论文——全文丢给了 GPT-5.5 Pro,只下了一道指令:

"find errors and update it"

找错。更新。

AI 返回的结果远超他的预期。它找到了论文里的问题,补充了此后20年间的新数据,写了可复现的分析代码,还扩展了原论文的核心论点。Mollick 自己跟帖承认:

"This is good stuff, including some things that are much more sophisticated than what I wrote in paper long ago."

「这些内容质量很高,有些地方比我当年写的要复杂得多。」

▲ Ethan Mollick 将自己20年前的 IEEE 论文交给 GPT-5.5 Pro「找错并更新」,AI 返回了详细的发现列表、新数据分析和可复现代码

他没停在这里。紧跟着发了第二条帖子,把问题捅到了整个学术圈的嗓子眼:

"What happens when we turn this sort of AI loose on past academic research at scale? Should we be doing that already?"

「当我们把这种 AI 大规模放出去重审过去的学术研究,会发生什么?我们是不是应该已经在做了?」

▲ Mollick 的追问直指核心:如果 AI 能审计一篇论文,那它能不能审计整个学术文献库?

一场持续了十年的「信任危机」

Mollick 的实验引发如此大的震动,是因为踩在了一条烧了十几年的引线上:复现危机

2015年,一个名为「可重复性项目」的大型合作尝试复现100项著名心理学研究。结果触目惊心——只有36%到39%能成功重现。超过六成的「经典发现」,在更严谨的条件下消失了。

癌症研究更难看。Amgen 和拜耳各自独立尝试复现肿瘤学领域的「里程碑式」论文,结果分别是:53%无法复现,89%无法复现。大药企拿着几百万预算、照着论文方法一步步做,做不出作者报告的结果。

根源不难理解:

  • 发表偏倚
    :期刊只要「显著」结果,阴性、失败全被埋掉
  • 统计花样
    :p值操纵、多重比较不校正、数据怎么切都行
  • 黑箱方法
    :数据和代码不公开,只给模糊描述
  • 激励扭曲
    :学术生涯靠「新发现」数量,不靠稳健性

▲ 维基百科「Replication crisis」词条记录了这场从2011年开始席卷心理学、医学、经济学等多个领域的信任崩塌

过去要复现一篇复杂论文,一个训练有素的研究者需要数周到数月:读懂论文、联系作者要数据、重建软件环境、调试代码、重新分析、写验证报告。即使数据公开了,软件版本差异、随机种子不同、操作系统变化,随便一个坑就能让复现失败。

这套流程的成本决定了:人工审计只能抽样。每年发表的几百万篇论文里,被认真复现过的是极少数。

AI 改变的就是这个成本等式。

同样的实验,Mollick 已经跑了一年多

6月的这次 GPT-5.5 Pro 实验不是 Mollick 第一次试探 AI 审稿的边界。

2025年9月,他就拿 Claude Sonnet 4.5 做过一轮更系统的测试。他选了一篇「复杂经济学论文」——含多项实验、用 STATA 写分析代码、数据托管在 Harvard Dataverse 上。给 AI 的指令同样简单:复现你能复现的一切。

Claude 的行为轨迹令人头皮发麻:

  • 自主读取论文全文
  • 打开数据档案,遍历所有文件
  • 识别出论文使用的统计模型
  • 把 STATA 代码自动转换成 Python
  • 逐表重跑,逐项核对交互项和稳健性检验
  • 报告:「复现成功」

Mollick 人工抽查后,又让 GPT-5 Pro 去复现 Claude 的这次复现。结果一致。

▲ Mollick 在《One Useful Thing》专栏讨论了 AI agent 执行真实工作的测试

到了2026年4月,他给出了更有杀伤力的观察:AI agent 现在已经「好到」可以仅凭论文的方法描述和数据,独立重构出实验结果。关键句在这里——

"They aren't perfect but the errors are often in the human paper, not the AI."

「它们并不完美,但出错的经常是人类论文那一边。」

▲ 2026年4月的推文抛出更进一步的判断:agent 出错,常常是原论文方法描述不完整导致的

这个判断比「AI 能复现」更深一层。它在说:很多论文的方法部分写得就不够清楚,够不上「可复现」的最低标准。AI 不是幻觉——AI 在暴露人类论文本身就存在的模糊性。

Nature 也在盯着这件事

Mollick 不是一个人在喊。顶级期刊已经注意到了。

2025年3月,《自然》发表专题报道《AI tools are spotting errors in research papers: inside a growing movement》(AI工具正在发现研究论文中的错误:一场日益壮大的运动内部观察)。

报道记录了一个具体案例:一项关于黑色塑料烹饪用具的研究声称某种化学物质超标,引发公众恐慌。AI 工具重新分析后,发现了一个数学计算错误——实际水平比报告低了约10倍。错误被迅速纠正,避免了不必要的政策误判和公众恐慌。

《自然》的报道勾勒出了一个正在成型的运动:

  • 多个实验室和公司在开发专用 LLM 工具,扫描论文中的统计错误、图像篡改痕迹、引用幻觉、方法不一致
  • 这些工具与传统人工同行评审互补,尤其适合大规模初筛
  • 工具仍在早期,召回率和精确率需要改进,人类专家的最终判断不可或缺

▲ Nature 的 AI 研究工具指南显示,顶级学术出版机构已将 AI 研究工具纳入公开讨论

与此同时,Substack 上的「AI Peer Review」专栏把讨论推向了一个历史隐喻:也许 AI 能让学术圈回到「书信共和国」时代——大规模、透明、持续进行的同行评议。

论文造假的清算时刻

把以上所有线索串起来,一幅图景就清楚了。

过去十年,学术圈对「复现危机」的应对基本是防御性的:强制数据公开、预注册报告、更严格的统计标准。这些改革有用,但治标不治本——它只能约束新论文,管不到已经躺在数据库里的上千万篇旧文献。

AI 审计提供了一个进攻性的选项

20年前的论文、30年前的论文,突然「复活」了,被 AI 逐行扫描。统计错误、数据矛盾、方法漏洞——过去靠人工 detective work 才能揪出来的问题,现在可以用一台服务器批量跑。

这意味着什么?

对造假者:过去的论文不是「安全」的。你今天在 arXiv 上搜到的一篇2003年论文,明天可能就被 AI 标出三处统计异常。

对期刊:发表过问题论文的期刊面临追溯压力。撤稿观察(Retraction Watch)的数据库可能要迎来指数级增长。

对学术评价体系:「高引用」不等于「正确」。一篇被引用了两千次的论文,如果 AI 发现其核心结论无法复现,这些引用就变成了尴尬的历史记录。

对未来投稿者:知道自己的论文可能在未来被 AI 审计,从第一天起就会更谨慎——方法写得更清楚、数据放得更完整、代码写得更可运行。

争议同样尖锐

AI 清算旧论文当然也有争议。而且不小。

历史公平是第一层拷问。2006年的论文用的是2006年可用的数据和方法。用2026年的标准去衡量,是否苛责?Mollick 自己的论文就是例子——AI「补新数据」后结论发生了变化,但这能说明原论文错了吗?

责任归属是第二层。如果 AI 指出一篇论文有问题,谁来更正?作者退休了、去世了怎么办?期刊编辑换了几轮了怎么办?更棘手的是:如果 AI 自己判断错了呢?训练数据有截止日期、模型有偏见、幻觉风险虽然降低但没归零。

学术政治是第三层。现有晋升、终身教职、经费评审体系奖励「干净漂亮的故事」,不奖励主动暴露自己旧作弱点的行为。多个学术学会——Mollick 点名了管理学会——至今明确禁止在审稿中使用 AI。技术能力在暴涨,制度惯性在刹车。

最关键的争论或许是:有了 AI 审计之后,学术出版应该是什么形态?静态 PDF 加一次性的同行评审?还是一个持续更新、持续标注、持续验证的「活文档」?

脏活累活被自动化了

技术细节值得展开来看。当前前沿的 AI 审稿流程大致分六步:

解析:上传 PDF,OCR 提取所有章节——方法、结果、表格、代码引用。

重建管线:识别论文使用的统计模型、变量定义、假设检验框架,自动生成可执行的 Python 或 R 代码。

对接数据:如果作者提供了数据存档,agent 自主下载、清洗、对齐。

执行验证:重跑全部分析,比较系数方向、效应大小、显著性水平,生成对比图表。

查错:扫描 p-hacking 痕迹、多重检验未校正、方法描述与实际执行不符、引用真实性。

扩展:接入更新数据集、使用更新方法重新检验原结论,甚至做跨论文的元分析。

Mollick 的案例还有一个容易被忽略的关键:他的原论文是一篇定性+定量混合的历史分析,跟纯粹的统计论文完全不同路数。即便如此,AI 依然找到了「补新数据」的切口——可能来自公开的半导体行业数据库、更新的摩尔定律曲线数据点。它生成的「可复现文件」大概率是 Jupyter notebook 加完整环境描述。

这才是真正让人后脊发凉的地方:连历史论述类论文都躲不掉。

回看复现危机的维基词条

那个维基页面记录了这场危机从2011年到今天的关键节点:心理学大规模复现失败、癌症生物学论文不可复现率惊人、经济学经典研究被后续数据推翻。

过去十几年,解决这一危机的唯一路径是「更多的人类劳动」——更严格的方法训练、更透明的数据政策、更多审稿人花更多时间。这条路走到今天,能覆盖的论文仍是冰山一角。

AI 提供了一条不同路径:把审计变成一种可以规模化运行的计算任务

Mollick 最后那句追问一直在回响:

"What happens when we turn this sort of AI loose on past academic research at scale?"

当这一天真的到来,学术界的「旧账」可能会以百万篇为单位被重新翻开。那些躺在引文数据库里安然无恙了几十年的论文,要面对一个人类审稿人从未有过的对手:一个不睡觉、不要工资、不会因「这是大师的作品」而手下留情的审计机器。

而这一天,Mollick 的帖子告诉我们:已经开始了。