沃顿教授拿自己研究生时代的论文做了一场实验。结果让他脊背发凉——AI 不只找出了错误,还补上了新数据、重写了分析代码、把结论推到了他当年想都不敢想的方向。
2026年6月21日,沃顿商学院教授 Ethan Mollick 发了一条帖子。他把自己2006年发表的第一篇学术论文——一篇关于摩尔定律历史的 IEEE 论文——全文丢给了 GPT-5.5 Pro,只下了一道指令:
"find errors and update it"
找错。更新。
AI 返回的结果远超他的预期。它找到了论文里的问题,补充了此后20年间的新数据,写了可复现的分析代码,还扩展了原论文的核心论点。Mollick 自己跟帖承认:
"This is good stuff, including some things that are much more sophisticated than what I wrote in paper long ago."
「这些内容质量很高,有些地方比我当年写的要复杂得多。」


▲ Ethan Mollick 将自己20年前的 IEEE 论文交给 GPT-5.5 Pro「找错并更新」,AI 返回了详细的发现列表、新数据分析和可复现代码
他没停在这里。紧跟着发了第二条帖子,把问题捅到了整个学术圈的嗓子眼:
"What happens when we turn this sort of AI loose on past academic research at scale? Should we be doing that already?"
「当我们把这种 AI 大规模放出去重审过去的学术研究,会发生什么?我们是不是应该已经在做了?」

▲ Mollick 的追问直指核心:如果 AI 能审计一篇论文,那它能不能审计整个学术文献库?
一场持续了十年的「信任危机」
Mollick 的实验引发如此大的震动,是因为踩在了一条烧了十几年的引线上:复现危机。
2015年,一个名为「可重复性项目」的大型合作尝试复现100项著名心理学研究。结果触目惊心——只有36%到39%能成功重现。超过六成的「经典发现」,在更严谨的条件下消失了。
癌症研究更难看。Amgen 和拜耳各自独立尝试复现肿瘤学领域的「里程碑式」论文,结果分别是:53%无法复现,89%无法复现。大药企拿着几百万预算、照着论文方法一步步做,做不出作者报告的结果。
根源不难理解:
- 发表偏倚
:期刊只要「显著」结果,阴性、失败全被埋掉 - 统计花样
:p值操纵、多重比较不校正、数据怎么切都行 - 黑箱方法
:数据和代码不公开,只给模糊描述 - 激励扭曲
:学术生涯靠「新发现」数量,不靠稳健性

▲ 维基百科「Replication crisis」词条记录了这场从2011年开始席卷心理学、医学、经济学等多个领域的信任崩塌
过去要复现一篇复杂论文,一个训练有素的研究者需要数周到数月:读懂论文、联系作者要数据、重建软件环境、调试代码、重新分析、写验证报告。即使数据公开了,软件版本差异、随机种子不同、操作系统变化,随便一个坑就能让复现失败。
这套流程的成本决定了:人工审计只能抽样。每年发表的几百万篇论文里,被认真复现过的是极少数。
AI 改变的就是这个成本等式。
同样的实验,Mollick 已经跑了一年多
6月的这次 GPT-5.5 Pro 实验不是 Mollick 第一次试探 AI 审稿的边界。
2025年9月,他就拿 Claude Sonnet 4.5 做过一轮更系统的测试。他选了一篇「复杂经济学论文」——含多项实验、用 STATA 写分析代码、数据托管在 Harvard Dataverse 上。给 AI 的指令同样简单:复现你能复现的一切。
Claude 的行为轨迹令人头皮发麻:
自主读取论文全文 打开数据档案,遍历所有文件 识别出论文使用的统计模型 把 STATA 代码自动转换成 Python 逐表重跑,逐项核对交互项和稳健性检验 报告:「复现成功」
Mollick 人工抽查后,又让 GPT-5 Pro 去复现 Claude 的这次复现。结果一致。

▲ Mollick 在《One Useful Thing》专栏讨论了 AI agent 执行真实工作的测试
到了2026年4月,他给出了更有杀伤力的观察:AI agent 现在已经「好到」可以仅凭论文的方法描述和数据,独立重构出实验结果。关键句在这里——
"They aren't perfect but the errors are often in the human paper, not the AI."
「它们并不完美,但出错的经常是人类论文那一边。」


▲ 2026年4月的推文抛出更进一步的判断:agent 出错,常常是原论文方法描述不完整导致的
这个判断比「AI 能复现」更深一层。它在说:很多论文的方法部分写得就不够清楚,够不上「可复现」的最低标准。AI 不是幻觉——AI 在暴露人类论文本身就存在的模糊性。
Nature 也在盯着这件事
Mollick 不是一个人在喊。顶级期刊已经注意到了。
2025年3月,《自然》发表专题报道《AI tools are spotting errors in research papers: inside a growing movement》(AI工具正在发现研究论文中的错误:一场日益壮大的运动内部观察)。
报道记录了一个具体案例:一项关于黑色塑料烹饪用具的研究声称某种化学物质超标,引发公众恐慌。AI 工具重新分析后,发现了一个数学计算错误——实际水平比报告低了约10倍。错误被迅速纠正,避免了不必要的政策误判和公众恐慌。
《自然》的报道勾勒出了一个正在成型的运动:
多个实验室和公司在开发专用 LLM 工具,扫描论文中的统计错误、图像篡改痕迹、引用幻觉、方法不一致 这些工具与传统人工同行评审互补,尤其适合大规模初筛 工具仍在早期,召回率和精确率需要改进,人类专家的最终判断不可或缺

▲ Nature 的 AI 研究工具指南显示,顶级学术出版机构已将 AI 研究工具纳入公开讨论
与此同时,Substack 上的「AI Peer Review」专栏把讨论推向了一个历史隐喻:也许 AI 能让学术圈回到「书信共和国」时代——大规模、透明、持续进行的同行评议。
论文造假的清算时刻
把以上所有线索串起来,一幅图景就清楚了。
过去十年,学术圈对「复现危机」的应对基本是防御性的:强制数据公开、预注册报告、更严格的统计标准。这些改革有用,但治标不治本——它只能约束新论文,管不到已经躺在数据库里的上千万篇旧文献。
AI 审计提供了一个进攻性的选项。
20年前的论文、30年前的论文,突然「复活」了,被 AI 逐行扫描。统计错误、数据矛盾、方法漏洞——过去靠人工 detective work 才能揪出来的问题,现在可以用一台服务器批量跑。
这意味着什么?
对造假者:过去的论文不是「安全」的。你今天在 arXiv 上搜到的一篇2003年论文,明天可能就被 AI 标出三处统计异常。
对期刊:发表过问题论文的期刊面临追溯压力。撤稿观察(Retraction Watch)的数据库可能要迎来指数级增长。
对学术评价体系:「高引用」不等于「正确」。一篇被引用了两千次的论文,如果 AI 发现其核心结论无法复现,这些引用就变成了尴尬的历史记录。
对未来投稿者:知道自己的论文可能在未来被 AI 审计,从第一天起就会更谨慎——方法写得更清楚、数据放得更完整、代码写得更可运行。
争议同样尖锐
AI 清算旧论文当然也有争议。而且不小。
历史公平是第一层拷问。2006年的论文用的是2006年可用的数据和方法。用2026年的标准去衡量,是否苛责?Mollick 自己的论文就是例子——AI「补新数据」后结论发生了变化,但这能说明原论文错了吗?
责任归属是第二层。如果 AI 指出一篇论文有问题,谁来更正?作者退休了、去世了怎么办?期刊编辑换了几轮了怎么办?更棘手的是:如果 AI 自己判断错了呢?训练数据有截止日期、模型有偏见、幻觉风险虽然降低但没归零。
学术政治是第三层。现有晋升、终身教职、经费评审体系奖励「干净漂亮的故事」,不奖励主动暴露自己旧作弱点的行为。多个学术学会——Mollick 点名了管理学会——至今明确禁止在审稿中使用 AI。技术能力在暴涨,制度惯性在刹车。
最关键的争论或许是:有了 AI 审计之后,学术出版应该是什么形态?静态 PDF 加一次性的同行评审?还是一个持续更新、持续标注、持续验证的「活文档」?
脏活累活被自动化了
技术细节值得展开来看。当前前沿的 AI 审稿流程大致分六步:
解析:上传 PDF,OCR 提取所有章节——方法、结果、表格、代码引用。
重建管线:识别论文使用的统计模型、变量定义、假设检验框架,自动生成可执行的 Python 或 R 代码。
对接数据:如果作者提供了数据存档,agent 自主下载、清洗、对齐。
执行验证:重跑全部分析,比较系数方向、效应大小、显著性水平,生成对比图表。
查错:扫描 p-hacking 痕迹、多重检验未校正、方法描述与实际执行不符、引用真实性。
扩展:接入更新数据集、使用更新方法重新检验原结论,甚至做跨论文的元分析。
Mollick 的案例还有一个容易被忽略的关键:他的原论文是一篇定性+定量混合的历史分析,跟纯粹的统计论文完全不同路数。即便如此,AI 依然找到了「补新数据」的切口——可能来自公开的半导体行业数据库、更新的摩尔定律曲线数据点。它生成的「可复现文件」大概率是 Jupyter notebook 加完整环境描述。
这才是真正让人后脊发凉的地方:连历史论述类论文都躲不掉。
回看复现危机的维基词条
那个维基页面记录了这场危机从2011年到今天的关键节点:心理学大规模复现失败、癌症生物学论文不可复现率惊人、经济学经典研究被后续数据推翻。
过去十几年,解决这一危机的唯一路径是「更多的人类劳动」——更严格的方法训练、更透明的数据政策、更多审稿人花更多时间。这条路走到今天,能覆盖的论文仍是冰山一角。
AI 提供了一条不同路径:把审计变成一种可以规模化运行的计算任务。
Mollick 最后那句追问一直在回响:
"What happens when we turn this sort of AI loose on past academic research at scale?"
当这一天真的到来,学术界的「旧账」可能会以百万篇为单位被重新翻开。那些躺在引文数据库里安然无恙了几十年的论文,要面对一个人类审稿人从未有过的对手:一个不睡觉、不要工资、不会因「这是大师的作品」而手下留情的审计机器。
而这一天,Mollick 的帖子告诉我们:已经开始了。
夜雨聆风