ARTICLE · 1029675
AI时代,学术评价还应该看论文数量吗:从“发表多少”到“贡献了什么”
特邀评论员:STEVE TU|Founder, GPES
如果说过去几十年的学术评价有一个最简单、最直观的逻辑,那就是:发表论文。
发表得越多,似乎意味着研究能力越强;发表的期刊越好,似乎意味着学术水平越高;被引用次数越多,似乎意味着学术影响越大。于是,论文数量、期刊等级、引用次数、项目数量、人才称号,逐渐形成了一套看起来非常完整的学术评价体系。
这套体系并非没有合理性。
学术研究毕竟需要公开发表,需要同行检验,需要形成公共知识。论文是一种重要的知识载体,期刊是学术共同体的重要组织形式,引用则能够在一定程度上反映知识传播和使用情况。
问题在于,当这些指标从“评价学术贡献的工具”逐渐变成“学术贡献本身”时,问题就出现了。
尤其是在人工智能迅速进入知识生产全过程的今天,这个问题正在变得越来越尖锐。
过去,一个研究者完成一篇论文需要大量时间:查文献、阅读资料、整理数据、处理统计、修改文字、制作图表、校对格式。今天,其中大量机械性工作都可以由AI辅助完成。
这意味着一个非常值得警惕的变化:
论文的生产成本正在下降,但论文数量仍然可以无限增加。
如果评价制度仍然简单地追求“发表更多论文”,那么AI很可能不是首先推动学术质量提升,而是推动论文数量爆炸。
到那个时候,我们真正需要担心的就不是“AI会不会写论文”,而是:
我们为什么还要用论文数量来衡量一个人的学术价值?
一、论文是学术成果,但论文数量不是学术贡献
必须首先把一个最基本的问题说清楚:
发表论文很重要,但发表多少篇论文,与贡献了多少知识,并不是同一个问题。
一篇论文可能只是重复已有结论。
另一篇论文可能改变一个研究领域的问题意识。
一篇论文可能增加一个案例。
另一篇论文可能提出一个新的理论机制。
一篇论文可能提出一个新的概念,但后来无人使用。
另一篇论文可能建立了一套可以被几十个后来研究者使用的数据和方法。
如果仅仅按照“论文篇数”计算,这些研究在统计表上都只是“一篇”。
但是从知识生产的角度看,它们显然不具有相同价值。
因此,真正成熟的学术评价首先必须回答:
这篇研究到底增加了什么公共知识?
这才是学术评价的核心。
前面我们讨论过,一篇论文真正的学术贡献,不是“作者发现了什么”,而是作者发现的东西能不能进入后来的知识生产。
如果一个新的概念后来被别人使用,一个新的理论被别人检验,一个新的数据集被别人反复使用,一个新的研究方法被别人复制,一个新的经验事实改变了学界对某个问题的认识,那么它才真正形成了公共知识。
所以:
论文是知识的载体,贡献才是论文的价值。
二、AI正在迫使我们重新认识“论文生产率”
过去,一个研究者一年发表两篇论文和一年发表十篇论文,通常会让人产生非常明显的能力差异。
但是AI时代,这个判断越来越需要谨慎。
因为论文生产率正在受到技术的巨大影响。
一个研究者可以让AI帮助自己完成文献初筛、摘要整理、语言润色、代码生成、数据清洗、表格制作、图表生成、参考文献格式处理,甚至辅助构建初步理论框架。
这意味着过去需要一个星期完成的工作,现在可能一天就可以完成。
于是,一个新的问题出现了:
一个人一年发表二十篇论文,究竟说明他研究能力强,还是说明他的AI工作流效率高?
答案可能两者都有。
但二者必须区分。
如果我们仍然把“发表数量”直接等同于“研究能力”,那么评价制度就会产生一种非常危险的激励:
让研究者把越来越多的时间用于制造论文,而不是制造知识。
最终可能出现一种奇怪的学术生态:
大家都有越来越多的论文,
但是越来越少的问题真正被解决;
论文越来越多,
但真正改变研究方向的作品越来越少;
引用越来越多,
但真正被后来者使用的理论、数据和方法并没有同比增加。
这就是典型的:
论文生产增长,不等于知识生产增长。
三、真正应该评价的,是“知识增量”
那么,一篇论文究竟应该贡献什么?
其实可以把学术贡献压缩成一个非常简单的问题:
如果没有这篇论文,我们对这个问题的理解会不会有所不同?
如果答案是“不会”,那么即使论文写得很漂亮,引用很多,可能仍然只是低水平增量。
当然,知识增量并不只有理论创新一种形式。
一项研究可能贡献新的经验事实。
例如,通过可靠数据发现某项法律政策在过去被认为有效,但实际上对某类企业几乎没有影响。
这就是知识增量。
另一项研究可能发现新的因果机制。
过去我们知道X与Y有关,但不知道为什么。新的研究发现X通过M影响Y。
这也是知识增量。
另一项研究可能发现边界条件。
过去理论认为X影响Y,但新的研究发现只有在W条件下才成立。
这同样是理论贡献。
还有一种贡献可能是数据贡献。
一个研究者建立了一套长期、可靠、可重复使用的数据库,使后来几十篇论文都有可能建立在这套数据之上。
它甚至可能比一篇普通理论论文更有长期价值。
还有方法贡献、测量贡献、概念贡献、复制研究、反例研究、理论修正等。
因此,学术评价真正应该问的不是:
“你发表了多少篇?”
而应该问:
“你为知识体系增加了什么?”
四、真正需要改变的,不是“取消论文”,而是从“论文中心”转向“贡献中心”
这里必须避免另一个极端。
AI时代并不意味着论文没有价值。
恰恰相反,论文仍然是学术共同体最重要的公共知识载体之一。
问题不是论文,而是:
不能把论文这个载体本身当成知识贡献的全部。
未来更加合理的评价体系,应该逐渐从“publication-centered”走向“contribution-centered”。
也就是说:
过去首先问:
你发表了多少?
未来应该首先问:
你贡献了什么?
过去主要看:
论文数量;
期刊等级;
引用数量。
未来应该更加关注:
研究问题;
理论贡献;
经验贡献;
方法贡献;
数据贡献;
可复制性;
可使用性;
实际影响;
后续研究;
知识传播;
学术共同体中的使用情况。
这样,论文仍然重要,但论文只是贡献的载体之一。
五、一个真正成熟的评价体系,必须允许“少而重要”
我们必须承认一个非常朴素的事实:
重要研究往往需要时间。
一个真正困难的问题,不可能因为年度考核即将到来,就自动产生高质量答案。
理论需要积累。
数据需要建设。
长期追踪需要时间。
复杂的因果关系需要反复验证。
一个重要的研究计划甚至可能需要五年、十年才能形成真正稳定的理论贡献。
如果评价制度每年都要求研究者不断提交新的论文,那么研究者自然会倾向于把大的研究问题拆成尽可能多的小论文。
这种策略在短期评价中可能非常有效。
但从知识生产角度看,却可能造成严重的问题:
研究问题被碎片化,理论被碎片化,数据被一次性消耗,研究者越来越忙,却越来越难形成真正的研究领域。
而真正成熟的学者恰恰需要相反的条件。
他应该能够围绕一个重要问题持续研究。
第一篇论文发现现象。
第二篇论文解释因果关系。
第三篇论文研究机制。
第四篇论文寻找边界。
第五篇论文与竞争性理论比较。
第六篇论文进一步建立综合理论。
最后形成一个研究领域。
这才是真正的学术积累。
所以,评价制度如果只看论文数量,很可能惩罚真正的长期研究。
六、负结果为什么也应该进入学术评价?
AI时代还有一个非常值得重新讨论的问题:
没有得到预期结果的研究,有没有价值?
传统学术文化往往更加偏爱漂亮结果。
统计显著更容易发表。
新奇结论更容易传播。
“发现了一个重大影响”往往比“没有发现影响”更容易受到关注。
于是研究者可能产生一种无形的压力:
最好得到一个漂亮的结果。
但这与科学研究的逻辑并不完全一致。
如果一个理论预测X会导致Y,而研究者通过严谨设计发现X实际上没有导致Y,那么这个“没有效果”的结果可能恰恰非常重要。
它可能意味着:
原理论存在边界;
过去的研究存在选择偏差;
这个机制只在某些条件下成立;
另一个竞争性理论可能更有解释力。
因此:
负结果不是没有知识,反而可能是排除错误知识的重要方式。
前面我们谈到“证伪”。
真正的研究不是不断积累支持自己的证据,而是不断排除错误解释。
如果评价制度只奖励“成功证明自己”的论文,那么研究者就会尽量避免那些可能失败的研究。
最终,一个学术共同体可能充满漂亮答案,却缺乏真正严格的检验。
这是非常危险的。
七、复制研究、反例研究和质疑研究,也应该有自己的位置
如果一个学术共同体只奖励“提出新观点”,那么它很容易出现一个问题:
新观点越来越多,但没有人认真检查它们。
科学研究不只是发现。
还包括重复、验证、质疑、修正和推翻。
一项经典研究是否能够被复制?
一个理论在不同环境中是否仍然成立?
一个经验结果是否依赖特定样本?
一个法律政策的效果是否能够在不同地区重复出现?
一个理论是不是只在某一个历史阶段有效?
这些研究看起来可能没有“提出一个全新理论”那么耀眼,但它们对于知识可靠性极其重要。
一个真正成熟的学术共同体,应该同时存在:
发现者、验证者、批评者、修正者和扩展者。
如果所有人都只能做“第一发现者”,那么没人愿意做基础性的验证工作。
而AI时代尤其需要这种研究。
因为AI能够极大降低“生成一个新观点”的成本。
未来最稀缺的,可能恰恰不是观点,而是:
可靠的验证。
八、引用次数也不能简单等于学术影响力
引用是重要指标,但引用本身也需要被重新理解。
一篇论文被引用一百次,可能意味着它成为理论基础。
也可能只是因为它提供了一个常用定义。
甚至可能是因为后来者在批评它。
所以:
被引用,不等于被认可。
更重要的是:
被使用。
真正的学术影响力应该包括:
别人是否使用你的概念;
是否使用你的数据;
是否使用你的方法;
是否检验你的理论;
是否围绕你的问题继续研究;
是否在其他国家、地区或者领域使用你的解释;
是否因为你的研究而改变了研究设计;
是否因为你的发现提出了新的问题。
这就是从“citation”走向“knowledge use”。
如果一篇论文被引用很多,却没有改变任何后续研究,那么它的影响力可能远低于引用数字所显示的程度。
相反,一篇论文虽然引用数量不高,却建立了一个后来不断发展的研究传统,那么它的长期学术价值可能非常巨大。
九、AI时代,学术评价尤其应该关注“研究可复用性”
AI会让知识生产越来越像一个基础设施系统。
一项研究产生的不应该只有一篇PDF。
它还可以产生:
数据集;
代码;
变量定义;
研究工具;
分类体系;
理论模型;
测量指标;
案例数据库;
研究协议;
开放材料。
这些东西如果能够被后来者使用,就会形成真正的知识资产。
因此,未来评价体系可以越来越重视一个问题:
你的研究为后来者留下了什么?
如果一篇论文读完就结束,没有任何东西可以继续使用,它的知识生命周期可能非常短。
但如果研究者留下了一个数据库、一个理论模型、一套编码规则、一种测量方法,后来者可以继续在其基础上研究,那么这项研究就拥有了更强的“知识基础设施”属性。
这与我们之前讨论的“公共知识”是完全一致的。
真正成熟的研究,不只是告诉别人:
“我发现了什么。”
还应该告诉后来者:
“你可以怎样继续使用我的发现。”
十、AI时代最值得改革的,是研究评价的时间尺度
目前很多评价体系天然偏爱短期成果。
一年有没有论文?
三年发表多少篇?
五年有没有项目?
这些指标管理起来非常方便。
但学术知识本身往往不是按照这样的时间周期增长的。
一项重要理论可能发表五年之后才开始被广泛使用。
一套数据可能十年之后才显示真正价值。
一本学术著作可能在作者去世之后才真正形成学术传统。
一个研究问题可能需要几代研究者才能完成。
因此,真正成熟的学术评价应该至少存在两个时间尺度:
短期评价研究过程。
看研究是否严谨、方法是否可靠、是否完成必要的研究任务。
长期评价知识影响。
看这项研究有没有被使用、检验、修正、扩展,是否形成新的研究问题和研究传统。
只有这样,学术评价才能避免把真正长期的学术贡献误认为“没有产出”。
十一、评价制度最终决定我们培养什么样的学者
学术评价从来不只是“打分”。
它实际上是在塑造研究者。
如果我们奖励论文数量,研究者就会生产更多论文。
如果奖励期刊等级,研究者就会追求期刊等级。
如果奖励短期热点,研究者就会追逐热点。
如果奖励漂亮结果,研究者就可能回避失败。
如果奖励长期知识贡献,研究者才可能真正建设研究领域。
所以,真正需要思考的问题不是:
“我们应该用什么指标评价学者?”
而是:
“我们希望通过评价制度培养什么样的学者?”
如果我们希望培养的是论文生产者,那么论文数量是一个方便的指标。
如果我们希望培养的是知识生产者,那么评价就必须更加复杂。
因为知识生产不是一个数字。
它是一条链条:
问题 → 理论 → 证据 → 发现 → 检验 → 修正 → 使用 → 扩展 → 新问题。
一个学者真正的价值,就存在于这条链条之中。
十二、大学、期刊和科研机构都需要重新定义“优秀”
AI时代真正困难的事情,是重新定义“优秀研究”。
大学不能只问:
这个学生发表了几篇论文?
而应该问:
他是否已经能够独立提出问题?
是否能够设计研究?
是否能够处理反证?
是否能够形成自己的理论判断?
是否能够进入学术共同体?
期刊也不能只追求:
这篇文章是不是“新”。
还应该问:
它到底增加了什么知识?
证据可靠吗?
理论是否成立?
结论边界在哪里?
后来者能否使用?
科研机构也不能只问:
这个学者一年发表多少论文?
还应该问:
他有没有形成稳定的研究方向?
有没有建设长期数据?
有没有培养年轻研究者?
有没有形成研究团队?
有没有产生能够被后来者继承的知识资产?
这才是学术评价真正应该发生的变化。
十三、AI时代,我们可能需要一张新的“学术贡献账本”
如果进一步把这个问题具体化,我认为未来可以建立一种新的“学术贡献账本”。
它不再只有“论文多少篇”这一栏,而至少可以记录:
问题贡献:
是否提出了新的重要问题?
事实贡献:
是否发现了新的可靠事实?
理论贡献:
是否提出、修正或者检验了理论关系?
机制贡献:
是否揭示了新的因果机制?
边界贡献:
是否发现了理论成立的条件?
方法贡献:
是否提供了新的研究方法?
数据贡献:
是否形成可重复使用的数据资产?
验证贡献:
是否复制、检验或者挑战已有研究?
公共知识贡献:
是否被后来者理解和使用?
人才贡献:
是否培养了能够继续研究这一问题的人?
共同体贡献:
是否推动了学术讨论和研究网络的发展?
这样评价,一个学者可能并不拥有最多的论文,但可能拥有非常高的知识贡献。
另一个学者可能发表了很多论文,却发现它们之间彼此孤立,没有形成任何知识积累。
这时候,二者之间的差别才真正能够被看见。
十四、最高水平的学术评价,是评价“一个人改变了什么”
如果把所有这些问题再往前推进一步,学术评价最终应该回到一个最朴素的问题:
一个研究者存在于这个学术共同体中,究竟改变了什么?
他是否让我们看到了过去没有看到的事实?
是否让我们重新理解了一个旧问题?
是否提出了一个后来不断发展的理论?
是否建立了一套别人可以使用的数据?
是否发现了一个过去没有意识到的机制?
是否证明了一个流行观点其实并不成立?
是否让一个研究领域产生了新的问题?
是否培养了一批能够继续推进这个问题的学生?
如果这些问题的答案都是肯定的,那么这个研究者即使论文数量并不惊人,也可能是一位非常重要的学者。
反过来,如果一个人发表了几百篇论文,却没有任何一个问题、概念、理论、数据或者方法真正被后来者使用,那么我们就应该认真思考:
我们究竟是在评价学术贡献,还是在评价论文生产能力?
这两者,在AI时代会越来越不同。
AI真正带给学术评价的挑战,不是让我们废除论文,也不是让我们放弃期刊,更不是让我们不再进行量化评价。
真正的挑战是:
当论文越来越容易生产,我们必须越来越认真地区分“产出”与“贡献”。
过去,我们可以通过论文数量大致观察一个人的研究活动。
未来,这种方法会越来越不够。
因为AI会让“写出一篇论文”变得越来越容易。
但AI不会自动让一个问题变得重要,不会自动让一个理论变得正确,也不会自动让一项发现成为公共知识。
因此,未来学术评价最应该关注的,不是:
你生产了多少篇论文。
而是:
你解决了什么问题?
你发现了什么过去不知道的东西?
你改变了什么已有认识?
你留下了什么可以被后来者使用的知识?
如果没有你的研究,这个领域会少知道什么?
这可能才是AI时代真正应该建立的学术评价逻辑。
从“发表多少”走向“贡献什么”,表面上只是评价指标的变化,实际上却是一场关于大学和学术制度基本价值的重新思考。
因为大学最终不是论文工厂。
期刊也不是论文数量统计器。
学者更不是论文生产机器。
学术共同体真正生产的,是能够被后来者继续使用、检验、修正和超越的公共知识。
而一个学者真正值得被记住的,也从来不是他一生写了多少篇论文。
而是:
他曾经让人类对某一个问题,多理解了一点什么。