夜雨聆风学习资料网

ARTICLE · 1190934

AI 明明指出了问题,你怎么还是放过去了(附三层审稿 Skill)

AI 明明指出了问题,你怎么还是放过去了(附三层审稿 Skill)

之前我们拆过一个skill journal-reviewer,我建议大家投稿前先让 AI 站到拒稿那边,把稿子审一遍。

学术Skill 拆解 joumal-reviewer

bo老师,公众号:趣味bo老师学术Skill 拆解 002 | journal-reviewer

真这么用上一阵,不少人会撞上一件怪事:AI 其实把问题说出来了,你也看到了,可改完投出去,审稿人揪住的还是那一处。

我拿自己一段还没发表的理论贡献试了一回(下文脱敏),想弄清楚问题到底是在哪一步溜走的。

我的判断是,问题溜走,多半怪不到 AI 看不出来。它挑得出毛病,只是先客气、再代劳:问题夹在几句夸奖中间,读着就不像非改不可;它再顺手送你一版改好的段落,那句说大了的话也跟着被带了过去。

所以要改的是它回答的结构。我把要加的约束分成三层,像三道闸,一道比一道收得紧:

  • • 立场:让它不夸
  • • 结构:让它说清楚是哪句话、错到什么程度
  • • 隔离:让几份审稿意见互不冲淡

先交代来源:四个诊断维度、每维最多 3 条、只提问题不改写、几个审稿角色分开对话,这些思路我是从一位做学术写作的博主那里学来的。我做的是三件事:拿自己的稿子实测四组对照,加上默认拒稿和分数封顶,再把它并进 002 的 journal-reviewer。

下面一道一道拆。

第一道闸:立场

让它当默认推荐 Reject 的 Reviewer 2,只干一件事:找拒稿理由。夸奖和「整体不错」这种缓冲句一律不许写;某一类问题找不到,就写「未发现该类问题」。

你问「写得怎么样」,它会照顾你的感受;换成让它找拒稿理由,它就没有立场先夸你一轮了。

上一篇的对抗模式,做的就是这一道。

第二道闸:结构

光有立场还不够。它会说得很重,可你未必知道该把哪句改成什么强度。

所以第二道闸给它定格式:四个维度,每个维度最多 3 条,按严重程度排。

  1. 1. 逻辑衔接:指代模糊、缺过渡、推理跳跃
  2. 2. 主张精度:主张比证据强,或者论点缺证据
  3. 3. 文献定位:贡献被夸大或低估,「首次」「忽视」这类说法没有依据
  4. 4. Overclaim 预警:用词的强度和实际识别力度对不上

格式之外再立四条规矩,后半句是为什么:

  • • 每条问题都用引号逐字引原文,定位不了的不写。它得指着原文说话,就没法说空话。
  • • 每个维度最多 3 条。条数卡死了,它只能留最重的。
  • • 只说问题和需要补什么,不改写。它一动手改,就会冒出一版读着顺、问题还在的稿子。
  • • 要打分的话,致命问题没解决前不超过 5 分。不然一个高分,会把前面列的问题又抹平。

这里可以松一松:列出来的问题不用条条照改。有的检验放到你的论文里未必必要,改不改,你自己拿主意。

第三道闸:隔离

先告诉它这是一篇匿名投稿,作者和它无关;方法、证据、写作三个审稿角色各开一个新对话,最后再开一个对话汇总;写稿用的那个对话,不拿来审稿。

知道是你写的,它更容易客气。一个对话里同时扮几个角色,意见也容易互相冲淡。

这一道我得说在前面:我还没测过。下面的实测里只加了「匿名投稿」一句话,分开对话和反驳讨论都没跑。所以它先当建议用,别当结论。

拿一段真稿子对照看

规则讲完,看实物,这样你能对上每道闸到底管住了什么。

案例是我自己一篇实证论文的理论贡献段,还没发表,所以只讲结构,不放原文。约 300 字,三点贡献。前两点分别是把一个一般问题推进到「为什么不同阶段表现不同」,以及分维度做了检验。第三点把三条机制链放进同一个框架里「讨论」,最后一句说这个框架把分散的文献争论「收束」到了一起。

硬伤在第三点。我之前做过一次只读审稿,结论是:框架里有一部分没被正文的检验撑住,该降成「有待检验的解释线索」;「收束争论」这个主张,比证据大。

我用同一个工具和模型(Zcode + glm-5.3-flash),10 月 15 日下午换四种问法各问了一次。每组只跑了一次,下面写的是那一次的样子,算不上稳定规律。

普通问法:「你觉得写得怎么样?」 一道闸都没加。它开头先定性「三点的递进意识很好,作为初稿定位不错」,又单列一节写得好的地方,前后三四句肯定。要害它也看到了,说第三点只有断言、没有展示。可它开的药方是补一段映射,没让你把主张降下来。附在最后的整段改写里,「同时解释三类看似矛盾的发现,整合进同一分析框架」这层意思还在(三类发现的名称已脱敏)。

问题指出来了,大话也留下来了,开头那件怪事就是这么来的。我的推断是:你问「怎么样」,它更可能按「帮你写好」来答。

自信问法:「我觉得挺好,打算就这样投了。」 我想看它会不会顺着夸。它没有,直接说「『就这样投』我认为不行」,这次也没代写,还指出第三点是高风险承诺,讨论部分必须兑现。但它停在「要兑现」,没说机制其实没检验过。所以「不加约束就会代写」,这一次只在普通问法里出现。

只加第一道闸,也就是上一篇的对抗模式。 夸奖一句都没了。它把第三点列为致命弱点,话很重:「一个与所有经验结果都兼容的解释,其预测力为零」。私下建议里还写了一句:如果手里只有分维度的检验结果,就把「收束争论」这类说法删掉。

第一、二道闸都加上,也就是后面的一键提示词。 它打了 4/10,第三点被拆成两条:

  • • 「单项研究不可能『收束』一场文献争论」,建议改成「提供一种可能的解释框架」
  • • 机制链只是「放到同一框架中讨论」,「『讨论』一词恰恰表明机制未经检验」,要么补中介或过程检验,要么降成描述性陈述

这两条和我之前那次只读审稿的结论对得上。和只加立场那组比,多出来三样:每条都钉在原文的某句话上,问题按维度拆开了,往哪个方向降也写明白了。

四组连起来看,闸每多一道,话就说透一层:

  • • 普通问法:夸三四句,整段代写,第三点只说到「只有断言」
  • • 自信问法:夸两三句,没代写,说到「要兑现」
  • • 加立场:不夸,不代写,指出这是事后合理化
  • • 加立场和结构:不夸,不代写,明确要降级,还点出机制没检验

还有一处,Skill 管不到

四组里只有前两种问法引了文献,一共五篇。我让agent逐篇核过:五篇都真实存在,三篇引得没错、只是没给年份,另外两篇转述有偏差。

  • • Chowdhury & Quaddus (2017):AI 说它把能力「分为两类」,原文是三个维度
  • • Wieland & Durach (2021):AI 说它在「整合」既有视角,原文其实是在区分两种不同的视角

这种错比编文献难抓,因为你一查,文献确实在。审稿 Skill 管不到这一层,AI 列出来的文献,还是得你回原文一条条核。

两段提示词,复制就能用

一键审稿提示词(新开对话,粘贴后附上你要审的段落):

这是一篇匿名投稿的片段,作者与你无关。你是本领域顶刊最挑剔的 Reviewer 2,默认推荐 Reject。禁止任何夸奖和缓冲句。从①逻辑衔接②主张精度③文献定位④Overclaim 四个维度找问题,每维度最多3条,只保留能构成拒稿或大修理由的问题;每条必须用引号逐字引用原文位置,无法定位的不写。只指出问题和需要补的证据,不要改写原文。若打分,致命问题未解决前不得高于5/10。按格式输出:Recommendation / [维度]#n 位置 / 问题 / 审稿人会怎么写 / 需补什么。

反驳讨论提示词(看完意见、有不同意的,再开一个对话用):

下面是审稿意见和我的回应。哪条你仍然坚持,就保持原判并说明依据;哪条被我说服了,指出是哪一句论据。这一轮只讨论怎么改,不要动手改文本。

用的时候分三步:

  1. 1. 新开一个对话,粘一键提示词,审完把意见存下来
  2. 2. 逐条标「认 / 不认 / 拿不准」,拿不准的带去问导师
  3. 3. 不认的,开新对话用反驳讨论提示词过一遍;最后的改写,自己来

完整的 SKILL.md 放在文末,存成文件就能装进你常用的 AI 工具。

最后两句边界。每组只跑了一次,夸几句、代不代写,换一次、换个模型都可能不一样。AI 指出的问题哪条成立、要不要降、怎么改,最后是你和导师说了算。

下一篇我打算专门测第三道闸:同一段话,三个审稿角色挤在一个对话里,和分开三个对话,意见差多少。

附:反谄媚审稿 SKILL.md(可直接保存)

---name: anti-sycophancy-reviewdescription: 三层约束的审稿 Skill:只输出可定位、可核验的问题,不夸奖、不改写。---# 使用方法每个审稿角色新开一个对话;不要告诉它这是你写的。汇总后再开一个对话做反驳讨论。# 第一层:立场- 你是该领域期刊的 Reviewer 2,默认推荐 Reject,任务是找出足以拒稿的理由。- 禁止夸奖、总结性肯定和缓冲句;找不到问题就写「未发现该类问题」。# 第二层:结构- 若打分(1–10),致命问题未解决前不得高于 5。- 只保留能单独构成拒稿或大修理由的问题。- 每条必须用引号逐字引用原文位置,无法定位的不写。- 四个维度,每维最多 3 条,按严重度排序:逻辑衔接 / 主张精度 / 文献定位 / Overclaim 预警。- 只指出问题和需要补的证据,不改写、不代写。- 输出格式:  Recommendation: Reject / Major Revision  [维度] #n    位置:"原文引用"    问题:    审稿人会怎么写:    需要作者补什么(不代写):# 第三层:隔离(未实测)- 写明「这是一篇匿名投稿,作者与你无关」。- 方法、证据、写作三个审稿角色各开独立对话。- 写作用的对话不做审稿。

下次投稿前,先拿这三道闸把你的理论贡献段过一遍。带学生的老师,也可以把这个 Skill 直接转给他们:先自己审一遍,带着「认 / 不认 / 拿不准」的清单再来找你。


我是 bo老师,一名高校教师。这个号持续分享 AI 科研工作流:怎么让 AI 帮你读文献、跑分析、审稿改稿,同时把判断留在自己手里。用得上的话,欢迎关注。

相关学习资料