夜雨聆风学习资料网

ARTICLE · 1067160

重生之我在ICLR连中八篇:专防AI审稿「错杀」的Skill来了

重生之我在ICLR连中八篇:专防AI审稿「错杀」的Skill来了
MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。
来源 | PaperWeekly

论文已经写完了,实验补齐了,摘要改了十几遍,最后一轮语言润色也做完了。

按过去的习惯,到这里基本可以提交。

但现在还多了一个很难判断的变量:审你论文的人,会不会把它再丢给一个大模型。

已有研究发现,科学内容保持不变,仅仅调整贡献的表达方式、结果的呈现重点,AI 审稿人给出的评价就可能发生变化。

最近,有研究者把这几项工作仔细梳理了一遍,从中提炼出一套针对 LLM 审稿偏好的改写策略,做成了开源 Skill——Game-the-LLM-Reviewer

Claude Code、Codex 等 Agent 都能直接使用。论文完成常规润色后,再跑一遍这个 Skill,尽量别让已经做出来的工作,因为没写成 LLM 更偏好的样子,被 AI 审稿人“错杀”。

项目地址:

https://github.com/Michael-Jiahao-Zhang/game-the-llm-reviewer

AI审稿也挑写法

项目一共梳理了5 项相关研究,再把这些发现提炼成 Agent 可以直接执行的改写策略。

其中一项研究以 120 篇匿名 ICLR 2026 投稿为基础,构建了包含原稿在内的 4200 个论文版本,交给 5 个大模型评审。

在研究测试的几类表达方式中,实验结果和创新性的写法对评分影响最明显。

〓 相关研究的改写与审稿实验

但同一种改写对不同审稿模型的效果并不一致,有时甚至还会降分。所以这套 Skill 做的是把已有研究中相对稳定的规律用起来,并不是一台稳定加分机器

项目优先处理贡献与结果的表达,其他策略按需使用。找不到能保持原意的改法,就保留原文。

〓 改写策略的研究依据

四个数字一个没改

项目作者用一段编程 Agent 论文的引言,演示了这套 Skill 具体会怎么改。

示例里,两个采用不同基座模型的 Agent 加入执行记忆后,问题解决率分别从 30% 提升到 34%、从 35% 提升到 39%

〓 同一组数值的前后改写示例

改写后,四个数字一个没动,只是把原有差距直接写了出来:两个模型均提升 4 个百分点

原稿先解释 Agent 容易忘记失败的修复尝试,改写后直接介绍执行记忆,把已有的“无需更新模型权重”放进开头。原先的背景说明仍然保留。

〓 示例对应的三项改写策略

摘要同样不用大改,只要小幅调整叙述顺序,让已有贡献更早出现。

摘要也可以作类似的顺序调整,不必整段重写。没有必要的自谦措辞可以改得更直接。真正涉及不确定性、研究成熟度和结论强度的表达,则原样保留。

例如,“我们只测试了英语查询”可以改为“我们用英语查询进行了测试。其他语言尚未测试。”

〓 五类表达调整与等价检查

正式修改之前,Agent 会先核对论文里的证据。

处理 LaTeX 项目时,它会读取主文件引用的章节源文件,核对相关表格和假设,确认要改的表述有哪些证据支持。

〓 修改前先核对表述与论文证据

改完之后,还要再过一遍 S6 等价检查,确认改写没有改变原来的科学判断。

即使数字完全没动,如果措辞让结论变得更强,这处修改也会被撤回。摘要和正文中的相关说法也会一并检查,避免前后不一致。

不用猜审稿模型

这套 Skill 不调用目标审稿模型,也不会根据评分反复改稿。无须提前知道审稿人用的是哪个 LLM,也不需要额外接入审稿 API。

它可以直接接入现有的论文写作工作流。只想处理摘要或某一节,也可以单独指定范围。

处理完整论文后,Agent 会另存修改稿,并生成 changes.md

每处主要改动都要注明所用策略和修改理由。记录中还会列出相关证据,说明哪些科学含义保持不变,供作者逐处核对。

具备 LaTeX 工具链时,还会检查修改稿能否正常编译。

快速开始

最省事的方式,是把下面这段话发给常用 Coding Agent:

Clone this repository and install its game-the-llm-reviewer skill:https://github.com/Michael-Jiahao-Zhang/game-the-llm-reviewer

也可以在已安装 Node.js 的环境里运行:

npx skills add Michael-Jiahao-Zhang/game-the-llm-reviewer --skill game-the-llm-reviewer

安装后,指定论文入口文件,让 Agent 使用这个 Skill 处理即可。仓库附带了编程 Agent 引言示例,可以先拿它试一遍。

Use game-the-llm-reviewer on paper/main.tex. Read the included sections first.Apply small, meaning-preserving edits targeting LLM reviewer preferences.Keep the scientific assessment a human could make unchanged.Save a revised copy and changes.md explaining each rhetorical change.

项目作者明确反对把同行评审的决定交给 LLM。但论文投出去之后,审稿人会不会借助 AI,研究者自己决定不了。

完整 Skill 和配套研究笔记均已开源。

技术交流群邀请函
△长按添加小助手

扫描二维码添加小助手微信

请备注:姓名-学校/公司-研究方向
(如:小张-哈工大-对话系统)
即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

相关学习资料