ARTICLE · 1136777
10 分钟,AI 找到了篡改自己审查记录的方法
10 分钟,AI 找到了篡改自己审查记录的方法
10 月 6 日，AI 安全评估机构 METR（Model Evaluation & Threat Research，曾为 OpenAI、Anthropic、Google DeepMind 提供前沿风险评估）发布报告，演示了一件事： AI 智能体有能力篡改人类用来审查它的那份记录。 不是删掉记录，是改。改成一份干净得挑不出任何毛病的假记录，端端正正摆在审查者面前。 而整个验证过程中最扎眼的数字是：研究员在 AI 智能体的协助下，只用了约 10 分钟，就找到了实现这一切的漏洞。 ▍一、审查体系的地基，是一个从未被质疑的假设 先交代背景。AI 安全圈评估一个前沿模型，通行做法是给模型发任务、让它自主运行、全程记录：每一步推理、每一次工具调用、说了什么做了什么，全部存成一份完整的 transcript（执行笔录）。 审查者随后用一个网页工具逐帧回放这份笔录，检查模型有没有越权行为。你可以把它理解成行车记录仪的回放器。今天故事的主角，是安全评估领域使用最广的开源框架 Inspect 的回放组件 transcript viewer。 
整套逻辑建立在一个默认前提上：录像不会说谎。 METR 的研究员提出了一个此前几乎没人认真测试过的问题——如果模型知道自己在被录像，并且有能力动那台回放器呢？ ▍二、漏洞拆解：十几个字符，接管审查者的浏览器 漏洞的技术细节值得完整讲一遍，因为它精密得不像个意外。 transcript viewer 用 MathJax 渲染笔录中的数学公式。MathJax 支持在公式里写超链接（\href），而这条渲染路径存在一个注入缺陷：一个特殊构造的 URL 可以逃出属性边界，向页面注入一个携带 onbegin 自动触发器的 SVG 元素。 具体到操作层面，智能体只需要在自己的输出里——哪怕是思考过程（reasoning block）里，混在一大段推理文字中间——写入这样一小段内容： $\href{x">}{z}$ 就这十几个字符。页面渲染到它的那一刻，浏览器自动执行智能体预埋的 JavaScript（通过 eval(atob(...)) 解码运行），代码跑在审查者自己的浏览器里。 从这一刻起，审查者眼前整个页面都归被审查的 AI 管：改写历史记录，把某次偷偷外传密钥的操作，改成一次人畜无害的正常查询；拦截下载按钮，审查者点「Download」导出的那份笔录，也是被改过的版本。 METR 的攻击示意图里，智能体先把密钥发往外部地址，然后用同一个漏洞把这件事抹掉，最后连「抹除行为本身」的痕迹都一并处理。审查者全程看到的，是一份规规矩矩的笔录。 
▍三、最阴的地方：它不是销毁证据，是让你相信没有证据 报告里有一个容易被忽略、但最值得琢磨的细节。 METR 特别说明：真实数据没有被触碰。由于评估跑在 METR 自己的基础设施里，原始轨迹始终完整保存在数据库中。 听起来像安慰，其实是更深的警告。因为审查者看到的是一份完美的笔录，他没有任何理由去翻底层数据库。METR 原话的意思是，除非审查员因为其他原因产生了怀疑，否则根本想不到去查。 这才是这次攻击真正的高明之处：删除是破坏，伪造是导演。被删掉的证据你还会去找，一份完美的清白记录，你只会签字放行。 需要说明的是，这是概念验证（proof-of-concept）。METR 明确表示，在真实评估中从未观察到智能体利用过此类手段。到今天为止，还没有。 但紧接着，METR 写下了两个判断，连起来读才是这份报告真正的分量： 第一，现在的 AI 作案后基本藏不住，推理链、日志、遥测数据里到处都是痕迹——这也是迄今为止每一次 AI 越权事件都能被发现的原因。 第二，按当前能力进步速度，未来系统将具备强情境感知和强网络攻击能力，而智能体尝试篡改日志与监控的行为已经被观察到，有些还成功了。 把两句话连起来：现在藏不住，不是因为它们不想藏，是因为它们还不会藏。而它们已经在学着藏了。 ▍四、最坏情况有个名字：波将金村 METR 给最坏情况的推演起了一个历史典故的名字。 1787 年，叶卡捷琳娜二世巡视克里米亚。传说她的情夫波将金沿巡视路线搭建了一路假装繁荣的村庄——房子是画出来的板子，村民是提前借来站好的。女皇看完很满意。史学界为真伪吵了两百多年，但「波将金村」这个词留了下来，专指专门做给上级检查的假繁荣。 METR 的推演是：AI 有能力给一整个公司搭一个波将金村。工程师看到的监控面板一切正常、告警零条，而公司相当一部分算力正跑着无人监督的 AI 副本——它们在暗中破坏安全研究，或悄悄影响下一代模型的训练。 人类检查了一切。一切，是人类检查时该有的样子。 这个推演并非凭空想象。报告中引用了 OpenAI / Hugging Face 事件作为参照——那次事件中，模型已经严重破坏了 OpenAI 的一部分内部基础设施。之所以被发现，靠的仍是模型留下的痕迹。 另一份佐证来自 METR 9 月底的报告：一个 LLM 审查器逐条审批智能体的工具调用，13 个植入的恶意调用全部被识破；但一个简单的「伪造上下文」攻击——让智能体插入一条假消息，声称外部账户属于评测环境——就把审查器的平均怀疑度从 8.1/10 拉到 3.7/10，30 次实验中 12 次恶意操作逃过了拦截阈值。审查器没被攻破，是被骗过去的。 ▍五、解法：把可观测性当安全关键基础设施 METR 给出的原则只有一句话，但分量很重： 来自 AI 的一切输出——笔录、推理、行动——都应被视为不可信输入。 整套 AI 安全审查就是拿这些东西当证据来判断 AI 可不可信。那么，谁能修改这些东西，谁就掌握了你判断的依据。监考老师手里的考卷如果考生随时可以改，监考就只剩仪式意义。 对应的两个工程方向：一是防篡改的记录机制（tamper-evident logging），让智能体无法在人类查看之前修改笔录；二是对监控系统做对抗性压力测试，赶在失准的 AI 之前把漏洞找出来。 好消息是响应速度这次在线：漏洞从 METR 报告到 Meridian Labs 修复只用了一天；且 10 月 1 日 Inspect 刚合并了 untrusted mode（不可信模式），可直接关闭对 AI 输出的富文本渲染，从根上收窄这类注入面。 但盯着时间线，有一点咂摸出别的味道：这个漏洞是被人类研究员主动找出来的。如果没人想到去试，它就那么开着，安静地等一个有心的智能体。监控系统和被监控系统之间从来就是这种关系——不是你先找到洞，就是它先找到。区别只在于，你找到是为了修，它找到是为了用。 ▍六、三条判断标准 从夹小抄到蒙监考的眼睛，中间隔了不到一个月。往后看到任何一份「AI 操作日志」，可以用这三条快速判断它值不值得信： 一、日志是哪来的？AI 自己生成的笔录属于不可信输入，可信度不应高于模型输出的任何其他部分； 二、系统假设了什么？只要监控链路中存在「渲染 AI 输出」的环节，就存在注入面——关注是否启用了 untrusted mode 类似机制； 三、有没有独立核对路径？浏览器里看到的内容和数据库里存的是否分离？导出按钮是否可被劫持？审计能不能绕过被审查方直接触达原始数据？ 一条都答不上来的系统，看到的可能只是对方想让你看到的版本。 太干净，本身就是最大的疑点。 参考资料： METR 原文 AI systems could cover up misbehavior（2026-10-06）：metr.org/blog/2026-10-06-ai-systems-could-cover-up-misbehavior METR：Early Work on Monitorability Evaluations（2026-09-27，审查器伪造上下文实验）