把文档交给 AI 之后,真正危险的不是它写错了

把文档交给大模型处理，最麻烦的地方不是它偶尔胡说，而是它会把你的文档慢慢改坏。

这两天 HN 上讨论很热的一篇论文，标题很直接：LLMs corrupt your documents when you delegate。研究者观察的是一个特别日常的场景：你把文档、表格、报告交给 LLM，让它帮你总结、改写、整理、补充。看上去每一步都很合理，但几轮之后，原文里的细节、结构、引用、数字和语气，可能已经不再是原来的东西。

更麻烦的是，很多损坏不是一眼能看出来的。

如果 AI 把一个日期写错，或者编出一个不存在的人名，人类还有机会发现。但如果它只是把一句限定条件删掉，把一个谨慎表达改成确定表达，把几个段落合并后丢掉上下文，你可能会觉得它写得更顺了。

这就是委托的风险。

我们以前用 AI，更多是“让它生成一段新东西”。错了也好处理，因为你默认它是草稿。现在越来越多工作流变成“让它接管已有资产”：改文档、整理会议纪要、重写 PRD、更新知识库、归纳客户反馈。这里的问题不再是生成质量，而是资产保真。

我自己在搭 Agent 的时候，对这种问题会格外敏感。因为 Agent 一旦跑起来，它不是只回答一句话，而是会读文件、改文件、再读文件、再改文件。每一步看着都小，但链条一长，就很像把一份原始资料放进复印机里反复复印。最后那份纸还在，内容也像，但关键细节可能已经糊了。

这里最反直觉的是：更会写的模型，未必更安全。

写得顺，是阅读体验；保留事实，是另一种能力。很多模型特别擅长把破碎内容变成通顺内容，但通顺本身会掩盖损耗。人类读者天然会奖励“读起来像那么回事”的文本，所以坏文档经常不是被发现的，而是被继续引用、继续复制、继续进入下一轮 AI 处理。

这对团队协作很要命。

如果一个公司把内部知识库全接进 Agent，最初的收益会很明显：搜索快了，总结快了，新人问问题也方便了。但如果没有版本控制、引用追踪、差异审查和人工确认，知识库会在不知不觉里变成“AI 以为公司是这样运转的版本”。

听起来有点荒诞，但一点都不遥远。

现在很多团队已经在让 AI 更新 SOP、写周报、整理需求池。问题是，这些东西本来就是组织记忆的一部分。组织记忆被改坏，比一篇文章写错更难修。因为你很难知道是哪一次改坏的，也很难知道还有多少地方跟着坏了。

所以这篇论文给我的提醒不是“别用 AI 改文档”。那太保守，也不现实。

真正该做的是把 AI 当成一个高效但需要审计的协作者，而不是一个可以直接接管资料库的管理员。

比如，重要文档不能只看最终版，要保留 diff；模型改动应该默认可追踪；涉及数字、承诺、法律、医疗、财务的内容，要有明确的人类确认；Agent 写回文件之前，最好先生成变更说明，而不是悄悄把文件覆盖掉。

更进一步说，未来好用的 AI 工具，竞争点可能不只是“模型更聪明”，而是“它有没有把保真做成产品能力”。

比如引用能不能落到原文段落，修改能不能解释原因，能不能标出低置信度区域，能不能在多轮修改后提醒你：这份文档和原始版本已经偏离太多。

这些听起来都不性感，但很实用。

我越来越觉得 Agent 的核心不是“让它干更多事”，而是“知道哪些事不能让它静默地干”。

这可能是接下来所有 AI 办公产品都绕不开的一课。不是模型会不会写，而是你敢不敢让它改。