ARTICLE · 1239741
AI 审合同,我们故意留了 22% 的误报
AI 审合同,我们故意留了 22% 的误报
"召回 96%，误报 22%。误报能不能降到 5%？" 我们说能。 然后补了一句：召回会掉到 78%。 会议室安静了十几秒。 法务场景里，两类错误的代价完全不对称： 漏检——红线条款没提示出来，合同签了。可能是无限责任、单方解约权、放弃追偿。潜在百万级损失，而且不可逆。 误报——提示了一条其实没问题的条款。法务看一眼，判断"这条没事"。30 秒。 比率大约1 : 20000。 在两万倍的代价差面前，优化准确率这件事本身就没有意义。 所以我们把指标定死了：只看召回率。准确率是成本项，不是目标。 这句话听着反直觉。但只要客户认了这个账，后面所有设计都顺了。 
跟了 6 位法务 3 周： 条款审查：31% 与业务方沟通（解释为什么不能这么签）：38% 修改与二次审：22% 归档与台账：9% 审查只占三成。这个数据很容易让人得出一个错误结论：去做沟通辅助工具。 这是个陷阱。 沟通的前提是审查结论可信。审查做不准，后面全是空转——你会花大量时间去解释一个错误的风险判断，比不提示更糟。 所以还是得先把审查做扎实。只是要清楚：这一步的天花板是 31%，别向客户承诺 70% 的效率提升。 承诺了做不到，后面所有事都不好谈。 技术上做得到，责任上做不到。 合同审查是法律意见，出了事要有人担。系统可以给"线索"，不能给"意见"。 所以分工是这样的： 系统：标出命中条款、给风险等级、附标准修改话术、全程留痕 人：判断是否实质风险、决定是否接受、决定怎么改跟谁谈、签字 系统的定位是"初级律师的第一遍筛子"，不是"最后一道关"。 说成后者，就是害客户。 这句话我在项目启动会上说了三遍——因为只要客户误以为它能兜底，后面出了任何问题，都是我们的。 规则库不是模型，是可审计的资产。法务可以随时点开看某条提示为什么触发，也能自己加规则。 
分级设计决定这套东西会不会被烦到弃用： 禁止签署（12 条，10%）：出现即不可接受，置顶展开，红色，必读 须修改（58 条，48%）：可以谈，但原则上要改，橙色，默认展开 须提示（50 条，42%）：风险可控，但要业务方知情，灰色，默认收起 为什么必须分三级：如果 120 条全部红色置顶，法务三天就会开始无脑滚动。 提示强度必须匹配风险等级，否则等于没有提示。 每条规则写五个字段，这个结构可以直接抄： 触发条件：条款里出现什么表述时触发。比如"无限责任""承担一切损失""不受金额限制" 判断要点：人该怎么看。看有没有责任上限、上限是否与合同金额挂钩 标准话术：建议怎么改。"建议将责任上限约定为合同总金额的 100%" 依据：法条、司法解释或内部制度 等级：禁止 / 须改 / 须提示 "依据"这一栏最容易被省掉，但它决定了法务信不信这个系统。 一条说不清依据的规则，等于让法务去跟业务方吵架时手里没牌。吵一次输一次，第三次他就把系统关了。 这一点所有做过合同类项目的人都会同意：模型不是最难的，格式是。 客户合同来自 300 多家供应商，什么都有： 标准 Word：42%，直接解析，成功率 99% 清晰扫描件 PDF：31%，版面还原 + OCR，94% 低质图片型 PDF：14%，OCR + 人工校对，88% Word 修订模式：9%，接受/拒绝修订后解析，85% 附件中嵌图片（技术协议）：4%，没法处理，转人工，0% 格式处理占了整个项目 55% 的工作量。 不提前算进去，工期一定崩。而且崩掉的时间不花在"让 AI 更聪明"上，花在"让 PDF 能被正确读出来"上。 这活没有技术含量，但省不掉。 我们拿 500 份合同做了人工标注，测了三档：
法务单份耗时只差 3 分钟，但召回差了 18 个百分点。 这 18 个点，就是 18% 的合同里可能藏着的无限责任条款。 账一算，客户当场就同意了。 顺带说一句：如果当初按"准确率 95%"立项，这个项目一定会做成一个召回 78% 的东西，然后被法务弃用。 三个机制，全是为了对付同一件事——提示疲劳。 一、分级折叠。禁止级永远展开，须提示级默认收起。让注意力自动流向最重要的地方。 二、同类合并。同一份合同里，同一类型条款只提示一次。5 处类似的付款条款，合并成一条："本合同中 5 处付款条款均缺少逾期违约责任。" 三、规则健康度监控。这是最容易被忽略的运维动作： 单条规则采纳率 ≥ 60%；低于 30% 连续两个月，这条规则要改 提示平均处理时长 ≤ 8 秒；超了说明提示写得看不懂 禁止级提示漏读率 = 0；任何漏读都是设计事故 规则库月更新条数 ≥ 3；为 0 是危险信号 最后一条：规则库不更新就是腐化。 法规在变、业务在变、供应商在变。一套两年没动过的规则库，误报率会自己涨上去——然后法务开始全部忽略，系统就死了。 一个还在给提示但已经没人信的规则库，比没有规则库更危险。 
6 个月，覆盖 6800 份采购合同。 效率：单份初审 45 分钟 → 12 分钟；业务方返工轮次 2.4 轮 → 1.5 轮。 质量：红线条款召回率 96.2%（人工抽检 500 份复核）；误报率 22%，法务确认为"不必要的提示"。 能力：法务人均年审合同量 +180%；规则可自主维护，新增规则平均 2 天上线；高频问题条款反馈到采购端，把谈判前置了。 但有一件事必须说清楚： 漏掉的 3.8%，恰恰集中在最复杂的合同上。 非标框架协议、手写补充条款、附件里的技术协议。这不是偶然，是必然——这些合同结构乱、格式差、条款写法自由，本来就需要人看。 所以这套系统解决的从来不是"最难的那批"，是"大量重复的常规合同"。 把常规的 90% 快速筛完，法务才有时间看那 10%。 误报 22%，长期用会有提示疲劳，法务可能形成"反正都要看"的习惯，反而降低效率 只覆盖采购类 6 类标准合同，框架协议、战略合作协议效果明显下降 手写补充条款、图片型附件基本无法处理，要人工全量复核 规则库依赖 1 位执业律师，这是单点风险（那位律师后来确实离开了项目组） "漏检导致的实际损失变化"没有验证 ，这类数据客户不会给，也没法构造 不是 45 分钟到 12 分钟。 是120 条写着依据和话术的规则，法务自己能加、能改、能查。 那位顾问律师后来离开了。但每次业务方来吵"为什么这条不能签"，法务打开系统，点开规则，把依据那一栏给他看。 争论从"我觉得"变成了"制度这么写的"。 这是我们做过的最不像 AI 的 AI 项目——模型只占一小部分，剩下的全是条款、依据、话术和责任边界。 但它上线两年后还在用，规则库从 120 条长到了 180 多条，全是法务自己加的。 做这类项目，我们有一个越来越硬的判断： 指标怎么定，取决于两类错误的代价对不对等。 漏检和误报差两万倍的场景，优化准确率是错的。反过来说，如果误报代价更高（比如医疗提示、风控拦截），策略要整个倒过来。 没有通用的最优阈值，只有匹配你业务代价结构的阈值。 想清楚这一点，比调参重要得多。 我们做企业 AI 落地，主要接强监管、内网离线、高责任判断这三类活。如果你们也在做合同、报告、审核这类"高责任"场景，最想聊的应该是指标怎么定——欢迎评论区说说你们的漏检和误报，代价差多少倍。
上线汇报那天，客户盯着一个数字问了半小时：
一、为什么我们建议不要降
二、法务的时间，只有三成花在审合同上
三、我们不做"AI 出审查意见"
四、120 条红线规则，分三级
五、真正的工作量：格式占了一半以上
六、阈值不是拍的，是测出来的
策略 | 召回率 | 误报率 | 法务单份耗时 |
高召回（上线用这个） | 96.2% | 22% | 12 分钟 |
平衡 | 92% | 13% | 11 分钟 |
高准确 | 78% | 5% | 9 分钟 |
七、误报 22% 怎么管：它不是 bug，是成本
