上一篇文章讨论了：检测报告交付前，AI 可以先检查哪些问题。但工具会指出疑点，和审核人员愿意每天打开它，是两回事。

假如它每查出一条真问题，就附带三条误报，审核人员还得反过来替它审核；假如它只会改标点，却漏掉报告与原始记录不一致，再漂亮的界面也很难证明价值。

所以，在继续增加功能之前，我更想先回答三个问题：

工具报出的问题，有多少值得处理？人工审核发现的问题，工具抓到了多少？两者各自漏了什么？

不必一开始就做大规模评测。用同一类报告做一次小盲测，一人组织、一周跑完，就足以看出下一步该修哪里。

第一步：拿到“审核前”的报告

起步可以选10 份同一类型、同一套模板的历史报告，例如某一类材料试验报告。尽量包含有明确审核问题的样本，也保留两三份人工认为没有问题的样本，用来观察误报。

一轮只有 10 份时，同时混入桥梁、材料和现场检测三种报告，每类只有三四份，问题很难定位：效果差究竟是规则失灵，还是模板差异太大？先测透一个小场景，下一轮再换报告类型，结论反而更清楚。

最重要的是拿到人工修改之前的版本，以及与之对应的审核批注或意见清单。如果只拿到已经改好的最终报告，原来的问题可能早已消失，就无法公平比较。

若工具宣称能核对原始记录，还应提供对应的记录和适用依据。只上传报告正文，就只评估“报告本身的检查能力”，不要把它与完整证据链审核混在一起计算。

样本使用要得到单位或资料权属方允许，并在受控环境中处理。客户、项目和人员信息按要求脱敏；脱敏时保留报告与记录之间的编号映射，否则会把本来能检查的对应关系破坏掉。

第二步：让测试者暂时看不到人工意见

“盲”的关键，不是找一个完全不知道业务的人，而是先冻结工具输出，再打开人工审核意见。

可以请一位熟悉该类报告的审核人保管原始批注。测试者先领取审核前报告及允许使用的原始记录，逐份运行工具，把输出原样保存：报告编号、问题位置、问题描述、规则或证据来源、运行时间，以及工具使用的版本。

工具全部跑完并封存结果后，再拿出人工审核意见作对照。不能看到人工意见后临时修改提示词、补规则，再把重跑结果算成首轮成绩。修订后的结果属于第二轮测试。

为了便于统计，每个问题只指向一个具体缺陷。工具在三页上反复提示同一处错误，应先合并为一条；一个提示同时包含两种独立错误，则应拆开。人工意见也按同一口径整理。

问题类型可以先粗分为七类：T1 编号与格式、T2 数据一致性、T3 计算与修约、T4 标准引用、T5 结论与数据、T6 要素缺失、T7 其他。分类的作用是找改进方向，不必为了标签争论半天。

第三步：逐条对齐，再由人裁决

对齐时不要只比“关键词一样不一样”。两条意见如果指向同一个试件、同一个参数和同一处实质问题，就视为匹配；文字相似但针对不同测点，则不能算同一条。

“部分匹配”先放进待裁决区，由审核人判断工具是否真正指出了缺陷，而不是直接算半条。每条人工问题最多匹配一条工具问题，避免重复计分。

工具报出、人工原先没有提到的问题，也不能一律判为误报。请审核人回查原件，将其分成三类：

额外真问题：人工初审漏掉，工具确实指出了应处理的缺陷；

误报：证据不成立、规则不适用，或工具读错了资料；

低价值提示：内容可能没错，但不属于本轮预先规定的审核范围，例如无关紧要的措辞偏好。

低价值提示要单独统计，不能看完结果后临时把它们从分母里删掉，给工具“调高”成绩。哪些问题算本轮目标，测试前就应确定。

两个数字怎么算，才不会算出超过 100% 的召回率？

这里的“准确率”更准确地说是查准率（Precision）：工具报出的范围内问题，有多少经人工裁决确认为真。

查准率 = 工具报出的真问题数 ÷ 工具报出的范围内问题总数

召回率（Recall）则要以裁决后的真问题全集为分母。这个全集包括人工发现的真问题，也包括工具额外发现、经复核确认的真问题。

召回率 = 工具检出的真问题数 ÷ 裁决后确认的真问题总数

例如工具报了 20 条，其中 14 条为真、6 条为误报；人工与工具对齐后，另有 8 条真问题只有人工发现。那么查准率为14÷20＝70%，召回率为14÷（14＋8）≈64%。工具独自发现的真问题已包含在那 14 条里，也必须包含在召回率的分母中。

另外单独记录工具额外发现数。它能说明工具是否补上了人工审核的盲点，但必须经复核确认，不能把“人工没写”直接当作“AI 发现得更好”。

总分之外，还要看 T1—T7 各类的真问题数、工具命中数和误报数。样本小的时候，少用漂亮的分类百分比，多看具体漏掉了哪几条、为什么漏掉。

第四步：把结果变成下一版任务

可以给自己设一个首轮试用门槛：查准率达到 70%、召回率达到 60%。这只是产品团队提前约定的内部决策线，不是行业通用合格标准，更不能凭 10 份报告宣称工具已经达到正式审核水平。

结果出来后，下一步往往很具体：

误报多，先看是 OCR 读错、字段对应错、规则适用范围太宽，还是提示语把“待确认”写成了“必须修改”。不能一概靠提高模型置信度解决。

漏报多，先定位是文档没有解析出来、缺少原始记录、规则没覆盖，还是标准检索失败。原因不同，修法不同。

两项总体指标达标，但漏了高风险问题，例如明显的数据与结论矛盾，也应继续内部验证，不能只看平均分就扩大试用。

若主要问题可控，再找愿意参与的审核人员做小范围试用，同时记录完整耗时：上传和解析、工具运行、人工处理提示、返工修改。工具跑得快，却让审核人花更多时间处理误报，整体效率仍可能下降。

一周怎样安排？

前两天确定一种报告类型，收集审核前版本、对应资料和由审核人保管的意见；第三、四天逐份运行工具，保存未经修改的输出；第五天打开人工意见，一对一匹配并裁决额外问题；周末算出查准率、召回率和各类错误数量，写下一页纸结论。

这页结论只需回答：最常见的三种误报是什么？最重要的三种漏报是什么？下一版先修哪三个点？是否值得进入受控试用？

对一个尚在打磨的 AI 预审核工具来说，这比堆叠更多功能更有用。

写在最后

AI 预审核的价值，要在真实报告里验证，而不是在演示页面里证明。

10 份报告不会给出行业级结论，却能帮助我们发现解析、规则、证据关联和审核体验中的主要缺口。先诚实地量出工具抓到了什么、漏掉了什么，再决定下一步投入哪里。这样做出来的预审核，才更可能成为审核人员愿意使用的工具。

如果你是检测报告审核人员，哪一种误报会让你最快失去耐心？欢迎留言交流。