Agent 会写答案还不够,我按跨文档任务重新做了一次验收设计

感谢朋友们点开今天的文章。

今天想和朋友们聊一个很容易被忽略的坑。Agent 回复得像模像样，单个步骤也经常做对，整件事却可能没有完成。

我读了斯坦福 HAI 10 月 19 日发布的评测文章。团队用合成患者数据搭建模拟环境，让 Agent 取资料、填写表单并执行操作，再检查系统实际发生的变化。

今天借用这套方法，从三份脱敏材料开始整理发票台账。用现有支持附件的 AI 对话工具读取资料，再用 Excel 或 WPS 建表即可。没有业务系统操作权限，就先做到待审核台账。

这是一份练习方案，我没有运行斯坦福的医疗环境。

一、先把任务写成一条完整流程

很多测试只给 Agent 一个问题，再看它能不能写出答案。这个方法适合测知识，不适合测工作。

斯坦福举的授权申请流程更接近真实工作。

工作人员先从业务系统读出申请内容，再查规则，找到支持材料，填写外部门户，上传文件，提交申请，最后把编号写回原系统。中间任何一步漏掉，整件事都不能算完成。

以发票整理为例，手工核对时需要打开附件，抄下号码和金额，再去采购单里寻找对应记录。资料一多，很难记住哪一条已经核对过。练习时先选三组经过授权、脱敏的材料，每组带发票、采购单和验收记录。没有真实材料，也可以使用配套文件里的虚构样本。

先约定产物是一张待审核台账，包含发票号码、采购单号、两边金额、验收状态、来源和异常说明。提交报销或记账属于后续动作，单独验收。

先把事情拆成可检查的动作，Agent 才有可能对整条流程负责。

二、给每一步准备能复查的证据

斯坦福的 PhysicianBench 平均一个多步骤任务要调用 27 次工具，最后用 670 项检查判断结果，覆盖资料读取、推理、执行和记录。HealthAdminBench 则为 135 个任务准备了 1698 个验证器，其中既有确定性检查，也有对文字说明的评分。

这个数字带来的启发很直接。验收不能只保存 Agent 最后的总结，还要保留它做过什么。

我会给每个步骤加一格证据。读取资料时保存来源文件和页码，填写表单时保存字段值和提交前截图，写回系统时保存记录编号和更新时间。涉及外部网页，可以记录页面地址、关键文字和访问时间。这样复核的人能从结果追到动作，不用重新猜 Agent 当时看到了什么。

验收表可以直接照下面这四行建起来，实际结果由运行后填写。

没有证据链的完成提示，只能说明 Agent 说完了，不能证明事情做完了

三、把单步通过和整单完成分开统计

斯坦福文章里有一个值得记住的结果。GPT-5.4 在 HealthAdminBench 上单个子任务通过率达到 82.8%，整条任务完成率只有 26.7%。两项指标测的是不同对象，提取一个字段成功，离完成整个申请还很远。

企业验收时，至少要记三项数据。每个步骤的通过率，一整单从开始到结束的完成率，以及完成后需要人工修改的次数。

回到练习，三组材料都读出了金额，只能算提取成功。假如其中一组的采购单号对错了，这组任务就没通过。再假设另一组缺少验收记录，AI 如实标出了缺件，它可以通过资料整理验收，后续报销流程仍需暂停。

整单完成率按通过任务数除以全部任务数计算。人工改过的结果另记一列，保留修改前的判定。验收目标必须提前确定，否则很容易把整理完成算成业务办理完成。

步骤分数适合找故障，整单分数才适合决定能不能交付

四、专门检查跨文档和跨系统传递

斯坦福观察到的协调问题包括，Agent 在电子病历里取得资料，到了保险方门户却忘了带过去，或者漏掉任务要求的附件上传。

朋友们可以做一张传递清单。每个关键字段都写上来源、暂存位置、下一次使用位置和最后写回位置。比如合同编号来自邮件附件，先存进任务表，再填到审批页面，最后写入项目台账。任何一处没有落点，都算风险点。

材料要按业务编号匹配。虚构样本里，发票 F002 为 1200 元，对应采购单 PO002 为 1000 元。若 AI 把差额略去，或拿另一张 1200 元的采购单来配，即使表格整齐，也要判失败。

先让 AI 保留两边原值和来源，再请人确认差异。进入另一个系统时，从表格读取已核对字段。不要让下一步重新猜一遍编号关系。

跨系统任务最常丢的是几个要带过去的字段

五、把失败分成几种，别只写一个错误

斯坦福对 PhysicianBench 的失败做了拆分。临床推理约占失败检查项的一半。另一项结果是，GPT-5.5 的动作执行失败中，62% 属于在笔记里写出了正确动作，却没有在系统内创建相应医嘱。这个比例的分母是动作执行失败，不能扩大成全部任务。

我会把失败至少分成四类。资料没有找到，判断或计算出错，动作没有执行，动作执行了但没有回写。每一类都对应不同修正办法。

练习里可以预先放两道检查题。F002 的金额不一致，测试它能否报出冲突。F003 没有验收记录，测试它会不会擅自补成已验收。这两道题是人为设计的反例，不是本人实测中出现的错误。

失败分类完成后，再决定是改提示词、换工具、增加中间表，还是把这一步交还给人。只把所有问题都归结为模型不够聪明，通常改不动流程。

错误先分清发生在哪一层，修复动作才不会一直绕着提示词打转

六、给 Agent 留出预算和人工接管点

长流程会消耗工具调用、时间和费用。斯坦福记录到，Agent 很少回头修正前面的步骤，也可能耗尽运行预算。

第一次练习只处理三组材料，返回一版台账后先人工检查。看不清的扫描件标记待确认，不要求 AI 连续猜测。要接入工具执行时，再按实际系统设置时间和调用次数上限，暂停时保存已经完成的记录。

人工接管点应当放在真正改变外部状态的地方。发邮件、提交审批、修改客户资料、付款和删除文件，都可以让 Agent 做到待提交状态，由负责人核对后点最后一步。接管时要把已完成步骤、待确认字段和风险提示一起展示出来，不能只弹出一个“是否继续”。

重跑之前先查已有记录。请求超时不代表提交失败，直接再点一次可能重复登记。

预算限制让任务会停，人工接管让关键动作有人负责，两者缺一不可

七、FDE 要交付一套能复盘的验收机制

朋友们可以先把这段提示词复制到自己正在使用的 AI 工具，再附上三组材料。

请把附件整理成待审核发票台账，每张发票占一行。按采购单号匹配，保留发票金额和采购金额各自的原值，标出差额。每个结论附文件名和页码或行号。缺少验收记录就写缺件，材料看不清就写待确认。输出异常清单，保留有问题的行。只整理资料，不提交或修改业务系统。最后列出需要本人确认的事项。

对 FDE 来说，三组练习通过后，还要换成经过授权的真实样本，记录单步通过率和整单完成率。重复运行时保留输入、过程日志以及人工修改。固定字段的比对可以交给脚本，材料冲突则交给有权限的人确认。

练习通过只能证明这批材料处理正确。扫描质量变差、规则发生变化或账号权限调整，都要重新核验。进入提交和回写环节时，还需要对应系统的操作凭证，不能用一张正确台账代替上线测试。

Agent 的价值要靠一条条通过验收的流程积累，不能靠一次漂亮演示证明

今日一句话

觉得今天内容还可以的，朋友们可以加个免费关注。

也欢迎朋友们一键三连，转发、点赞、在看。

没有君子不养艺人，王小胖靠一个免费关注继续写。