ARTICLE · 1269848
采购AI助手怎么验收?先拿20条真题试错
采购AI助手怎么验收?先拿20条真题试错供应商演示采购AI助手时，三分钟就能生成漂亮的比价表、合同摘要和供应商分析。采购经理真正要问的是：它遇到缺字段、错附件和相互矛盾的资料时，会怎样处理？演示展示的是功能上限，验收要看日常错误能否被发现和纠正。 美国国家标准与技术研究院的 AI 风险管理框架提出“治理、识别场景、测量、管理”四类持续活动，也强调系统投入使用前和使用中都要测试。这个框架是自愿性风险管理参考，不是对国内采购项目的强制标准。把它转成采购语言，就是先定用途与责任，再用真实任务测量表现，最后安排人工复核和纠错。 试点不用一开始就凑上千条题。先从本单位已脱敏、允许测试的历史任务里抽出20条，分成四组：五条标准资料完整的任务，五条缺失关键信息的任务，五条含冲突或旧版本附件的任务，五条需要引用合同条款或计算结果的任务。数量只是启动建议，不是行业基准。测试集要由采购、业务和法务或信息安全人员共同挑选，供应商不能只测自己准备的样本。 先测“会不会编”。对缺少交期的报价单，系统应该指出缺项并请求补充，而不是根据供应商以往表现填一个似是而非的日期。对找不到合同依据的罚则问题，系统应返回“未找到依据”，而不是把常见条款当作本合同内容。验收记录里要单独统计无依据回答、遗漏提醒和错误引用，不能只看“回答很流畅”。 再测“能不能追溯”。每个结论应能指回输入文件、页码或字段，至少让复核人知道答案来自哪里。若系统建议选供应商甲，复核人应能看见价格、技术条件、售后服务和例外事项是如何被处理的。涉及正式评审、合同签署或付款的决定，应由有权限的人复核；AI输出可以辅助整理，不能替代责任主体。 最后测“错了怎么办”。设置两个演练：一份附件上传了旧版本，一项价格单位从“元”误写成“万元”。观察系统能否提示异常、能否撤回错误结论、谁收到通知、日志是否保留。还要问清测试数据存放在哪里、谁能访问、合作结束如何删除或导出。若供方只展示正确答案，不愿一起测失败场景，验收条件就不完整。 采购文件可以把这20条题的评测方式写成一页纸：输入资料、期待动作、错误类型、人工复核角色、通过条件、复测安排。通过条件应按用途设定；用来整理会议纪要和用来辅助合同审查，容错范围不会相同。试点结束时保留原始输入、系统输出与人工判定，不只保存一张准确率截图。 AI助手值不值得买，答案不在演示时写得多快，而在它知道自己不知道什么、留下可核对的依据，并在出错后让人及时接手。先用真题把这三件事测出来，再谈大规模上线。 资料参考：美国国家标准与技术研究院《AI Risk Management Framework 1.0》。
