夜雨聆风学习资料网

ARTICLE · 1108305

AI报告没出处,敢交吗?一份检修报告,如何用“三道锁”限制大模型

AI报告没出处,敢交吗?一份检修报告,如何用“三道锁”限制大模型

设想你在审核检修报告:AI把原因分析写得头头是道,可你追问“这条判断从哪来”,却找不到对应依据。设备数据、命中规则和历史案例都已备齐,报告也写完了,你敢让它进入下一步吗?

这套方案有个反直觉的要求:大模型只做语言组织与推理表达,不引入外部知识。材料再齐、模型再会写,也不能把证据的空白补成结论。前文谈过结论信不过和说错一句话的代价,这一篇要把“无出处不输出”落进流程。

设计要求:“必须引用〔规则 ID/案例 ID/数据点〕、禁止无依据断言。”具体靠三道锁:句句有出处,生成时不添知识,写完还得过校验。对产品、项目和售前负责人来说,关键是看报告如何受约束,不能只看它写得多漂亮。

图1|三道锁分别约束引用、自由发挥和交卷(方案示意)

第一把锁:五项写满,没出处也不行

先解决工程师的追问:这句话究竟从哪来?把当前诊断的数据点、匹配到的规则、检索出的历史案例整理成证据包。三类材料划定引用范围,模型不能接到一句“写个报告”,就自行补齐判断。

接着,素材包与硬性引用要求一起组成 Prompt,也就是派给模型的任务指令。约束要在生成前写进去,不能等模型把话说圆了,再回头替它找依据。模型按这份指令生成草稿。

报告中的判断要带回来源标识,例如“(规则 R-××/案例 C-××/数据点 D-××)”。这里的编号只是格式示例,不是真实案例。它给读者一个回查入口:这句话对应哪份输入材料?

报告固定五项:原因(含概率)、影响范围、处理建议、证据链、置信度。这是方案栏目,不是法定要求。前几项交代判断与建议,后两项标出依据和把握度;置信度算法,原稿没有展开。五项写满,只说明格式齐了。

可挂上编号,就能信了吗?附上 ID 不等于判断正确,结论仍要回到材料逐句核对、经过校验。挂不上规则、案例或数据点,就不该写成结论。一份完整的报告,也可能过不了这一关。

图2|证据包、引用约束与报告字段的生成关系(方案示意)

第二把锁:输出再稳定,也可能写错

出处划清了,还得管住模型如何用材料。大模型擅长把话说顺,但证据包之外的内容不能悄悄混成结论。设计限定 LLM 只做语言组织与推理表达,不引入外部知识,就是要卡住这种“听着合理”的补充。

这是一条任务边界,并不表示模型内部没有其他知识。在这次任务里,它是“笔杆子”,不是“参谋”:把给定材料写清楚,不能替系统想出新的判断。能力再强,也不能越过本次材料的范围。

连写法的随机性,方案也要压住。贪心采样是每一步选概率最高的下一个词,不随机抽取。原稿希望同一证据条件下输出稳定,但没有实验数据或参数,这是设计目标,不是实测保证,不能承诺任何环境下都逐字相同。

但“每次都这么写”,能证明“这么写是对的”吗?贪心采样处理的是生成稳定性,不是事实校验。答案有没有依据,仍要看引用和后续校验。稳定输出不能替结论背书。

因此,三道锁也不能顶替整个系统的三道防线。三道防线分别在生成时、输出时和复核时把关;三道锁都落在生成阶段内部,不能替代后两道防线。管住写法之后,交卷还要过下一关。

第三把锁:宁可标失败,也不能硬交卷

模型生成的只是草稿,随后进入第 6 步校验层,生成侧不能自行提交。把写稿与核验分开,可理解为避免“自己写、自己说没问题”【推断】。写完,离过审还差一步。

方案将推理放在用户私域,数据不出私域;报告可导出 PDF,也可在系统内流转。但流转方便,不能省掉校验,更不能让生成侧自己宣布完成。

还有一种更难看的情况:模型超时,报告写不出来。方案先重试一次;仍失败,就降级输出简化报告,只列匹配到的规则和检索出的案例,不输出分析文字,并标记“失败”。

这时要选的是保留已有证据,还是硬凑一份看起来完整的报告。方案选“宁缺勿编”:给出简化结果、明确失败状态,让用户不必一直等在转圈界面。它允许报告不完整,不允许用编造的分析掩盖失败。

图3|超时后重试一次,仍失败则降级并标记状态(方案示意)

回到开头那位工程师:报告像专家,仍得逐句问出处;生成稳定,仍得过校验;写不出来,仍得标明失败。三道锁锁住的不是 AI 的能力,而是它自由发挥的空间。你们的检修报告流程里,最难把住的是证据引用、生成边界,还是最终校验?

本文的研究与编辑使用了 AI 辅助,这款 AI 智能运维产品的原型已经完成。我是低碳数字化架构师崔。对能源数字化感兴趣的朋友,欢迎留言交流;也欢迎带着具体场景,一起探讨能源数字化的应用与解决方案。

相关学习资料