ARTICLE · 1068479
AI 出错谁负责?大模型"幻觉"在安全场景里怎么兜底
你问 AI 一个安全标准,它回得又快又稳,还顺手甩给你一个文号。你抄进方案拿去评审——可那个文号,可能根本管不了你这摊事。
大模型"幻觉"这事,一旦进了安全生产,最危险的不是它答不上来,而是它答得特别自信,还带着你不敢不抄的"依据"。
这篇就把这件事摊开讲:它会在哪几个环节坑你、出了事到底谁担责、以及怎么把"人审"焊进流程兜底。
01 先把话说在前:AI 在安全生产里,替的是哪部分
这个合集写到第 24 篇,前面讲了太多"AI 能替什么":替眼睛看隐患、替腿跑巡检、替一部分脑子做预警和辅助判断。应急〔2026〕5 号里那句"机械化换人、自动化减人、智能化无人",听着很美。
但"无人"这两个字,落回企业,不等于"没人负责"。
AI 替的是感知和初判,替不掉的是决策和担责。现场要不要停、这份标准适不适用、这条该不该写进方案——这些"拍板"的动作,最后签字的还是人。系统能替掉眼睛和腿,替不掉责任。(这句话本合集前面用过,这里再讲一遍,因为它正是整件事的支点。)
02 大模型"幻觉",会在这三个环节坑你
"幻觉"不是玄学,说白了就是 AI 编了它自以为是真的东西。在安全生产里,三种最坑:
第一,编标准号和条文。 让它"给个依据",它能给你写出一个听起来特别权威、实则查无此号的标准;或者把 A 标准的适用范围安到 B 头上。比如把《GB 30871—2022 危险化学品企业特殊作业安全规范》当成"通用动火作业依据"——它管的是危化企业,不是所有工贸企业的动火。
第二,张冠李戴地转述。 官方文件原文写的是"建议""鼓励",它转述成"必须";文件说的是某个省份的口径,它说成"国家要求"。你拿到手的,是被它悄悄加过戏的版本。
第三,把草稿当生效。 征求意见稿、送审稿、媒体报道里的"拟施行",它一律当"已施行"讲给你听。不把讨论稿包装成已生效,这条红线,人容易踩,AI 踩得更勤。
⚠️ 一个判断原则:凡 AI 给的"标准号 / 文号 / 施行日期",默认不信,先去官方源核一遍。核的成本是一次,信错的成本可能是一场事故加一份责任认定。
03 出了事,谁负责?把账摊开
这是大家最想问的。直接说结论:法律上,AI 背不了这个锅,最后还是落在人和单位头上。
▪ 企业和主要负责人、安全管理人员:AI 是工具,不是免责牌。《安全生产法》(2021 年第三次修正,主席令第 88 号)对履职、对隐患排查治理有明确要求,不会因为"建议是 AI 提的"就豁免。你采纳了 AI 的错误结论,责任按"你决策了"算。
▪ 厂商:理论上产品有缺陷可以走产品责任,但这类"生成式"产品几乎都带着"不构成专业建议"的免责声明。真要追责,举证 AI 的错和你家的损失之间的因果链,并不轻松。
▪ 监管视角:目前没有一部专门给"AI 出错"定责的法条,出事按现有的安全生产、产品质量那套走。别指望"是 AI 说的"能当挡箭牌——监管看的是你有没有履职、有没有核、有没有留痕。
一句话:责任不会因为工具变聪明而转移,它只认最后签字的那个人。
04 怎么兜底:把"人审"焊死在流程里
讲责任不是为了吓人,是为了把动作落下来。兜底的核就一条:AI 的输出,不能跳过人直接进决策。
具体四步,能立刻用:
1. 标准号 / 文号 / 日期,一律人工核原文。 这一条焊死。让 AI 给链接,不如自己用官方源查一遍。
2. 关键决策留痕。 谁复核的、依据哪份文件、什么时候核的,记下来。真出事,"我核过"和"AI 说的"是两个量级。
3. 把 AI 当"初稿助手""检索助手",别当"终审"。 它擅长帮你列清单、找线索、起草,不擅长替你对合规口径拍板。
4. 选厂商看它怎么治幻觉。 有"引用溯源 + 检索增强(RAG)"的,比裸聊的大模型稳得多——它说的每句话最好能指回一份真实文件。
⚠️ 哪几类场景,宁可慢,不能只信 AI:标准条文引用、执法尺度判断、停产停业这类硬动作,以及任何要写进对外正式方案或报告的东西。
05 几个能马上做的动作
不想等"出了事再补流程",现在就能动:
▪ 列一条规矩:凡涉法规、标准、数据,AI 的输出必须经第二人复核,复核人签字。
▪ 建一张内部核对表:把常用的标准号、文号、施行日期整理成一张单子,AI 给的拿来对照。
▪ 给团队换个用法认知:培训时明确——AI 是"多了个不知疲倦的助理",不是"多了个不用担责的专家"。
06 几盆冷水
第一盆:别指望"AI 背锅"。 它背不了,最后还是企业、是那个签字的人。把希望寄托在"到时候推给系统",是在给自己埋雷。
第二盆:厂商的免责声明不是你的护身符。 "不构成专业建议"是保护厂商的,不是保护你的。你拿它的错结论去履职,责任照算。
第三盆:这事不会一直"没规矩"。 工具跑得快,监管在跟上。现在还能靠"现有法条"兜底,等专门的口径出来,裸用 AI 做合规判断只会更被动。趁早把流程立起来,比事后补窟窿便宜。
写在最后
一句话总结:AI 在安全生产里能替眼睛、替腿,但替不掉责任。 大模型"幻觉"最常坑你的,是编标准号、张冠李戴、把草稿当生效;出了事,法律上 AI 背不了锅,责任落在最后签字的人和单位;兜底的抓手就一个——把"人审"焊进流程,AI 输出必须经人工复核、留痕,不当终审。
写到这里,有个更现实的问题绕不开:AI 这么能干,安全员这岗位,还会在吗? 下一回,就聊这个——安全员会被 AI 取代吗?这行的岗位正在怎么变。
资料来源:本文所引《安全生产法》(2021 年第三次修正,主席令第 88 号,2021 年 9 月 1 日施行)与应急〔2026〕5 号《关于加快应急管理装备创新发展的指导意见》(2026 年 1 月 27 日发布)相关表述,据公开发布文本;GB 30871—2022 的适用范围,据该标准官方文本。文中关于"谁担责"的定性为行业梳理,具体适用与责任认定,请以现行有效法律法规和属地监管部门口径为准。
本文为行业梳理,不构成法律意见。所引文件均标注文号与日期,实际执行请以现行有效版本为准。
本文部分内容引用自公开报道,如涉及侵权,请及时联系我们删除。
互动话题:你们单位,AI 给的"依据"会有人复核吗?还是直接进方案了?欢迎留言聊聊。