夜雨聆风学习资料网

ARTICLE · 1002375

别让AI替你做决定:如何设计一个"只会建议,不会拍板"的安全?

别让AI替你做决定:如何设计一个"只会建议,不会拍板"的安全?

越来越多企业把AI引进EHS和ESG场景。让它读安全评价报告、整理晨会要点、初审承包商资质、起草ESG章节,确实能省下大量重复劳动。

伴随能力增强,一个老问题被重新摆到台面上:AI能不能替人做决定?特别是在涉及安全风险评估、人员处置、合规判定的环节,让一个模型直接"拍板",真的稳妥吗?

这篇文章想聊的,是一件比"AI够不够聪明"更基础的事:一个负责任的AI助手,应该把“建议”和“决策”分开设计。

一、先看清楚:AI在EHS/ESG场景里,到底在做什么

把企业里的AI应用摊开看,大致可以分成两类任务。

A · 数据计算型

一类是数据计算型任务。比如从一份几十页的安全评价报告里提取风险点,把分散的法规引用整理成清单,对照企业检查表找出缺项,把承包商营业执照、资质证书、人员特种作业证做格式核验。这类任务的共同点是:输入是结构化或半结构化材料,输出是可核对的事实和数字,对错有相对客观的参照。

B · 判断处置型

另一类是判断处置型任务。比如某项作业风险是否可接受、某承包商是否准入、某整改是否可以关闭、某项ESG数据是否构成实质性披露、某位员工是否需要重新培训。这类任务的输出,会直接改变现场状态、人员安排或对外披露内容,背后牵涉责任、合规和人身安全。

两类任务对AI的要求完全不同。第一类,AI可以自动执行,人做抽查即可。第二类,AI再聪明,也只能提供带置信度的建议最终拍板必须留给有授权的人。

很多企业出问题,恰恰是没有把这两类任务分开。把判断处置型任务交给AI自动执行,表面上看效率提升,实际是把责任悄悄转移给了模型。

二、痛点在哪里:当AI"越界拍板",风险是怎么发生的

AI越界决策,很少表现为一次明显的系统故障,更多时候是一些不起眼的设计习惯累积出来的。

1

第一种常见情况,是AI直接输出结论性判定。系统读完一份承包商资料,界面弹出"审核通过"绿色标签,业务人员顺手点确认。很少有人追问:这个"通过"依据的是哪几份文件、哪一条标准、置信度多少、有没有人工复核节点。一旦后续出事,追溯起来会发现,关键判定其实由模型完成,人只是按了一下按钮。

2

第二种情况,是AI给出建议但不带置信度。模型说"该作业风险较高,建议停工",却没有说明依据哪些数据、相似场景的历史表现如何、自身有多大把握。现场负责人面对一句模糊的"建议",要么过度反应一律停工,要么觉得不靠谱直接忽略。两种结果都偏离了"让AI辅助决策"的初衷。

3

第三种情况,是AI建议没有强人工确认环节。系统生成ESG报告草稿,内容直接进入发布流程;AI标记某项整改已完成,状态自动变更。缺少一道"人来看一眼、签个字"的关卡,AI的输出就变成了事实上的决策。

对EHS和ESG场景来说,这些设计细节不是小事。安全评价报告里的风险结论,可能影响项目能否投产;承包商准入判定,关系到现场作业人员资质;ESG披露数据,直接进入对外报告和监管视野。AI在这些环节越界,代价不是返工,是真实的安全和合规风险。

三、负责任的设计思路:给AI建一道"决策分级"

把上面的痛点反过来想,就能看到一条更稳妥的设计路径:在AI技能设计阶段,就内建决策分级

决策分级的逻辑很简单:按任务后果,把AI能做的事分成不同等级,匹配不同的执行方式和人工介入强度。

第一级

第一级,数据计算型任务,AI自动执行。提取、整理、核验、对照、汇总这类工作,输入输出可核对,AI可以自动跑完,结果交给业务人员抽查。效率主要在这一级释放。

第二级

第二级,风险评估型任务,AI只给带置信度的建议。模型可以识别风险点、给出风险等级初判、列出依据的条款和相似案例,但结论必须标注置信度,并保留"待人工确认"状态。业务人员看到的是一份带理由和把握度的参考意见,不是最终判定。

第三级

第三级,人的处置决定,AI不参与拍板。是否准入、是否停工、是否关闭整改、是否对外披露,这类决定的责任主体只能是人。AI可以提供材料、提示风险、生成草稿,签字权不交给模型。

这套分级带来的好处,不只是合规。它让AI的输出变得可解释:每一条建议都带着依据和置信度,业务人员知道该信多少、该追问什么。它也让责任边界变得清晰:AI负责算和提示,人负责判断和决定,出了问题能分得清是模型没提示到位,还是人没把好关。

落地时,有几个设计细节值得坚持。AI给出的建议,应同时展示依据来源、数据范围、置信度和不确定因素,而不是一句结论。涉及第二、第三级的操作,系统应设置强制人工确认节点,未确认前状态不流转。所有AI建议和人工确认都应留痕,形成可审计的决策链路。

四、技术信任的底色:好AI知道自己不该做什么

企业引入AI,看重的是能力。真正成熟的AI应用,看重的是边界。

一个只会建议、不会拍板的安全AI助手,看起来好像"弱"了一些。实际使用中,这种"弱"恰恰是它能被长期用在EHS、ESG这类高敏场景的前提。能力再强,如果动不动替人做决定,企业不敢用,也不敢持续用。

◆ Ark Agent Hub

Ark Agent Hub设计EHS晨会助手、EHS营销助手、承包商资质审核员、ESG报告生成器等技能时,遵循的就是这条思路:即插即用的AI技能库,支持AI本地化部署,帮助企业在自己的环境里构建专属AI员工;同时把决策分级人工确认留痕审计内建到技能流程里,让AI员工清楚自己能做什么、不该做什么。

"释放70%的运营潜力"可以作为提升效率的方向。真正落地时,企业更应该先确认:这70%的效率提升,是不是建立清晰的责任边界上?AI有没有替人拍不该拍的板?建议有没有带置信度和依据?关键节点有没有人工确认

把这些问题问清楚,比追求模型有多聪明更重要。一个知道自己不该做什么的AI助手,才更接近企业真正敢用的安全AI。

相关学习资料

返回首页浏览学习资料