关键讯息,D1时间送达!

企业网D1net
企业最危险的AI风险,可能不是模型出错,而是责任消失。当自主式AI开始审批、定价、采购、签约和响应安全事件时,一个决策往往由多个智能体、系统和规则共同完成。结果出了问题,每一步都“合规”,却找不到真正的责任人。AI治理正在从“输出是否正确”转向“权限如何流动”。未来企业需要管理的不只是AI能访问什么,更是AI能决定什么,建立清晰的决策路径、授权边界和问责机制,否则,自主式AI自动化的不只是工作流程,更是责任的稀释。
当AI智能体开始自行做决策时,一旦出了问题,搞清楚到底该由谁负责就变成了一场彻头彻尾的噩梦。
几年前,我在宝洁的一座工厂里了解到:企业级技术故障很少始于技术本身,它们始于缝隙——系统与系统之间、团队与团队之间、供应商之间、审批流程之间、运营规则之间。出了问题,第一个被问到的往往不是哪个系统出了故障,而是谁该为结果负责。
自主式AI把这个老问题压缩到了极致,一个客服智能体拒绝了一项例外申请,一个定价智能体更新了报价,一个采购智能体发送了修订后的供应商条款,一个法务审查智能体标记了合同中某个条款导致流程暂停,而在企业的另一个角落,一个网络响应智能体识别出异常并隔离了某个系统。
每一项操作也许都经过了人类的许可、记录和复核,但当结果变糟时,公司可能会发现:没有任何一个人、一个模型或一个系统单独做出了那个决定。每个人都可以指向之前的某个配置、某项权限、某次审批或某个接口。从技术上讲,每一步都是被授权的,但从组织层面看,责任已经消失了。
这就是智能体式责任死循环。
从输出风险到交接风险
大多数企业AI治理框架是为“副驾驶”时代搭建的:输出是否准确、是否存在偏见、是否安全、是否可解释、是否合规?在AI主要承担起草、摘要、搜索、翻译和建议等任务时,这套逻辑说得通。
企业AI的第一个问题是可见性:员工把AI拉进工作流程的速度,远快于组织看清它的速度,而智能体式阶段又叠加了权限——系统现在可以在责任追上来之前就执行动作、委派任务、触发工作流,这改变了风险的基本单位:从“模型说了什么”变成了“一个智能体把工作交给另一个智能体之后,系统做了什么”。
规模即将超出现有运营模式的承载能力,有一项估算显示,到2028年,一家普通的财富五百强企业的AI智能体数量可能从2025年的不到15个飙升到超过15万个,而只有13%的企业认为自己已经具备了合适的治理机制。
近期关于智能体泛滥的报道抓住了看得见的问题:太多自主系统在企业中蔓延,但更深层的风险是权限泛滥——太多交接环节中,业务裁量权的移动速度超过了问责机制。
真正的问题不是智能体的数量,而是权限在哪里移动、责任在哪里消失。
当访问变成权限
企业很擅长决定一个系统能碰什么,但自主式AI迫使人们面对一个更难的问题:它被允许行使什么样的判断?
这个区分至关重要。访问权让智能体进入房间,权限让它代表公司行事,一个合同阅读智能体不应该修改条款,一个退款建议智能体不应该发起付款,一个网络安全智能体不应该隔离基础设施,一个起草供应商联络函的采购智能体不应该让公司承担商业约束。
新兴的自主式AI安全指引指向同一个方向:目标劫持、工具滥用、权限滥用、智能体间通信不安全、级联故障和失控智能体——这些都是合法访问演变为未授权裁量的路径。
董事会层面的检验很简单:智能体也许有访问权,但它有权限吗?
这个问题落在CIO头上,因为自主式AI正在成为企业运营底座的一部分:身份、访问、工作流编排、可审计性、供应商集成、服务管理和业务连续性。CIO也许不拥有智能体所影响的每一个业务决策,但CIO必须让决策路径可见、可控、可撤销。
人机回环的幻觉
人们惯常的安慰是:有人在回环里,但如果真正的决策已经在上游被塑形了——被检索结果、提示词、工具权限、供应商默认值、业务规则或另一个智能体的委派所塑形——那么人工复核就不等于问责。
有意义的监督需要对整条链路的可见性:权限从哪里来、如何转移、是否扩张、动作是否可以被挑战、谁承担后果。
做不到这些,“人机回环”就会变成“人机背锅环”。
从最小权限到最小权限裁量
企业安全领域本来就有正确的直觉:只给系统它需要的,不多给,自主式AI需要把这个直觉应用到判断权上,权限泛滥很少来自某一个鲁莽的决定,而是来自那些悄悄扩展智能体能力的“有用集成”。
答案是最小权限裁量:给每个智能体完成任务所需的最窄授权,阻止下游裁量权扩张,并在工作流进入真正的业务后果时指定一个人类负责人。
智能体式问责地图
对于任何高后果的智能体式工作流,管理者应当能够回答四个运营问题:
1. 业务授权是什么——智能体被要求优化什么,以及它绝不能优化掉什么。
2. 谁批准了判断范围——在这个场景、这个自主等级、这个用户群体下,这类决策是否应该被委派。
3. 谁构建了工作流——谁把模型连接到了工具、数据、提示词、接口、系统和升级路径,从而决定了它实际上能做什么。
4. 谁为结果负责——当工作流影响到客户、资金、员工、供应商、合规、网络安全响应或运营时,由哪位具名的业务负责人承担问责。
管控交接
战略任务是给每一条智能体式工作流明确的运营权限:窄到可控、可追溯到可审计、风险变化时可撤销。
• 把智能体决策路径映射到企业架构中,智能体清单展示了有什么,决策路径图展示了判断如何在智能体、工具、供应商、接口、数据源和人工审批之间移动。对于有后果的操作,仅有日志不够;企业需要一条授权轨迹,说明系统为什么认为自己有权行动。
• 把访问和判断分开,把系统访问权和业务裁量权当作不同的管控体系来对待。
• 运用最小权限裁量原则,把安全领域“最小权限”的老直觉应用到业务裁量权上,给智能体完成任务所需的最窄授权,并把任何下游裁量权的扩张视为管控失效。
• 把人放在能改变结果的位置上,人工复核应当增加上下文和问责,如果复核者只看到机器给出的最终建议,那这个管控基本就是装饰性的。
• 在供应商引入和并购审查中加入智能体式工作流尽职调查,对于原生AI供应商和收购标的,审查其运营授权、自主等级、工具权限、决策路径、客户或供应商特定的运营上下文、交割后重置权和控制权变更条款。
真正的董事会问题
自主式AI把企业软件带入了一个不舒服的领域:当一个非人类行为体使用公司的系统、数据、品牌和裁量权时,是什么让它的行动在法理上成为公司的行动?
这已经不是一个模型层面的问题了,这是一个制度层面的问题。
如果没有清晰的答案,自主式AI自动化的将不只是工作,它会自动化责任的稀释。
关于企业网D1net(www.d1net.com)
国内头部to B IT门户,同时在运营国内头部的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)
如果您在企业IT、网络、通信行业的某一领域工作,并希望分享观点,欢迎给企业网D1net投稿。
投稿邮箱:
editor@d1net.com
合作电话:
010-58221588(北京公司)
021-51701588(上海公司)
合作邮箱:
Sales@d1net.com
企业网D1net旗下信众智是CIO(首席信息官)的专家库和智力输出及资源分享平台,有六万多CIO专家,也是目前较大的CIO社交平台。
信众智对接CIO为CIO服务,提供数字化升级转型方面的咨询、培训、需求对接等落地实战的服务。也是国内较早的toB共享经济平台。同时提供猎头,选型点评,IT部门业绩宣传等服务。
扫描 “二维码” 可以查看更多详情


夜雨聆风