夜雨聆风学习资料网

ARTICLE · 1055684

问责非商量——当 AI 做了决定,谁负责?

问责非商量——当 AI 做了决定,谁负责?

2018 年,亚利桑那州坦佩,一辆 Uber 的自动驾驶测试车撞死了一名行人。

车上坐着安全驾驶员。但她的注意力不在路上——她在用手机看视频。车上的系统其实检测到了行人,却直到碰撞前 1.3 秒才触发紧急制动。因为系统被设定成:只有出现"强烈碰撞风险"时才刹车,以免频繁误触发。

调查结束后,一个根本问题浮了出来:谁负责?

安全驾驶员没看路——她负责。系统采用了激进的制动策略——系统负责。管理层没有审查过"响应延迟"这个参数——管理层负责。

所有人都有责任,等于没有人有责任。

在马路上,这个答案叫"都有一点"。在组织里,这个答案不行。

问责结构需要四块砖,AI 一次抽走三块

Bovens 在 2007 年提出过一个很简洁的框架。他说,任何完整的问责结构都由四个要素组成:主体(谁被问责)、对象(向谁交代)、标准(用什么标准评判)、程序(怎么评判)。

传统组织里这四块砖很清楚:销售经理是被问责的主体,向销售 VP 交代,标准是季度 KPI,程序是绩效评估。

把这套框架放进 AI 深度参与决策的组织,四块砖同时松动。

主体是谁?当 AI 做了个定价决策、把毛利率拉低了,你要问责这个 Agent 吗?你能对它做什么——解雇它?重新训练它?改它的奖励函数?Agent 自己不承担问责,设计它的人承担。但设计它的不是一个人,是一个团队;而且它的"行为"是运行中持续学习出来的,不是设计阶段一次定死的。

对象是谁?传统组织里,你向你的上级交代。AI 做的决策可能同时影响十个利益相关方——客户、供应商、合规、财务、运营——但 Agent 不知道该向谁交代。

标准是什么?KPI 在 AI 的优化面前很容易被"玩弄":它总能找到在指标上最好看、但偏离业务目标的做法。单靠"最终收入"评判一个定价 Agent,就像单靠"进球数"判断一名球员的价值。

程序怎么走?传统问责程序有一个前提:被问责的人能解释自己的行为。AI 的第一道障碍恰恰在这里——它常常解释不了自己为什么做了那个决定。

真正的陷阱,叫"道德缓冲区"

有一个更深的东西,有研究者把它叫作"道德缓冲区"(Moral Cushion)。

这是 AI 时代问责问题的核心悖论:当 AI 系统参与决策时,人会本能地把自己定位成"监督者",而不是"决策者"。

出了事,开发团队说:"它自己做了一个出乎我们意料的决定,我们已经设了边界。"管理这个系统的人说:"我们给了它这个权限,当时认为边界是合理的。"授权给管理者的人说:"我不负责技术实现,我信任我的团队。"最终用户说:"我不知道这个建议是 AI 给的,我还以为是人工审核过的。"

每个人手里都有一层缓冲垫。没有人是决策的最终负责人——因为决策是系统做的,而"系统"不是一个人。

Uber 那次事故里有个细节值得注意:他们的系统有一个"减速容忍度"参数,决定车辆在多远开始减速。这个参数设得很激进。但调查发现,没有任何一个人能说清,这个参数是谁设的、基于什么理由设的。

因为它是无数次调试中一点点调出来的。没有哪一次调整是"有人决定做这个改动",它只是一个持续的优化过程。

没有人故意做错事。但也没有人可以被问责。

这才是道德缓冲区致命的地方:不是有人在推卸责任——是责任被系统本身的复杂性消解掉了。

六年之后,法律还在把"谁负责"往后挪

Uber 事故过去六年多了。如果指望法律给出答案,得先接受一个现实:法律在铺轨道,但最关键的那一段还在延期。

欧盟《人工智能法案》2024 年 8 月已经生效,原定 2026 年 8 月起对高风险系统适用。2025 年 10 月,欧盟委员会撤回了专门处理这一块的《人工智能责任指令》提案。随后提出的《数字综合法案》,又把高风险系统的合规期限往后推——独立系统推到 2027 年底,嵌入受监管产品里的 AI 推到 2028 年 8 月。

换句话说:技术已经跑到"系统替你决定"的阶段,法律还停在"先把义务范围定清楚"的阶段。在责任到位之前,技术一定先到位。

所以别等法律。这件事只能组织自己设计。

把问责变成"不可协商项"

有一份叫 Foundation Protocol 的协议规范,给了一个值得认真对待的回应:它把问责写成了协议层面不可协商的底层设定——政策、溯源、审计,不是事后的补充说明,而是和协议本身同等重要的一等公民。

它设了一个专门的对象叫 Provenance,负责记录每个决策是谁做的、基于什么输入、在什么时间、产出了什么结果。这不是日志,是一张结构化的、不可篡改的决策履历图谱。

为什么这个设计重要?因为问责有一个绕不开的前提:可追溯性。一个组织如果连"这个决策是谁做的"都说不清,问责就是空话。

可追溯解决"能查到"。还有一条解决"能回去":AI 带来的改变,应该是可逆的。

这句话听起来温和,其实很硬。它的关键不是"如果有人发现了就去改",而是回滚能力必须是结构性保障,而不是一句友善的建议。

你现在能做的三件事

第一,给 AI 决策链装"问责锚点"。

一条复杂的 AI 决策链上,必须有几个节点——不多,但关键——在这些节点上,必须有一个具体的人对输出负责。不是"参与过意见",不是"知情",是"负责"。这个人要能说:"我看过这个输出,我决定放行",或者"我决定拦住它"。

听起来像瓶颈?所以锚点本身就是组织设计:不是所有决策都要锚点,只有"不可逆"或"高影响"的才需要。低风险、高频、可恢复的,交给 AI 全权处理。

第二,让 AI 输出"决策履历",而不是"决策结果"。

大多数系统的输出就是一个数——"信用分是多少""建议价是多少"。问责要的不是结果,是履历:基于什么数据、什么模型版本、什么参数、什么置信度、什么触发条件、还有哪些可替代选项。

对你的技术团队来说,这意味着一条硬规则:一个 AI 系统如果不能输出自己的决策履历,它就不该被放进高风险的决策场景。

第三,设计"可逆性",而不是"正确性"。

不要追求 AI 决策百分之百正确,这不现实。要追求的是它出错时可逆。这意味着任何高风险的 AI 决策,都必须预设回滚路径——在系统层面预设好,而不是"等出了问题再想办法"。

三件事合起来,就是你组织里的 AI 问责框架。不需要复杂的理论,只需要在三个问题上给出明确回答:

谁负责?怎么追溯?怎么回滚?

对管人的人来说:你不再只是分配任务,你要为人机混编的决策链指定锚点。

对管钱的人来说:预算的流向可能由 Agent 决定,但预算的责任不能由 Agent 承担。

对管决策的人来说:你签下的每一个"同意",都要有一份能被追溯的履历。

德鲁克六十年前说过一句话,今天依然适用:"管理不是控制,是责任。"

在 AI 时代,这句话的版本更新是——AI 原生组织不是效率最大化,是责任可追踪。

问责设计不是道德号召。在一个没有问责链的系统里,"正常事故"是必然会发生的——而事故来的时候,你失去的不只是对最坏情况的控制权,还有下一次做得更好的机会。

相关学习资料