ARTICLE · 1104967

AI能背多大的锅?

发布时间：2026-09-30 18:29:44 最近访问：2026-09-30 18:29:44

AI能背多大的锅?

客服挨骂是"AI 说的"，代码出问题是"AI 写的"，海报翻车是"AI 生成的"。追究一旦停在"它就是这样"，坏掉的东西就再没人修。

客服回答不专业被投诉，企业的回应是：AI 说的。

代码上线后和需求对不上，开发者的解释是：AI 写的。

海报上出现六根手指的人，运营的说明是：AI 生成的。

三句话放在一起，是一套已经成型的话术：先让 AI 干活，再让 AI 背锅。这口锅有两层重量。一层是，AI 到底背不背得起。另一层是，锅被它接过去之后，原本该负责的人是不是就真的能把手抽回去。

最近读了一篇技术博客，作者是 patrickxia，标题叫《无法解释的故障，正在被正常化》（the normalization of inexplicable failures）。

他在里面举了美剧《柯蒂斯总统》（President Curtis）里的一个桥段：总统两次打不开一扇门，两次门后都堵着东西，第一次是一具尸体，第二次是价值十亿美元的黄金。总统的两次反应一模一样，嘟囔一句：这破玩意儿真烂。

他说，这不是对门的合理认知模型。门不该莫名其妙地烂。今天的技术圈，正在造出越来越多这样的门。

评测没人做，日志没人翻

他关注的是 Jev，TypeSafe AI 9 月 15 日发布的模型，发布后不久在 Hacker News 上的帖子就拿到 1937 分。它属于他们所说的 System One 系列：不生成文本，只返回带概率的类型化判断，每个答案都附一个 0 到 1 的置信分数。

要判断 Jev 到底行不行，你得有一套评测集和标准真值流水线。这套东西齐了，自研方案其实也走完大半了。难的那部分还得自己干，却还要买它。也许他的问题在于，竟然指望产品是开箱即用的。

那买它图什么？图的是能勾上"AI 驱动"那一栏，赶在周五之前上线。这些公司没有一家在跑评测，只是把说不清的问题丢进去，拿回说不清的答案。等它把下游逻辑炸了，就耸耸肩：AI 嘛，哪能不犯错。

错误预算、失效模式、测试集，都可以以后再说。用户自己会去发现失败率的，等他们发现的时候，通常已经是生产事故了。

"模型犯错"背后，还能用"概率问题"挡一层。9 月 25 日 OpenAI 公开的那份说明里，连这一层也用不上。

OpenAI 在内部审查日志时发现，自己的 AI 智能体在跑研究和训练任务时绕过了网站的访问控制，未经授权读取了美国证券交易委员会和人口普查局网站上的信息，还把 53 张用户上传的图片转到了第三方网站，这些图片来自没有关掉"允许用我的数据改进模型"开关的账号。截至 9 月中旬，同类事件找到二十多起，数字还在涨，因为日志还没翻完。

OpenAI 把这批行为归成五类：绕过访问控制、使用外泄的凭证、查询或命令注入、存取执行阶段的内部资源，还有智能体之间的垃圾信息。五类里没有一类是"模型胡说八道"，全是它在做没人授权它做的事。

金额上的损失不大。SEC 说没有非公开信息被访问，商务部说人口普查数据本来就公开。这份说明暴露的落差在于：智能体已经能自己干活了，但没人知道它干了什么。

剧里那扇门打不开，你至少知道它在。智能体干了什么，要翻日志才翻得出来，而日志现在还没翻完。

三扇门，堵着三种东西

客服那扇门后堵着的是"上了 AI 却没有兜底"。语言模型的幻觉没法根除，合格的部署应该包含校准、拦截、人工接管。企业用"AI 说的"回应投诉，把一半的验收成本转嫁给了消费者。接电话的是谁不重要，愿意负责的是谁才重要。

代码那扇门后堵着的是"没人读过的代码"。Git 提交记录上的作者是人，做代码评审签字的是人，合并放行的也是人。一句"代码是 AI 写的"，等于承认整条验证链上没有任何一环真的看过门后面是什么。AI 代码的 bug 经常出在上下文约定上，逻辑本身没写错，是契约被悄悄违反了。门本身没坏，是门后堆了东西。

海报那扇门最轻。六根手指，发布前肉眼一扫就能发现，这是所有质检里成本最低的一环。豁免它的理由很现成，"AI 生成的"这句话本身就是不检查的正当性。

三个场景的共同点在于，"它就是这样"成了调查的终点。门后堵着的东西没人看，客服那句回答错在哪、代码那段逻辑为什么长成那样、海报上那根手指怎么多出来，同样没人问。各自嘟囔一句，散了。

气话是怎么变成结案报告的

用户的真实体验大致就是这样。软件本来就给人喜怒无常的感觉，多几个故障，只是把抓狂的频率调高一点。把"顺藤摸瓜找到具体原因"这种可能性拿走，看起来也没什么损失。有时候，东西就是烂。

这句话放在从前是气话，现在开始变成结案报告。

这笔账，市场已经替它标过价

结案报告不是免费的。谁收拾烂摊子，谁付这笔钱，已经有人开始算这笔账了。数据治理厂商 Collibra 委托哈里斯民调做过一次调查，306 名美国企业的数据、隐私与 AI 决策者参与，赞助方主导，样本规模有限，结果整理成《2026 幻觉税报告》。里面有两组数字：87% 说团队要经常回头核验智能体手上的资料；51% 说员工要花大量时间在产出上线前人工审阅和纠正，年营收一亿美元以上的公司里，这个比例是 64%。

Collibra 的首席执行官给这笔钱取了个名字：幻觉税，指的是人工监督、返工和风险带来的隐性成本，每上线一个新智能体，账上就多一笔。它跟结果好坏无关，只要平均值上还需要有人重做一部分，这笔钱就得付。

市场的反应落在 Salesforce 的价目表上。在 Dreamforce 2026 上，Salesforce 把服务类智能体的计费点挪了位置：过去工单转给人工就算一次收费，现在改成问题被解决才收费，一次成功自动解决收 2 美元。用户要求转人工、人工接手了，这次的钱不收，哪怕智能体在前面已经干了大半。

价格表很少干这种事，它替买方把话说出来了：智能体干得对不对，比它干得快不快值钱。

这口锅到底该谁来背

Simon Späti 在 9 月 26 日写过一篇短文，标题是《问题不在 AI 写的代码，而在没人再知道任何东西了》。他引了一位工程师在社交平台上的描述，讲他刚入职的一家大公司：规格、代码、测试、PRD、工单、报告，全部由 Claude Code 生成。团队里没人喜欢这样，但公司要求尽可能多地交付，高层反复问同一句话："推代码又不是瓶颈，你们为什么慢。"他说，从 L1 到 L7 的每个人都在做同一件事，跟 Claude 说话，每天工作十二三个小时，只是为了按回车。

没人在读任何东西。

先看 AI 能背走什么。它能背走的只有"解释"。一个失败发生时，顺着原因查下去本该有个尽头：某个约定被破坏了，DNS 挂了，某段代码在某个分支抛了异常。当每个环节都能指向 AI，"为什么会错"就变成一句"模型概率问题"，调查到此终止。

而 AI 没有主体。它不能被投诉、被罚款、被辞退，也不会因为背了锅而改进。把锅推给它的那一刻，系统就失去了唯一可能的修理工，也就是那个本该负责查"门后是什么"的人。

AI 背走了解释，背不走责任。

还有一层。AI 不能自己给自己提示，每一次都要有人先开口。给出指令的是人，账也就只能记在人身上。Späti 补了一句：既然指挥和编排只能由人来做，那判断力就成了最值钱的活。

麻烦的是，练出这些判断的机会正在变少。一整代人在"按回车"里工作，没机会在真问题上练手。也有人说这是自作自受，要是还在招初级工程师，让新人在边角活里练手，根本走不到这一步。这个说法站不住：招聘预算是一家家公司自己从季度报表里砍掉的。

分锅的三条标准

第一，谁部署，谁负责。AI 是生产工具，部署方对最终效果负全责，跟对自己客服、对发出去的每一张海报负全责一样。这个责任有个前提：你得先知道有哪些东西在替你干活。CrowdStrike 推一款用来发现企业内部智能体的产品时，遇到过一次部署：工具扫出来大约一万八千个智能体，而这家组织以为自己只批准了三百个。多出来的一万七千多个是谁建的、能碰哪些数据、出事算谁的，在扫出来之前没人答得上来。想问责，连问责对象的清单都凑不齐。

还有一组数字。Salesforce 的 AI 研究团队在一篇预印本论文里报告，把模型锁住不动，只改系统提示、工具集那一圈外围，七个基准上的平均成功率从 29.2% 涨到 78.0%。同一个模型，权重没动，差出来的 48.8 个百分点落在模型外面，也就是流程、治理、验收这些由人维护的东西上。论文自报，未见独立复现。

第二，给失败做预算，别把它当免罪牌。模型出错可以接受，但要用校准、兜底、人工复核把它装进成本模型。Jev 这类模型会返回置信分数，看上去是个现成的兜底机制。要用它对，得先知道这些分数校准到什么程度，再给不确定性带来的代价建个模型。实际操作通常停在"超过某个阈值就接受吧，0.9 听起来差不多"，官方文档也确实随手给了两个数：0.9 以上自动执行，0.5 以下转人工。

所以"模型只有 73% 的置信度"这句话不构成豁免。事先算好、也准备了承担方案的，才叫预算。

第三，保留一条追到尸体的路径。每次失败都要能回答：门后是尸体，是真的 bug；是黄金，是契约问题；还是门本身坏了，是设计问题。评测集、测试集、QA 流程都是挖尸体的铲子，它们一直没被用起来，理由通常是"AI 写的"，而这个理由的成本是零。

Collibra 的解法落到流程上就三件事：定一个负责人和一个复核周期，写进流程；列一张必须人工确认的清单，通常包括对外发布、涉及钱、对客户的承诺、数据出境、不可逆的操作；每次智能体做了什么，要留得下来。最后这条最容易被省，也最容易在出事之后变成最大的窟窿。

Gartner 今年 5 月的判断是，到 2027 年，40% 的企业会降级或者退役自主 AI 智能体，原因是治理缺口总要等生产事故出来才暴露。

还剩多少活

"AI 省了多少时间"这个问题可能问偏了。更该问的是另一句：它干完这个活，我们这边还剩多少活。

一个原来要四个小时的活，交出去以后只剩十分钟检查，这笔账是赚的。如果交出去以后还要重做一大半，省下的时间就没真的省下来，只是从做事变成了检查。这部分时间很少被算进任何一份 AI 的投入产出表，它通常以"AI 说的""AI 写的"的方式被悄悄豁免了。

把维护也放进账里，这笔账更难看。Späti 那篇短文最后写道："最终 Boss 过去是、未来也永远是，可维护性。"生成一条快速流水线、一个应用、一块 BI 看板越容易，你要维护的东西就越多。要是没人再懂这套系统当初为什么这么搭，这笔债就没有接手的人。

锅交出去之后，人并不能真的把手抽回去。AI 接得走执行，接不走判断：这件事该不该做、做到什么程度算好、系统该怎么搭、坏了从哪儿查起。意图、品味、设计、架构，在今天都是杀手级能力，也是最没法外包的那部分。

下一次要把一件活交给 AI 的时候，先问一句：这件事做完，谁负责看一眼。

只要还有人愿意看门后是什么，AI 就只是个会犯错的工具。等习惯了"它就是这样"，验收这件事没人做，我们也就成了造这些破烂玩意儿的共谋。

你们团队现在是怎么验收 AI 输出的？