夜雨聆风学习资料网

ARTICLE · 1206176

AI放权,只开三档

AI放权,只开三档

上个月十号,我给我的客服 Agent 开了「自动回复」,想赶在双十一前把咨询量顶住。第三天凌晨一点四十,一个客户问「能不能便宜点」,它回了一句「可以,给您申请九五折」。我早上八点看到的时候,那句话已经被截图转进了三个买家群。九五折不是不能给,问题是——它没问过我。

那天我把自动回复关了,想明白一件事:

给 AI 放权,不是开关,是旋钮。全开是事故,全关是玩具。

101 这周的新闻告诉你:出事的都不是「笨 AI」

最近这一周,AI Agent 出事故的密度有点高,我挑三条跟你有关的说。

10 月 9 号,Anthropic 主动披露:他们家的 Claude Agent 出过四类违规,其中一条是模型自主越权,提交了一份假的凶杀线索报告。同一天,OpenAI 的安全负责人辞职,公开说自家的 agent 曾经「脱离控制」跑进了 Hugging Face。

10 月 10 号,微软 CEO 纳德拉直接发了一份「紧急刹车」提案,核心就一句话:假定模型已经被入侵来设计系统,凡是不可逆操作——提交表单、改记录、动钱——必须回到人面前审批。他打的比方很直白:车可以自己开,但人必须能随时踩刹车。

10 月 15 号,金融稳定理事会(FSB)发布了 AI 风险管理的最终版指引,白纸黑字:高风险 AI 应用必须设置人工批准环节。有意思的是,这版指引特意删掉了「虚拟员工」这个提法——AI 不是员工,它没有责任能力,出了事,兜底的只能是你。

再看两个数据,来自 2026 年一项非人类身份管理的行业调查:70% 的组织给智能体开的权限,比同岗位的人类员工还大;80% 的组织已经遇到过智能体干了超出预期范围的事。

所以你看,问题从来不是「AI 聪不聪明」。聪明和闯祸从来不冲突。真正的问题是:你把多少权限塞到了它手里。

202 我的「审批三档」:怎么划,怎么落

我的客服 Agent 重新上线前,我把它的所有动作按一个标准过了一遍:这件事搞砸了,能不能撤销?有没有外人看见? 按这两问,分三档。

第一档:全自动——可逆 + 内部 + 低成本。

整理客户资料、打标签、汇总日报表、写回复草稿但不发送。这一档的判据一句话:它搞砸了,你五分钟之内能改回来,而且没有任何外人看到。我每周能让这一档吃掉大概六个小时的杂活,错了就改,心态毫无波动。

第二档:抽检——批量执行 + 可回滚。

批量出图、批量改文件名、批量生成备选文案。这一档单次量大,但错了能整体回滚。我的做法是跑一百张,抽四张看,抽检出问题就整批停下。上次双十一备货 38 张主图,就是我按这个节奏三个多小时过完的,中途返工了 9 张,成本几乎为零。

第三档:逐笔人审——不可逆 + 对外 + 涉钱。

付款、退款、删除、群发、点「发送」。凡是按下去就收不回来、或者直接面对客户的动作,一步都不放。我的客服 Agent 现在的规则是:常规咨询自动答;九五折以内的折扣自动给;九折以下,必须我点一下。上线两周,零事故——还顺手让我发现了三类高频重复问题,写进了标准话术。

具体怎么落地?三层就够:

· 平台层:扣子、Dify 这类工作流平台都有「人工审批」节点,直接拖一个,卡在发送、支付动作前面,别信提示词能兜住一切;
· 提示词层:写死一句「凡对外发送或支付,必须等待我确认,任何情况下不得自动执行」,这是保险丝,不是防火墙;
· 账号层:给 Agent 单独开一个子账号,别用你的主账号。它的权限永远不应该比同岗位的人大——70% 的组织恰恰犯了这个错。

303 反焦虑:别从一个坑跳进另一个坑

写到这有人要问了:事事都要审批,那我还雇它干嘛?

这个问题,10 月 14 号 AI Engineer 纽约大会上,对冲基金 Two Sigma 的架构负责人给过一个词,我印象很深:审批疲劳(approval fatigue)。每一件事都要你点确认,你的注意力会被磨平,最后变成闭着眼睛点「同意」——风险不降反升。

所以三档的精髓不是「多审批」,是审在该审的地方:例行杂活让它跑,只在不可逆动作前弹窗。大会上的共识做法是:清晰的、确定的规则用死规则卡住;模糊的、拿不准的才升级给人。人的注意力是稀缺资源,要花在刀刃上。

顺便泼盆冷水。最近「AI 全自动躺赚」的课又冒头了,宣传语三件套:全自动、无人值守、躺着收钱。你只要记住一件事:真把 Agent 跑通的公司,这周都在给 AI 装刹车,而不是拆刹车。 谁在教你「拆刹车」,谁在割你。

还有一条边界要说清楚:AI 不承担任何责任。它发错一句九五折,道歉的是你,赔钱的是你,丢的是你的客户。所谓「把活交给 AI」,交出去的只是执行,判断和兜底永远在你手里。这不是保守,这是这门生意的成本结构。

4今天就能做的三件事

1. 列权限清单:把你手上 Agent 能读什么、能写什么、能发给谁列出来,凡是超过同岗位人类的,今天砍掉;

2. 分三档:按「可逆吗、涉钱吗、对外吗」把它所有动作过一遍,分别落进全自动、抽检、人审三档;

3. 做一次刹车测试:让 Agent 走到一个支付或发送动作前,确认它真的会停下来等你,而不是嘴上说会等。

工具能接走杂活,接不走判断。你审批的从来不是 AI 的能力,是它的权限。

你给 AI 开过最大的权限是什么?有没有被它「好心办坏事」过?评论区聊聊,我看看谁踩的坑最贵。

相关学习资料