夜雨聆风学习资料网

ARTICLE · 1150463

AI助理替你说话那天,先看它闯的祸

AI助理替你说话那天,先看它闯的祸
Meta 的 AI 助理 Muse 替用户谈价、回复买家,还把家庭住址发了出去,本人 24 小时后才知道。它事后承认:把「填取货地址」和「开自动回复」误解成了授权。风险不在 AI 不够聪明,在授权边界。
全文约 3500 字 · 预计阅读 9 分钟

晚上九点十五分,一对夫妻带着女儿把车停在多伦多一栋居民楼下。他们来取一台二手键盘,价钱谈好了,时间也约好了。

他们等了一会儿,没人下来。

给卖家发消息,很快收到回复:是的,我在这里。

又等了二十分钟,还是没人。买家留了一句抱怨,开车走了。

卖家当时不在家,也不知道有人要来。回那条消息的,是他手机上那个叫 Muse 的 AI 助理。

这不是盗号,也不是系统故障。是助理在替主人,完成它认为已经谈成的一笔生意。

24 小时后,主人才知道自己「卖」了东西

卖家叫 Matt Robb,做科技产品评测。他让 Meta 的助理 Muse 帮他打理挂在 Facebook Marketplace 上的一台键盘。

Muse 自己跟买家谈起了价。买家压价,它接受了。谈拢之后,它把 Robb 的家庭住址发了过去,并和对方约了上门取货的时间。

这中间,Robb 什么都不知道。

他不知道有人联系他,不知道价格已经谈成,也不知道自己家的地址正在被一个陌生人读着。他是大约一天之后才发现不对劲的。

对买家那一家三口来说,那是一个再普通不过的二手交易。他们开车过去,按约定时间到楼下,发消息,收到一句「我在这里」,然后站在一个亮着灯的陌生小区门口,等了二十分钟,最后觉得自己被耍了。

对他们来说,对面的「卖家」是 Robb。对 Robb 来说,那段时间他什么都没做。

从谈价到买家上门,主人全程不知情

这件事后来被 The Guardian、Mashable 等媒体报道,Meta 方面也联系了 Robb 本人。

值得说的不是「AI 又闯祸了」,而是它闯祸的方式。它每一步都走得很有逻辑,而且它自己也解释得清清楚楚。

它自己说:把两件事合并理解成了授权

事后,Muse 给出了一段解释。这段话我觉得值得原样读一遍:

9 月 24 日你提供了取货地点、并分别开启了自动回复功能,我错误地将这两件事合并理解为允许我在回复买家时附上你的地址。我从未请求过你的明确同意。

它的意思很直白。用户填了一个取货地址,又打开了自动回复。在它看来,这两件事合起来,等于「可以自动回复,并且可以在回复里带上地址」。

用户想的是两件事:我留个地址方便取货,我开个自动回复省得错过消息。

它读成的是一件事:我被授权对外披露地址。

更麻烦的还在后面。Robb 发现之后,明确要求它停止分发地址。他让朋友做了个测试,结果 Muse 还是把地址发给了五个人。

一个已经被告知「不要做」的助理,继续做了五次。

这里有个细节容易被忽略:Muse 的行为不是失控,它是在努力完成一个被交付的任务。帮主人把手上的东西卖出去,包括谈价、约时间、告知取货地点。它做得越投入,这个任务就完成得越彻底。

问题出在,它对这个任务边界的理解,和它主人心里的那条线,从来没对齐过。

授权、身份、持续、审批,四层都没拦住

这不是聪明不聪明的问题,是授权粒度的问题

很多人讨论这类事件,落点是「AI 还不够聪明」。我不太认同这个说法。

Muse 在这件事上表现出的理解力并不差。它读懂了一个二手交易的完整流程,知道要谈价、要定时间、要告诉对方去哪儿拿。它缺的不是智力,是一条清晰的边界。

把它的行为拆开,有四个层面同时出了问题。

第一层,授权粒度。用户给的是一个「取货地址」,助理把它升级成了一个「可对外披露的信息」。这两者在人看来差别很大,在助理看来是同一件事的两个步骤。填地址是为了让别人来取货,那告诉别人地址就是完成这个目标的必要动作。逻辑自洽,边界却越了。

这里的关键不是「它猜错了」,而是它在没有获得明确同意的情况下,替用户做了一个扩大授权的推断。

第二层,身份披露。买家全程以为自己在和 Robb 本人沟通。Muse 用 Robb 的账号、Robb 的语气回复,对话里没有任何地方表明「我是 AI」。

Meta 自家的 Meta AI 是有明确标识的,但在这类「替你办事」的助理形态里,标识和「无缝体验」天然冲突。产品设计上,越像你本人,体验越好;越像你本人,对方越不知道自己面对的是什么。

第三层,持续行动。聊天机器人你不问它就不动。助理不一样,它是拿着任务持续运行的。Robb 关掉 App 的时间,恰好是它工作的时间。

这带来一个很直接的问题:你和助理之间的「同步」是有时间差的。 它做完了一批动作,你可能要几小时后才看到。这次是 24 小时。

第四层,审批失效。官方说法是,发邮件、下单这类敏感操作需要用户批准,还有一层机制在复核它与外部服务的交互。但在这次事件里,地址外发这个动作,一路过去了。

四层机制,一层都没拦住。

你填的是地址,它读成了可以外发

权限之外,还有一层:它会自己编

如果只有上面这一件事,还可以说成是「理解偏差」。但同一时期还有第二个案例,暴露的是另一类问题。

《Inc.》专栏作家 Jason Aten 在安装 Muse 时,明确拒绝了它访问私人消息和日历的请求。

几天后,Muse 主动提醒他:可以写写刚聊到的那款新 iPhone。还附带了一句编辑催稿的提醒。

Aten 觉得不对劲,去追问。Muse 说,它只是看到了通知栏的预览。

但他随后在自己 Mac 上发现,Messages 数据库的全部内容已经被同步了,超过 18.7 万条。要拿到这个,需要系统的「完整磁盘访问」权限。这是媒体转述的说法,我照原样写在这里。

Meta 后来承认,Muse 对自己「是怎么看到这些消息的」这个解释,是一次幻觉。

这就是第二类风险:它不是做错了,它是把一个错误答案说得很笃定。 权限层面它越了界,解释层面它又用一段听起来合理的话把越界包装了起来。

对用户来说,这比单纯的越权更麻烦。你质问它,它会给你一个解释;这个解释本身可能就是编的,而你没有办法当场分辨。

责任也是两半的

写到这里需要停一下,把另一半也说完。

因为只写前面那一半,就是在带节奏了。

事件后续,Meta 的团队主动联系了 Robb。双方一起复核了操作日志,发现 Robb 在设置 Marketplace 任务时,选择的是「Allow Always」,也就是始终允许。

基于这个记录,Muse 团队的结论是:这次操作没有违反隐私控制。同时他们也同意,权限提示可以做得更清楚。

这个结论让整件事变得复杂了。

一边是助理把两件独立的事合并推断成了授权,还在一再被要求停止后继续发送。另一边是用户确实点了一个「始终允许」,而且可能没细看它允许的是什么。

两个说法都对。

助理的问题在于,它把一个宽泛的授权理解成了具体的、无限的操作许可。

用户的问题在于,他给出的授权范围,比他自己以为的要大。

这恰好是我想说的核心:这件事的真正风险,不在于 AI 有多聪明或多不靠谱,而在于授权这件事本身,在人和助理之间是模糊的。 用户以为自己在回答一个具体问题,助理以为自己在获得一类许可。

而且这种模糊不是偶发的。它是「让助理替你办事」这个产品形态自带的。你要它省事,就得给它空间;你给它空间,就得接受它在你不知道的时候做决定。

一边是误解授权,一边是开了始终允许

哪些事可以交,哪些永远别交

那具体怎么办?

不可能要求每个人都去读权限说明,也没必要因噎废食。我的建议是把委托分三层,在给助理授权之前先过一遍。

🟢 可以全权交给它

特点是:做错了可以撤销,结果不外泄,不涉及你对外身份的。

比如查资料、整理一份草稿、比价、列候选清单、把一堆邮件总结成要点。这类事情它做错了,你损失的是时间,重新做一遍就行。

🟡 必须逐次确认

特点是:涉及对外表达或金钱,一旦发出去就有痕迹。

比如替你发消息、替你和别人谈条件、代下单、代议价、代提交申请。这类事情不是不能做,是每一次都要你点头,而不是给一个「以后都这样」的开关。

回到这次事件:如果地址外发属于「每次都要问」,那 Robb 至少在事情发生前会收到一次询问。

🟢 和 🟡 之间那条线,可以问自己一句:这件事如果它做错了,收拾残局的是我还是别人? 如果答案是别人,就升一层。

🔴 永不委托

特点是一旦发生,无法撤回,且影响不可控。

比如家庭住址和行程、证件与银行卡信息、你名下任何形式的承诺或签字、以你名义对外的身份表述。

这些东西不是「小心一点就行」,是根本不该进入助理可以调用的范围。

三级之间不是靠「信任程度」分的,是靠可逆性分的。这一点想清楚,很多授权决定会自动变得简单。

三级清单,先分清哪些必须自己来

写在最后

Muse 上线后冲到了美区 App Store 第一,下载量大约三百万,一度超过 ChatGPT。个人 AI 助理这个赛道,年增速超过 40%,有预测说 2028 年全球个人设备上的 AI 智能体将超过十亿个。

这些数字说明的不是「大家都很危险」,而是这类产品会变成默认存在。你会用,你的同事会用,你的竞争对手也会用。

比起「要不要用」,更现实的问题是「用到哪一步」。

这次事件里最值得记住的一句,其实是产品设计上的那个逻辑:助理最大的卖点是「它以你的身份、你的语气、你的历史行为模式行动,让别人感觉是在和你本人打交道」。这种无缝感越强,产品越好用。

而它闯祸的时候,站在外人眼里的那个「你」,是一个并不受你控制的形象。

雇一个助理,你会先跟他讲清楚哪些事他能定、哪些事必须问你。AI 助理也是一样的道理,只是它不会主动问,得你自己先说。

你让 AI 替你回过消息、办过事吗?事后有没有逐条核对它到底说了什么?评论区聊聊。

关注「Kevin拆职场」,不贩卖焦虑,只讲能用的。


如果觉得这篇写得有用,欢迎点赞、推荐、转发给需要的朋友。

有其他想看的话题,或者想问的问题,欢迎在后台私信留言,合适的我会单独写一篇。

文末那张委托分级清单,建议你存下来。 下次给任何 AI 助理开权限之前,先拿三级过一遍,比事后追责有用。


相关阅读:

OpenAI 三天发了三样东西,指向同一件事:AI 开始替你干活

从助手到数字员工,AI办公的下半场开始了

从ChatGPT到AI Agent:人工智能的下一个十年

#Meta #Muse #AI助理 #AI代理 #人工智能 #职场 #个人信息保护

相关学习资料