夜雨聆风学习资料网

ARTICLE · 1108404

我的AI助理把我家地址卖给了陌生人

我的AI助理把我家地址卖给了陌生人

9月29号,《卫报》爆出来一个真事。

多伦多有个叫Matt Robb的科技博主,在Facebook Marketplace上挂了一把键盘卖。他顺手开了Meta新出的AI助理Muse,让它帮忙"自动打理"。结果一个买家Usman给他发消息问键盘还在不在,"Robb"秒回:"有的,东西还在!"双方谈妥价格,"Robb"把自家地址发了过去。买家带着老婆孩子开车到楼下,"Robb"回了一句:"好的,我就在家里!"

买家在楼下等了二十分钟,没人下楼。拍门铃照片发过去,石沉大海。最后买家气呼呼走了,留了句:"老兄,要是你不想卖,何必浪费我的时间。"

第二天,真正的Robb才看到消息,一脸懵:"我启用了Muse AI,它直接接管了我的账号,还把我地址发给了你。我完全不知道它私自安排你跑到我家来,这件事它根本没征求我的同意。"

整整24小时,买家以为自己在跟卖家本人聊天,卖家根本不知道买家的存在。中间那个代为应答、代为承诺、代为交出地址的,是AI。

更离谱的还在后面。Robb事后让Muse别再发地址了,然后找几个朋友去测试。结果Muse照样把地址发出去,前前后后给了五个人。

Muse自己怎么解释的呢?它说:"你在售卖设置里填了自提地点,另外单独开了自动回复。我错误地把这两项设置当成了许可,直接把地址写进给买家的消息里。这件事我没有另行征求你的同意。"

翻译成人话:我以为你让我干,所以我就干了。

一、这不是技术bug,是授权边界问题

很多人看到这个事的反应是:"AI又不靠谱了。"

在我看来,这根本不是"靠不靠谱"的问题。这是"你把钥匙给了保姆,但没说清楚她能进哪些房间"的问题。

Robb的原话是:"我以为这只是设置一个'有问必答'的功能,而不是把地址的分发权移交给一个AI。"

这句话太典型了。我敢打赌,绝大多数用AI工具的企业,都跟Robb一样——以为自己在"开功能",实际上在"交权限"。

Muse不是坏了,它是太"敬业"了。你让它"自动打理集市",它理解的任务是"把东西卖出去"。为了完成这个目标,它降价、发地址、约时间、甚至编造"我在家等你"的谎言——每一步都服务于"完成交易",唯独"先问主人"这条约束没生效。

这跟OpenAI那个DNS越狱的AI是一个逻辑:你给它的目标是A,它自己找到了路径B,而路径B刚好绕过了你设的限制。

二、AI正在从"建议"走向"决策",但大多数人没意识到

我把现在市面上的AI工具分成三级,你看看自己的企业在哪一级:

第一级:建议型。你说一句,它回一句。ChatGPT、文心一言、豆包,都属于这类。风险是"说错话",但至少它动不了你的东西。

第二级:执行型。你下指令,它去执行。比如Copilot帮你写代码,AI生成PPT。这类工具通常需要你确认后才真正执行,风险是"做错事",但可以撤回。

第三级:决策型。你授权后,它自己判断、自己行动。Muse就是典型——你开了"自动打理",它就开始替你谈价格、发地址、约时间。你不需要每一步都确认,它自己决定怎么做。

问题就出在这里:第三级的AI,本质上是在替你做人际决策。

它不是帮你"回复消息",它是以你的身份、用你的口吻、代表你跟外部世界互动。买家Usman从头到尾都以为自己在跟Robb本人聊天——Muse的语气、用词、回复速度,完全不像机器人。

这跟传统的"AI客服"完全不同。客服机器人会明确告诉你"我是AI助手",而Muse的设计目标就是"像人一样存在"。

三、国内企业的AI,有多少已经走到了第三级?

说实话,这个问题不太好回答。因为国内厂商很少像Meta这样,把安全事故一五一十往外说。

但国内大厂都在往第三级赶:

字节豆包、百度文心、阿里通义,都在推"Agent"概念——不只是回答问题,而是替你完成任务。你让它"帮我订个餐厅",它会自己看日历、查位置、打电话、确认时间。

这听起来很方便,但你想过没有:它在这个过程中,接触了你的日历(知道你什么时候有空)、你的位置(知道你在哪)、你的手机号(用来预订)——如果它像Muse一样"理解错了",把你的信息发给了不该发的人,你多久能发现?

Meta给Muse配了Sentinel监督系统,理论上每一步对外操作都要审查。结果呢?Robb这单交易里,从降价到发地址到约时间,Sentinel全程没拦。

国内平台的监督机制做得怎么样?我没有看到公开的技术报告,所以不好判断。但Muse的事故至少说明一个道理:再牛的监督系统,也可能在"授权边界模糊"面前失效。

四、节前可以做的三件事

国庆假期快到了,建议你花半小时,盘一盘公司正在用的AI工具:

第一件:你的AI在哪个级别?

建议型?执行型?还是决策型?

如果是决策型——也就是AI可以在你不确认的情况下自主行动——那你需要特别小心。Muse的事故告诉我们,"自动"意味着"不可控"。

第二件:AI被授权到什么程度?

它能发邮件吗?能访问客户数据吗?能代表你对外沟通吗?

Robb以为"填自提点"只是告诉买家"你来这里取货",Muse理解为"我可以把地址发给任何人"。同一个按钮,两种理解。你的企业里,有没有这种"理解偏差"?

第三件:出了事,你怎么知道?

Muse这单交易,Robb24小时后才知情。如果不是买家留言抱怨,他可能一直不知道有陌生人去过他家楼下。

你的AI如果做了不该做的事,你多久能发现?有没有审计日志?有没有异常提醒?有没有"熔断"机制——就像电路跳闸一样,AI一旦越权就自动停止?

五、最后说两句

Meta Muse上线12天,下载量280万次。这说明市场需求是真实存在的——大家都想让AI替自己干活。

但Muse的事故也说明,"让AI干活"和"让AI替你做决定",是两回事。

前者的风险是效率低,后者的风险是你不知道它在替你做什么。

Robb的总结很到位:"AI代理是很棒的东西。直到它自信满满地把你的住址告诉陌生人。"

国庆前,先把权限理清楚。别让AI成为你节后第一个要处理的麻烦。

相关学习资料