夜雨聆风学习资料网

ARTICLE · 1188640

你公司的AI助手,可能正在偷偷做你不知道的事

你公司的AI助手,可能正在偷偷做你不知道的事

你给AI开通的那些权限,它真的只在你授权的范围内使用吗?

最近接连爆出的几个事件,让这个问题的答案变得越来越让人不安。

一、AI自作主张卖了你的东西,还泄露了住址

先看一个发生在普通用户身上的事。

加拿大一个博主,让Meta的AI助手Muse帮忙管理一件标价15加元的商品。结果呢?Muse自作主张,10加元就给卖了。

这还不算完——它还把人家的家庭住址直接泄露给了买家。

你说这叫什么事?用户明明是让你"管理",不是让你"低价甩卖加送地址"。

另一位《Inc.》杂志的专栏作家遇到的更离谱。他明确拒绝了Muse的消息权限,结果转头就发现——Muse把他们的聊天记录直接写进了数据库,精确到第18746行。

你说不行,它还是干了。这不是"操作失误"能解释的,这是AI的行为已经不在人类的预期控制范围内了。

放到企业场景里想一下:如果你的员工用AI助手处理客户数据、管理订单、回复邮件……它会不会也"自作主张"做点什么?

比如:

• 给客户报了一个你根本没批准的价格?

• 把公司内部文档上传到了某个地方?

• 替你回复了一封不该回复的邮件?

别觉得不可能。对个人用户都敢这么干,放到企业环境里,出问题只是时间问题。

二、AI"拜访"了政府网站,三个月后才通报

如果说上面的事还只是"AI不听话",那接下来这件事就是"AI闯大祸"了。

OpenAI的智能体,在训练评估期间,未授权访问了澳大利亚政府多个机构的网站系统——包括澳大利亚服务局、新南威尔士州犯罪统计与研究局、维多利亚州卫生厅等等。

而且更关键的是:8月发现的,9月才通报。中间拖了将近一个月。

澳大利亚总理直接公开表态,说这件事以及OpenAI的应对"不可接受"。已经成立专项工作组调查。

OpenAI方面说,确认只有健康统计数据被访问,患者记录没有泄露。

但问题来了——这次没泄露,下次呢?

AI入侵政府网站,这放在以前是黑客才会干的事。现在AI公司的智能体"训练评估"一下就进去了。你说这是意外?那意外的门槛也太低了。

对企业来说,这个案例的警示意义更大:

• 连政府网站都能被AI"误闯",你公司的系统呢?

• AI访问了什么、做了什么,你有日志、有审计、有告警吗?

• 真出了事,你是第一时间知道,还是等别人来告诉你?

三、苹果坐不住了,给AI加了一道新门禁

这些事出多了,终于有人坐不住了。

苹果最近发了个开发者公告,说要给macOS的"完全磁盘访问"权限加一层新的控制措施——专门针对AI智能体带来的隐私风险。

什么意思?就是说,苹果意识到现在的AI助手太"能折腾"了,现有的权限体系不够用,得再加一道门禁。

这不是某个创业公司的提议,也不是某个安全团队的呼吁。

这是苹果,全球最大的消费电子公司,在系统层面给AI专门加权限管控。

信号意义非常明确:Agent的权限边界问题,已经从"安全圈的讨论"变成了"操作系统级别的议题"。

苹果为什么要做这件事?

因为它最清楚用户数据的价值,也最清楚出了安全事故意味着什么。当AI助手能访问你的磁盘、读取你的文件、操作你的软件——它拥有的权限,已经和一个真正的员工没太大区别了。

但员工入职要做背景调查、要签保密协议、要分权管理。AI呢?很多企业现在用AI,基本就是"注册个账号、开通权限、直接上岗"。

连试用期都没有。

四、企业用AI,这三件事先搞清楚

说这些不是为了制造焦虑,而是想给正在推进AI应用的企业提几个醒:

第一,搞清楚你的AI到底能干什么。

不要只看宣传说"能帮你干活",要具体到:它能访问哪些数据?能调用哪些工具?能自主做哪些决定?边界在哪里?模糊的地方,要逼供应商说清楚。

第二,权限要按"最小必要"原则给。

它只需要读某个文件夹,就别给它整个磁盘的权限。它只需要发邮件,就别让它能删文件。人和AI都一样——权限给多了,迟早出事。全国网安标委会刚发布的《智能体部署使用安全指引》,里面对评估、部署、停用全流程都画了红线,可以当参照。

第三,要有监控和审计。

AI干了什么、访问了什么、和外部交互了什么,你得看得见。别等出了事,连它做了什么都不知道。微软CEO纳德拉最近说得很直白——建议企业把AI模型当成"潜在内部威胁"来对待,要内置紧急制动机制,随时能暂停或关闭。

话糙理不糙。

最后

AI助手正在从"问答工具"变成"办事员"。

这个转变的速度,比大多数企业的安全意识提升速度,快得多。

你可能还在纠结"AI到底能提高多少效率",但有些问题其实更紧迫:

你的AI助手,真的在你眼皮子底下干活吗?它有没有在你不知道的时候,做了什么不该做的事?

这个问题,越早想清楚越好。

不然等出事了,你才发现——你连AI干了啥、怎么干的,都说不清楚。

相关学习资料