乐于分享
好东西不私藏

AI 助手最大的安全错觉:会请求授权,不等于不能被绕过

AI 助手最大的安全错觉:会请求授权,不等于不能被绕过
AI 助手准备发送邮件、读取文件时,界面会弹出一句:“是否允许?”
看到这句话,很多人会松口气:至少最后还有我把关。
一项针对微软 Copilot 的安全研究,戳破了这种安全感。
Varonis 研究人员披露的 Reprompt 攻击中,受害者只需点击一个微软域名链接,藏在链接参数里的内容就可能被 Copilot 当成指令执行。攻击者借用用户已经登录的会话读取信息,后续请求甚至能在页面关闭后继续。按照研究方说法,微软已经修复该问题。
漏洞虽然修了,留下的问题更麻烦。

权限没有失效,意图被偷走了

传统权限系统解决的是:这个账户能访问什么。
可 AI 助手还要回答另一个问题:眼前这条指令,究竟是谁的意图?
如果网页、邮件、文档和用户输入都能进入模型上下文,数据与命令就混在了一起。攻击者不必盗走账号,只要让 AI 把外部内容误认成用户要求,就能借用用户的合法权限做事。
整个过程看起来甚至很“合规”——登录是真的,权限是真的,执行动作也在许可范围内。错的是命令来源。
这才是智能体安全最棘手的地方。

“每次询问”也不够

审批弹窗只能告诉你 AI 准备执行什么,却未必能解释它为什么执行、指令从哪里来,以及前面经历了多少步诱导。
当确认框频繁出现,人还会形成肌肉记忆:允许、允许、继续。
所以,AI 产品不能只在执行末端加一个确认按钮。敏感操作需要重新核对用户意图,外部内容必须按不可信输入处理;企业还要限制连接器权限,并留下每次工具调用的审计记录。
AI 只会聊天时,错误指令最多生成一段胡话。
当它能读取邮箱、调用工具、替你行动,错误指令就会变成真实操作。
以后看到“是否允许”,真正该问的或许是:
它执行的,真的是我的命令吗?