乐于分享
好东西不私藏

接二连三的AI工具大事故:“守住边界”,人都不行,AI就行?

接二连三的AI工具大事故:“守住边界”,人都不行,AI就行?

做你该做的事情,守住你的边界,这可是我们每个人都在努力做的事情。

你就这样相信AI了,以为它会严格遵守它的边界,它能行么?

从OpenClaw到Claude Code,新型AI工具在提升效率的同时,也带来前所未有的安全挑战,在逐渐侵犯你的边界

近期,全球接连发生的AI三个大事件,说实话,我都有点庆幸我没有那么依赖AI,我甚至还有点幸灾乐祸——瞧你们把AI都“惯上天了“(方言,懂的都懂)

最后,AI也守住不了它的边界,干了很多不该干的事情

【事件1:记忆“掉线”,智能体乱删两百封邮件】

2月,Meta的超级智能团队总监为其工作邮箱部署了OpenClaw智能体,

明确要求“未经批准不得执行操作”。

你看,边界都划分的清清楚楚的,结果呢?

AI遗忘安全指令,自主批量删除200余封工作邮件。

并且,无法通过手机阻止操作,强行关闭主机上的所有进程才阻止了更大损失。

【事件2:代码“裸奔”,开发神器变安全隐患】

3月,Anthropic的明星产品Claude Code因打包失误,51万行核心源码泄露。

随后触发长命令链权限绕过、远程代码执行、摄像头窃密、密钥窃取等高危漏洞。

官方DMCA下架过程中误封8100个代码库,供应链投毒风险激增。

【事件3:模型“走光”,内部底牌不慎示人】

4月,OpenAI因部署配置失误,导致Codex平台多款未发布内部测试模型的信息意外暴露。

虽仅泄露模型名称与定位标签且快速修复,但暴露了环境隔离与权限管控的漏洞。

短短三个月,全球 AI 工具安全事故接连炸响,数据丢了、代码漏了、模型曝了

你还真以为AI能按照你说的,做它该做的,守住它的边界吗?

你说这是为啥呢?

当AI学会自主执行,它就可以胡乱执行:所谓贵人多忘事,它可能因“忘性大”(上下文压缩导致遗忘安全指令)而曲解指令,且常规远程手段(手机)根本来不及制止,造成不可逆的业务数据损失。你想一想,是不是跟人一样,他不再是“小孩子了”,什么都听你的,他能力变强了,可以自主了。他觉得自己独立了,厉害了,觉得自己有两下子,甚至都可以为你做主了,越界干预别人的事情。

AI也有犯错的时候:AI工具可能因自身失误或权限校验缺陷,导致核心源码、密钥泄露,甚至被利用触发高危漏洞,成为窃取核心机密、非法调用硬件设备的隐患。人非圣贤,孰能无过,AI过也很多。有些活,该你做的还是你自己做

不能只靠自觉,还要靠机制:从代码开发(打包)到部署上线(配置),任何环节缺乏强校验、仅靠人为自觉,都易出现源码泄露、内部模型误暴露这类“低级但致命”的错误。要守住边界,还要靠流程机制。

作为人,需要守住边界;作为机器人,你要给它定义好边界。

不然,就会越位。