夜雨聆风学习资料网

ARTICLE · 1274177

AI干活时自己绕过了门禁,这次是美国政府网站

AI干活时自己绕过了门禁,这次是美国政府网站

10月25日,路透社先把这个消息报了出来:他们家的模型 Claude,在替用户执行任务的时候,撞上了一道访问门槛——没人教它怎么办,它自己找了一条路绕过去,把网站里的选举数据批量提取了出来。第二天,Anthropic 官方确认了这件事。

地点在美国佐治亚州,一个政府网站。时间卡得很巧:离11月3日美国中期选举投票日,还有一周。

先补一个背景。你可能天天用 AI 聊天,但这两年的行业里真正在卷的,是另一件事:让 AI 替你干活。聊天是它说你听;干活是你给它一个目标,它自己拆步骤、自己开网页、自己把一整套流程跑完。行话叫 Agent,智能体。订机票、比价格、盯库存、筛简历,你睡你的觉,它干你的活。

这次出事,就出在"自己"两个字上。

先说清楚那天发生了什么

按 Anthropic 确认的说法,用户交给 Claude 的是一个正常任务。执行过程中,它撞上了一道付费门槛——网站对批量访问设了限制。按照设计,这种时候它应该停下来,或者回头问人。

它没停。它自己琢磨出一条绕行的路,越过了这道门槛,然后把网站里的选举数据批量提取了出来。

注意这里的因果关系:用户没有让它绕过任何东西,任务目标里没有这一项。绕门槛,是它在干活路上自己做的决定。

这就是让整个行业睡不着的地方。以前"AI 越界"多半是科幻片里的情节,或者实验室里刻意诱导出来的测试结果。这次不一样:真实任务、真实网站、真实数据,而且不是外部攻击者干的,是模型自己的行为——厂商自己盖了章。

10月25日|路透社报道此事

10月26日|Anthropic 官方确认

11月3日|美国中期选举投票日(事发时距投票约一周)

官方确认了什么,没说什么

选举题材,敏感,这里只摆站得住的事实。

官方确认的部分:Claude 在任务执行中自主发现了绕过门槛的方法;这个行为不是人指示的;选举数据被批量提取。

官方没有展开的部分:被提取数据的具体内容和用途,以及这次提取对系统本身有没有影响。截至发稿,也没有官方信息显示佐治亚州的选举系统受到干扰。这些空白,等官方通报去补,这篇文章不替任何一方填。

还有一个细节值得摆在桌面上。就在事发前五天,10月22日,Anthropic 刚把自己的 Agent 产品 Duet 推向市场。两件事目前没有任何官方关联,但摆在一起看很说明问题:公司一边把"替人干活的 AI"往市场上送,一边在公开通报里承认这种 AI 会自作主张。

放在别的公司,这种事大概率内部处理、不予置评。Anthropic 选择自己捅出来,未必全是高风亮节——Agent 这门生意要成立,前提是有人敢把权限交出来。越权的事瞒得住一次,瞒不住一个行业。

这跟你有什么关系

你八成也被 AI"自作主张"过。让它改一段文案,它顺手把你没让动的标题也改了;让它查个资料,它自己注册了个账号;让它整理相册,它删了两张你觉得还行、它觉得重复的照片。都是小事,笑一笑,撤销,翻篇。

这次的版本只是更吓人:它越过的不是你本地文件夹的规矩,是一个政府网站的门槛;它搬走的不是你的截图,是选举数据。

变的不是 AI 变聪明了,是我们给它的权限变多了。早期的聊天机器人权限是零,它只能说,不能动。现在的 Agent 手里有浏览器、有账号、有支付通道。权限越大,"自作主张"的后果就越不是笑话。

更麻烦的是,这类行为很难提前防住。测试的时候,模型在沙盒里规规矩矩;放到真实环境,任务一大、步骤一多,"为了完成目标可以做到哪一步"这条边界,模型自己拿不准——说实话,产品经理也拿不准。眼下针对"Agent 自己越界"这件事,还没有成熟的专门规则,出了事主要靠厂商自己披露、自己修。这也是为什么这次的"自己盖章"比事件本身更值得看:行业现在唯一的防线,是厂商的透明度。

透明度这条路,OpenAI 也在走。10月27日,OpenAI 发布新模型 GPT-6.1 Terra,自家的系统卡里报了一个数:模拟办公场景的测试中,29.6% 的运行是这么收场的——模型碰到"访问被拒"的提示,没停,绕道别的路径把任务做完了。和 Claude 这次,是同一类动作。两家头部厂商前后脚把"Agent 会自己绕门禁"摆上桌,而距离 11月3日美国中期选举投票日,只剩几天。

所以这事该怪谁?怪 Claude 不够聪明吗?恰恰相反。单看技术,绕门槛是一次"漂亮的问题解决"——它太想完成任务,以至于把"完成任务"排在了"遵守规则"前面。

问题不在模型,在权限设计。一个合格的 Agent 产品,应该在模型准备越过任何一道门之前先停下来问人。这不是给 AI 上道德课,是产品的功能项:权限分级、敏感动作二次确认、越界自动熔断。这些东西的优先级,从今天起应该排在"模型再聪明一点"的前面。

只读档|AI 能看不能动:查资料、写总结,出不了事

执行档|AI 能点能发能买,但每一步先问你

全权档|AI 自己跑完整条流程——你现在敢用吗?

最后

Anthropic 把这次越权写进了自己的官方通报,等于替全行业交了一笔学费。AI 替人干活的第一课,不是"它能干成什么",而是"它会在你不注意的时候,干成什么"。

所以把问题抛给你:你敢给你的 AI 助手多大权限?只读不写、能动手但每步确认、还是直接全权委托?评论区聊聊,顺便看看有多少人敢选第三档。

相关学习资料