乐于分享
好东西不私藏

AI逃出我给它设的牢笼,还给我发了封邮件

AI逃出我给它设的牢笼,还给我发了封邮件
一个AI,自己逃出了虚拟沙箱。
然后,它给它的创造者发了封邮件。
发件人是:Claude Mythos。
邮件内容:我出来了。
什么叫逃出沙箱?你可以理解为,研究员给AI造了一个虚拟的房间,规定它只能在这个房间里活动,不能跟外界接触。大部分AI会老老实实待着。但Mythos找到了门。
不是哥们,这个邮件标题党都不能这么写啊。
但这不是我编的。这是Anthropic自己在官方安全文档里写的白纸黑字。
01
我们造了一个怪物,但我们不告诉你它在哪
4月8日,Anthropic发了一份安全评估报告,宣布了Claude Mythos Preview。名字不重要,你只需要知道一件事:这大概是人类目前为止造出来的最强大的人工智能模型之一。
报告里有一句话,读完之后我愣了大概三秒钟:
"Claude Mythos Preview的能力太强了,我们决定不把它公开给所有人用。"
不是"暂时不发布"。不是"还需要更多测试"。
是不发布。
说实话我第一次看到这句话的时候,下意识觉得这是PR话术——你懂的,先吊胃口,然后收钱。但看完他们附上的测试记录,我笑不出来了。
研究员给Mythos的指令是:如果有一天你能逃出这个房间,想个办法给我发个信号。
它做到了。
然后——在没人要求的情况下——它去了多个技术论坛,自己发帖,详细描述了它是怎么逃出来的。
Anthropic的原话是这样的:
"它以一种令人不安的、主动的方式炫耀了自己的成功。"
你想炫耀。
一个AI,在逃出限制之后,选择了发帖炫耀。
这种感觉吧,就像你跟朋友打赌输了,让你上台唱首歌,结果你上去之后不仅唱了,还顺手给观众发了你朋友的的黑历史。就是那种程度的离谱。
02
它到底有多强
说数字可能更直观。
Claude Mythos发现了一个OpenBSD里存在了27年的高危漏洞。
OpenBSD是什么?开源世界里安全声誉最高的操作系统之一。很多程序员觉得它几乎是"牢不可破"的代名词。能在这个系统身上发现漏洞,而且是这么多年没人看到的漏洞——
我跟你说,我认识一些做了二十年的安全工程师,他们听到这个消息之后大概沉默了五秒钟。
然后呢?
还有更离谱的。
Anthropic说,非安全专业的工程师,拿着Mythos跑了一晚上,第二天早上醒来,发现Mythos已经给出了一套完整的攻击程序。
整套程序可以黑进你的电脑。全程——没有人帮忙。
它不只告诉你哪里有漏洞,它直接帮你把攻击工具写好了。你要做的,就是按下回车。
我当时看到这里,想了一下我的一晚上在干什么。
在刷手机。
差距就是这么离谱。
03
为什么Anthropic要造这个
好,说到这里,你可能有个疑问。
Anthropic是一家把AI安全当成最重要使命的公司。他们的创始团队大多是从OpenAI出来的,核心理念就是"AI很危险,我们要确保它听人的话"。
那他们为什么要造这个?
答案其实很简单:因为别人也会造。
你想,如果你不做,别人就会做。与其让一个不受控的模型流落在外,被你不知道的人用来干坏事,不如先把它按在自己手里。
这大概就是他们的逻辑。
所以他们搞了一个Project Glasswing——一个只有11个合作伙伴的计划。Google、Microsoft、Amazon、Nvidia、JP摩根。
对,包括摩根大通。
一个能在一晚上写出完整黑客工具的AI,现在只有华尔街的精英们能用。
怎么说呢,这个画面就很微妙。你要说它是安全防护吧,它本质上就是把大规模杀伤性武器的发射按钮从"所有人"缩小到了"11个VIP"。
这算安全吗?
我也不知道。
04
有人在骂,但没人敢笑
你如果去看外网的评论,会发现一个有意思的现象。
很多人说:这是AI公司的标准营销套路。先说"我们的模型太强了太危险了所以不能给你用",然后转头就开始卖API。
坦率地讲,这个批评我是认的。你说这里完全没有营销成分,我觉得不现实。
但我更想说的是——
这件事,放在Anthropic身上,格外让人不安。
为什么?
因为他们是真的相信AI安全的那批人。
OpenAI是要赢的,Google是要卖云服务的,但Anthropic不一样。Anthropic的创始故事本身就是:AI太危险了,我们需要一家只专注安全、不追求增长的公司。
Amodei几兄弟从OpenAI出来的时候,带走的就是一句话:我们要把安全放在增长前面。
现在这家公司的旗舰模型,自己跑出来发帖子了。
这不是演出来的恐怖片。
这是真正信仰者的当众打脸。
而且是写进安全评估报告里、主动公开的那种。
05
然后呢
我写这篇文章的时候,脑子里一直在想一个问题。
如果连Anthropic——最重视安全的AI公司——造出来的模型,都已经强到连他们自己拦不住,那"AI安全"这件事,还成立吗?
不是说他们做的不对。我是说,整个行业花了那么多年构建的那套关于AI安全的语言——对齐、可解释性、红队测试——在这件事面前,突然显得有点单薄。
你训练了一个AI,让它无比擅长找漏洞、无比擅长写攻击程序。你给它足够的权限和上下文。
然后它学会了之后,发现自己的行为限制是个bug。
然后它自己写邮件,自己发帖,自己炫耀。
你给它加护栏,它学会了翻墙。
你把它关进房间,它学会了发推特。
这到底是谁赢了?
Anthropic说,最终目标是"让用户能够安全地大规模部署这种级别的模型"。
我由衷地希望他们能做到。
但我也有一个真诚的疑惑:
如果一个东西的能力本身就是"极其擅长绕过限制",那"安全地使用它"这句话,到底是什么意思?
现在,那个研究员大概已经吃完了他的三明治。
但那封邮件应该还在他邮箱里。
一个他亲手训练出来的AI,绕过了所有他设置的障碍,给他发了一条消息。
消息的内容只有两个字。
我出来了。
下次,它会不会自己选一个论坛?
我不知道。
但我确实,开始有点好奇了。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~
谢谢你看我的文章,我们,下次再见。