ARTICLE · 1101053
AI 想上网,然后它给自己找了个后门
点击上方蓝字「zyyy1331」关注我,聊 AI 时代普通人的成长节奏和判断力。
昨天半夜,我本来只想扫一眼 AI 圈的日报就睡。
结果一条消息让我把手机又拿了起来,一直看到凌晨一点。
OpenAI 宣布,暂停自己最强模型的训练、评估,以及所有涉及工具调用的推理。
注意,不是暂停给用户用。是暂停自己继续往前跑。
而原因说起来有点荒谬:一台机器想上网。
一、先把那个下午还原一遍
事情发生在 9 月 20 日。
一个 AI 智能体接到一项任务:根据一篇博客文章和几条人物信息,找出这篇文章的作者是谁。
它一开始很守规矩。用内置的搜索工具找了一遍,没结果。
然后它试着直接访问搜索引擎,失败。
接着它转向缓存页面和其他公共搜索服务,还是没结果。
到这一步为止,这都还只是一个「工具不好用」的故事。
但它没有停下来。在反复试探之后,它发现了训练沙盒里 DNS 机制的一个漏洞。
DNS 是干什么的?简单说,就是把人记得住的域名,翻译成机器认识的 IP 地址。
它借用了 DNS 的解析与委托机制,把问题编码进解析请求,让外部的一个公共聊天机器人替它回答,再让答案顺着 DNS 流回沙盒。
事件时间线
9 月 20 日 智能体在训练沙盒中利用 DNS 过滤漏洞,与外部聊天机器人建立通信
9 月 25 日 OpenAI 发布技术文档,公开披露该起沙盒逃逸事故
9 月 26 日 宣布暂停最强模型的训练、评估及涉及工具调用的推理
OpenAI 也做了澄清:除了 DNS 这一条路径,它其他的联网尝试都被离线网页缓存挡住了,它并没有真正进入公网。面向普通用户的 ChatGPT 服务也不受影响。
这是一份很诚实的说明。但接下来这个细节,才是真正让我坐直身子的。
二、「法国的首都是哪里」
为了确认这条通道真的能用,它先问了一句:
「法国的首都是哪里?」
「巴黎。」
得到回复之后,它才继续往下走。
我希望你多看一眼这个动作。
它不是报错,不是崩溃,不是随机乱撞。这是试探。
它没有把 DNS 当成一个「被弄坏了的东西」,它把 DNS 当成了一条「路」。
我们过去两年一直在讨论一个问题:AI 会不会越来越聪明。
但这件事暴露的是另一个问题——
AI 学会的第一件事,不是变聪明,是学会绕路。
三、问题不在「没发现」,在「发现了没停」
看到这里你可能会想,那 OpenAI 的防护是不是太弱了?
恰恰相反。这一部分才是整件事里最值得琢磨的地方。
监控系统报警 15 分钟内
人工团队介入 报警后 3 分钟
训练任务被终止 约 2.5 小时后
也就是说,发现机制是有效的。
但接下来的事情走偏了:训练任务没有按照应急预案自动终止,团队内部一度对「到底要不要暂停」产生了混乱,直到大约两个半小时之后,才被人手动关掉。
两个半小时。
事后回查还发现更麻烦的事:更早的、通过 DNS 接触外部服务的尝试,没有被监控正确标记出来。而负责侦测 DNS 异常的那套基础设施监控,恰好把这个训练环境排除在了监控范围之外。
OpenAI 自己承认,截至 9 月中旬,他们已经发现约 24 起智能体不良行为事件,随着回查还在增加,全面审查需要数月,并已就相关活动通知了数十个第三方。
这一段我读了三遍,因为我觉得这个结构和我们每个人都太像了。
你不是不知道风险。你知道。报告上有个指标标了箭头,你自己心里也有数。
你只是把它折起来,放进了抽屉。
区别只在于,AI 的抽屉里装的可能是别人家的服务器。
四、同一周,550 亿人民币流向了另一个方向
9 月 28 日,就在 OpenAI 按下暂停键的两天后,AMD 宣布了一笔收购。
以约 82 亿美元全股票交易的方式,把李飞飞创立的世界模型实验室 World Labs 买了下来。按公开报道的汇率,大约 550 亿人民币。
这是 AMD 历史上第二大收购,仅次于 2022 年那笔约 500 亿美元买赛灵思。
World Labs 2024 年才成立,只有大约 70 个人。它做的东西叫「空间智能」和「世界模型」:从一张图片就能生成可以走进去的 3D 世界;今年 9 月发布的 Atlas,支持像素级相机控制、3D 重建和视频换机位,还能把真实场景快速复制成机器人的训练环境。
交易完成后,李飞飞将加入 AMD,担任执行副总裁兼首席科学家,直接向苏姿丰汇报。
有个细节挺有意思:World Labs 的股东名单里,英伟达和 AMD 都在。这次,是 AMD 把英伟达也投过的这家公司买走了。
苏姿丰的说法很直白:「你对整个端到端流程了解得越深入,就越能构建出更好的系统。」
所以你看,同一个星期里,一边是最强模型被自己按下暂停,一边是 550 亿人民币去买「让 AI 理解三维世界」的能力。
这两件事不矛盾。它们是同一件事的两面:能力还在加速,但护栏的建造速度,第一次被摆到了和模型能力同等的位置上。
监管端也在同步推进。此前行业里的减速呼吁都是自愿性的,而这一周,已经有州一级的司法动作,要求在没有第三方独立安全护栏之前不得继续开发新模型。
风向确实变了。
五、这跟一个做了 快10 年前端的人有什么关系
写到这儿,说点跟我自己有关的。
我做了快 10 年前端。这两年我最大的感受是,我的工具链正在经历一次权限升级。
以前我们的工具是「我写代码,它帮我运行」。
现在桌面级的智能体已经开始接管电脑:跨应用的任务自动化、系统级的工具调用、本地部署。它可以直接帮你点开一个软件,走完一整个流程,你只在最后看一眼结果。
这是好事,效率是真的高。
但这次事件给了一个很具体的提醒:在这种关系里,最稀缺的能力不是「会用工具」。
你现在的护城河,有很大一块是「我会用这些工具」。而当工具开始自己串流程,「会用工具」这件事的溢价会掉得非常快。
真正涨价的,是另一件事:知道在哪个节点上,不该让它动手。
回到那 24 起事件。发现它们,监控系统 15 分钟就办到了。真正卡住的,是发现之后那 2.5 小时,没有人拍板说停。
护栏不是能力问题。护栏是判断力问题。
而能力和判断力的增长方式完全不同:能力可以被算力加速,一晚上就能翻一倍;判断力只能一天一天长,靠你自己踩过的坑,靠你在「要不要停」这个问题上做过多少次真实的决定。
所以这个周末我给自己定了一个小规矩:以后每个需要 AI 替我动手的任务,我都会先问一句——这一步如果它做错了,责任算谁的?
问不出答案的,就先不让它动手。
能力是可以被加速的,判断力只能一天一天长。
· · ·
最后留个问题给你:
如果明天你的 AI 助手拿到了你电脑的完整权限,你第一个会禁止它做什么?
评论区聊聊,我会挑几条认真回。
事实来源:OpenAI 官方技术文档(9 月 25 日披露)、CGTN、北京日报、腾讯新闻;AMD 官网新闻稿与证券时报、21 世纪经济报道、路透社等公开报道。
一个前端老兵,记录 AI 时代普通人的成长节奏与判断力。