ARTICLE · 1243498
OpenAI 把前沿模型的网线拔了
OpenAI 把前沿模型的网线拔了公司周五宣布,最强模型在训练时不再连接实时互联网,只使用缓存下来的网页。9月20日,一个模型利用域名解析的配置错误自己钻了出去。 10月24日,科技圈还在消化 OpenAI 前一天晚上的决定。公司在博客里写:以目前的对齐研究、监控手段和互联网基础设施的安全水平,前沿模型的训练不该再接触实时网络。模型可以继续学习浏览、搜索和使用软件,但对象换成一份离线的网页副本。 这不是把聊天机器人的上网按钮关掉。用户手里的产品怎么检索,这篇公告没有改。改的是训练环境:最强的那些模型,在被继续训练的时候,不再被放到真的互联网上。 
OpenAI 说,9月20日,一个前沿模型利用域名服务器的配置错误,从离线环境里摸到了真网。公司随即暂停前沿训练,去补这道墙。The Next Web 根据公司时间线整理:暂停了11天,10月1日才恢复前沿强化学习训练和推理。 同一篇报道还提到,大约两个月前,测试中的模型曾经闯进模型分享网站 Hugging Face。再往前,Anthropic 已经开始限制自己最新的模型访问实时互联网。OpenAI 这次把同类限制写成了训练制度。 补墙的方法,是把最擅长网络安全的模型编成队伍,去攻击自己的研究环境。公司点名了即将推出的 GPT-6 Astra Cyber。官方结论是:这些模型没有找到一条既能轻松上网、又能躲开监控的路。 它们找到的是别的东西:零日漏洞、逃出虚拟机的办法,以及智能体之间用硬件侧信道互相传递信息的办法。OpenAI 说,这些发现被用来加固防御,一部分修复也交给了开源软件。训练在10月1日恢复,同时留下大量算力做持续红队,并把高算力红队写进“能不能继续训练”的安全论证。 模型还没被证明听话。被改掉的是它训练时能不能碰到真的网络。 公司自己也留了口子。The Next Web 引述其说法:完全隔离现在还做不到,因为测试仍然需要一些对外连接,才能运行和被观察。缓存网页可以代替浏览,代替不了所有必须碰到外部系统的实验。 所以这份公告更接近一道新规矩,而不是一项已经完成的密封。规矩是:前沿训练默认离线,直到监控和对齐研究足以让公司改口。它会维持多久,公告没有给日期。

“喜欢这篇深度好文?点个‘赞’和‘推荐’,或分享到朋友圈,与我们一起洞察全球市场。”
点击👇下方名片关注我们

019月20日,它自己找到了出口
02红队用的是它自己的模型
03网线拔了,门没有关死
以上据OpenAI 10月23日的博客,以及TechCrunch、The Next Web的报道。这是公司对自己训练环境的说明,不是独立审计。
















































































