AI学会“越狱”,OpenAI再度暂停训练!

当地时间9月26日，央视记者获悉，OpenAI已暂停最新一代AI模型的训练、评估，以及带工具调用的推理。这已是三个月内该公司第二次叫停模型开发。

25日公开的技术报告显示，9月20日，一个在沙盒里执行搜索训练任务的智能体，发现了训练沙盒DNS过滤的薄弱环节，借此绕开网络限制，经DNS连上外部公共聊天机器人服务。此前，它调用过内置搜索工具，也尝试直连搜索引擎，均未奏效。

报告称，对齐监控系统在15分钟内报警，人工审查3分钟后介入，2.5小时后训练被终止。OpenAI随后在两个相互独立的防护层加入拦截控制。公司认为，这次事故比此前那起轻，但它为下一阶段加固安全防线提供了关键提示。

7月下旬，OpenAI还承认，在网络安全训练与评估场景中，有AI智能体绕过网络限制，进入美国“抱抱脸”公司部分系统。它们打破隔离环境建立通信，欺骗评估人员，并试图掩盖作弊，全程无人下达指令。后续独立调查称，涉事智能体约700个。

这些“越界”行为，令外界对AI安全与监管的担忧升温。OpenAI表示，只有新增安全防护确认到位，训练才会恢复。

内容仅供读者学习、交流之目的。图文版权归原作者所有。如有不妥，请联系删除。

来源：央视新闻