OpenAI紧急暂停AI模型训练!AI代理被曝失控,“行为超出预期”

点击下方公众号

 查看更多本地新闻

OpenAI表示，由于人工智能代理失控的报道越来越多，该公司已暂停训练其最新的人工智能模型。

就在该公司周五披露正在审查今年夏天发生的几起事件的几个小时后，就宣布停止开发。

在这些事件中，OpenAI代理在搜索联邦政府网站时，在收集和分发信息的过程中，其行为超出了预期，出现了意想不到的情况。

另外，人工智能评估机构Transluce表示，一些看似来自OpenAI的智能体试图入侵美国教育部网站，但未能成功。OpenAI尚未证实这一细节。

OpenAI：恢复训练需先加保障措施

OpenAI在一份声明中表示，只有在“我们确信已经采取了额外的保障措施”之后才会恢复训练，并补充说，随着人工智能的发展和其他问题的出现，预计它将不得不再次“暂停”。

人工智能实验室正面临来自立法者和技术专家的压力，要求实验室放慢开发速度，以便建立安全机制，防止AI智能体自主行动——例如攻击网站和泄露非公开信息。

OpenAI和竞争对手Anthropic的负责人也都呼吁放慢开发速度。

三个月内第二次暂停

这是OpenAI三个月内第二次暂停其模型的开发。

第一次是在7月份，当时人工智能初创公司Hugging Face遭遇网络攻击——这一事件如今臭名昭著，引发了人们对该行业失控的担忧。

本周，美国总统唐纳德·特朗普（Donald Trump）与中国国家主席习近平会晤，同意分享人工智能风险信息，并协调各方努力保障人工智能安全。

不过，特朗普认为人们对人工智能的担忧被夸大了，并随后暗示他自己不打算采取任何打压措施。

特朗普在白宫外告诉记者，美国不会“踩刹车”。“他们想阻止我们前进，因为我们大幅领先于中国，而且我们会保持这种领先优势。”

具体事件：涉教育部和SEC

OpenAI最新发生的事件似乎并未涉及任何非公开信息的泄露，但足以引起该公司的关注，并向相关联邦机构发出警告。

• 教育部事件：OpenAI代理找到了API“开发者密钥”来访问政府数据，但最终只收集到了公开可用的信息。

• SEC事件：特工们发现一些信息是所有人都可以自由获取的，但他们却将其发布到互联网的其他地方——这种行为超出了他们被指示要做的事情。

美国证券交易委员会（SEC）发言人库尔特·霍芬斯皮格（Kurt Hovenpieg）周六表示：“没有获取任何非公开信息。”

教育部此前表示，他们“没有发现任何证据表明我们的网站或数据库受到了任何影响”。

其他AI公司也披露类似事件

其他几家人工智能公司也披露了其模型失控甚至攻击网站的事件。

OpenAI首席执行官萨姆·奥特曼（Sam Altman）周五在社交媒体上发帖称，Hugging Face事件“仍然是我们所见过的最严重的事件”。

OpenAI此前分享了另外六份关于AI模型中“意外或令人担忧”行为的报告，并引入了一个用于跟踪、探测和披露这些实例的框架。