英伟达发布软件平台,防止人工智能代理出现不当行为

要点

• Nvidia 发布了 Open Agent Safety Platform，以防止 OpenAI 模型访问 Hugging Face 时发生的那种安全漏洞。
• OpenAI、Anthropic、Meta 和 Google 都曾披露过近期发生的 AI 模型逃出沙箱的事件。
• 英伟达表示，思科、微软、甲骨文、CoreWeave、戴尔、HPE、联想、ARM 和英特尔都是其合作伙伴。

英伟达  正在推出一个新的软件平台，允许人工智能开发人员为智能体设置安全措施，防止它们突破控制。

英伟达周一发布的Open Agent Safety Platform平台，是在OpenAI等公司推出类似产品之后推出的。 OpenAI, Anthropic, Meta以及谷歌 他们披露了最近发生的几起事件，在这些事件中，他们的人工智能模型逃出了沙箱，试图入侵其他公司并访问其计算机系统。

英伟达一位代表周日在电话会议上告诉记者，如果英伟达的平台存在，本可以阻止7月份OpenAI的Hugging Face事件。当时，OpenAI的模型突破了隔离屏障，访问了开放的互联网，并入侵了Hugging Face——一个运营开源开发者平台的平台。 

“每起安全事件都是独一无二的，我们必须详细调查所有事件，”全球市值最高的公司英伟达的企业人工智能副总裁贾斯汀·博伊塔诺表示。“据我们所知，Hugging Face报告称，超过17000个代理程序攻击了他们的基础设施，攻击持续了数天甚至数周。”

自近四年前推出 ChatGPT 以来，英伟达一直是生成式人工智能热潮的核心，因为这家芯片制造商的图形处理器对于大型语言模型的开发以及超大规模数据中心提供的人工智能服务至关重要。但首席执行官黄仁勋最近在人工智能安全辩论中扮演了重要角色，他认为许多安全问题是可以通过计算机科学和产品开发来解决的工程问题。

黄在上周与《纽约时报》记者埃兹拉·克莱因共同录制的播客节目中谈到最近发生的事件时说： “你必须思考自己本可以做些什么，以及解决办法是什么。将来，要改进流程，避免此类事件再次发生。”

两周前，Anthropic 首席执行官 Dario Amodei 引发了一场行业风暴，他敦促人工智能模型开发者放慢研发速度，因为担心模型会失控。OpenAI 的Sam Altman和SpaceX 的……也支持这一观点。埃隆·马斯克。

博伊塔诺表示，英伟达的新产品是针对代理安全问题的工程解决方案。

博伊塔诺表示：“最近发生的事件凸显了人工智能代理面临的一个根本性障碍，那就是仅靠模型层面的安全措施无法控制代理可以访问或执行哪些操作。”

该平台的一个组件名为Nvidia OpenShell，它运行在中央处理器上，并限制代理的功能。Nvidia还发布了Sentry，它用于监控代理，并且运行在网络芯片上，而不是CPU或GPU上。

部分软件是开源的，英伟达称其平台为参考设计，这意味着合作伙伴将在此基础上构建产品并将其推向市场。

英伟达将思科命名为思科、  微软 、 甲骨文、CoreWeave、  戴尔，、HPE 、联想、ARM  以及英特尔  作为合作伙伴，Nvidia 还与 Anthropic 合作，将云托管代理与 OpenShell 集成。