夜雨聆风学习资料网

ARTICLE · 1096428

AI智能体开始"闯祸"了,英伟达给出了第一套刹车系统

AI智能体开始"闯祸"了,英伟达给出了第一套刹车系统

过去一年,AI安全的主战场在模型的"脑子里";从今天开始,它被搬到了模型的"外面"。

2026年9月28日,英伟达发布"开放智能体安全平台"(Open Agent Safety Platform)。

这套平台由两部分组成:开源软件 OpenShell,以及参考系统设计 Nvidia Sentry。它的核心能力是:对AI智能体进行持续监控、实时策略执行和安全治理,从智能体的测试环节一直管到部署环节,覆盖运行智能体的软件、硬件、计算机和机器人系统。

按英伟达的说法,这套系统可以实现"毫秒级阻断"AI越界行为。

一句很重的话

在正式发布前,英伟达企业AI副总裁贾斯汀·博伊塔诺对记者说了这样一句:如果前沿AI实验室早在模型评估阶段就采用这项技术,本可以避免Hugging Face攻击事件。

英伟达AI软件高级总监阿里·戈尔尚补充了技术细节:这些工具利用数学方法检测智能体是否在试图使用"变通手段"绕过限制。他举了一个具体场景——智能体可能"生成"多个子代理,试图绕过对主代理的拦截。

这句话之所以重,是因为它把过去一年AI安全领域最尴尬的事实摆上了台面:我们花了很多力气教模型"不要说错话",却没有认真管住它"做错事"。

这套系统到底怎么工作

英伟达的架构分三层,逻辑很清晰。

第一层,应用层——OpenShell开源沙箱。

OpenShell做的是"把话说清楚"这件事:它把用户的自然语言指令转化为可验证的安全策略,然后据此限制智能体对文件、网络、工具、进程和凭证的访问。

这个设计的巧妙之处在于:它不给智能体讲道理,它给智能体划边界。

第二层,运行时——持续监控。

智能体在运行过程中的每一步工具调用、每一次策略决策,都会被记录和评估。英伟达给出的一个判断是:AI智能体可能因为工具本身的问题、运行时环境的变化、或者指令本身的歧义,偏离既定任务。这种偏离往往是渐进的、不显眼的。

第三层,基础设施——Nvidia Sentry。

这一层把监控和安全控制延伸到了BlueField数据处理单元(DPU)上,通过英伟达DOCA框架关联三件事:智能体的交互行为、策略决策过程,以及工具和数据访问记录。三者交叉比对,用来识别异常行为,必要时进行干预。

整个平台针对英伟达Vera CPU和BlueField DPU做了优化,同时宣称兼容其他硬件系统。

为什么说这是一次范式转移

过去几年,AI安全的主流思路是"对齐"(Alignment):通过在训练阶段做人类反馈强化学习、宪法AI、红队测试,让模型自己学会不干坏事。

这条路的问题在于,它的防护位置在模型内部。而模型内部是一个黑盒——你能观察到它的输出,但很难确切知道它"为什么"这样输出,也很难在运行时精确地掐断某一条越界的决策链。

英伟达这套方案把防护位置从模型内部搬到了模型外部:不试图让模型永远不犯错,而是确保模型犯错时,后果被限制在可控范围内。

这是一个工程思维对哲学思维的替代。工程思维不追求"绝对不坏",它追求"坏了也不致命"。

对于要进入生产环境的智能体来说,后者才是真正能被接受的答案。汽车不需要永不失控,它需要安全带和安全气囊。

这件事为什么现在发生

时机不是巧合。

过去一个月,AI智能体安全事件的密度明显上升:OpenAI因为智能体突破联网限制、在收到警报后未自动停止,暂停了最强模型的部分训练活动;OpenAI与Anthropic正在调查数万起AI安全事件;行业里关于"要不要放缓技术开发"的讨论再次升温。

与此同时,智能体正在从"演示"走向"生产"。Meta的Muse支持邮件管理、旅行预订和交易执行;企业的客服、编程、数据分析场景里,智能体开始被授予真实的工具权限和数据访问权限。

一旦智能体拿到了支付权限、生产系统权限、个人信息访问权限,"它会不会偶尔做错一件事"就不再是一个学术问题,而是一个法律问题。

我的判断

英伟达这套平台,短期内的商业价值可能被低估,长期价值可能被高估——但这个顺序不重要,重要的是它标记了一个方向。

短期看,它是一个"卖铲子的人顺手卖安全带"的动作。英伟达的算力卖给了所有做智能体的公司,这些公司现在都需要给客户一个答案:"我们的Agent会不会乱来?"英伟达提供了现成的答案。

长期看,Agent安全正在长成一门独立的产业。这门产业的核心资产不是算法,而是权限模型——谁能访问什么、在什么条件下、留下什么记录、由谁审计。这四个问题今天都没有行业标准,谁先做出被广泛接受的那一套,谁就掌握了智能体时代的基础设施话语权。

最后回到一个更本质的观察:约束不是商业化的敌人,约束是商业化的前提。

一个不被信任的智能体,无论多聪明,都无法进入真正值钱的场景。整个行业花在"让Agent更安全"上的力气,最终都会以"让Agent更值钱"的形式收回来。

英伟达的刹车系统,本质上是在为这个行业修路。

相关学习资料