夜雨聆风学习资料网

ARTICLE · 1122187

AI不是新物种,而是软件!黄仁勋:不安全就别发布

AI不是新物种,而是软件!黄仁勋:不安全就别发布

安全应该放在第一位。

Agent 需要像员工一样管理权限。

AI 是软件,也是数学。

在 CNN 的这场访谈里,黄仁勋反复把 AI 安全拉回工程问题。主持人安德森·库珀则不断拿事故和竞争压力追问,试图弄清这些办法能不能真的起作用。

这段对话值得看,因为我们给 AI 的任务正在变化。整理资料、修改代码、调用业务系统,越来越多的操作可以交给 Agent 连续完成。它获得的权限,也开始影响聊天窗口以外的人。

一个助手能替你做多少事,与它出错时能影响多少事,往往取决于同一次授权。

黄仁勋相信技术控制可以改进。库珀想问清楚的,是控制已经失效时怎么办,以及公司会不会为了竞争继续往前走。

下面按主题整理这场访谈,关键原文附中文译文,分析部分为个人看法。文章同时参考了 CNN 的节目文字稿及保留收尾问答的较长版本。

Agent 接上工具,授权范围开始影响结果

采访一开始,黄仁勋就表明了立场。

“AI safety is paramount.”

AI 安全至关重要。

随后,他谈到 Agent 与工具、文件和外部网站的连接。这也让安全问题进入了实际执行的环节。

黄仁勋解释,Agent 已经在连接网站、工具、记忆和文件。

假设让一个助手处理客户邮件,整理回复草稿、把草稿存进文件夹、向客户发送邮件,是三项不同的操作。前两步做错,还可以检查和修改;邮件发出去以后,收件人已经拿到了内容。

如果任务只是起草回复,就没有必要把发送权限提前交出去。

这件事看着很小,却会改变产品的使用方式。一个笼统的“允许访问邮箱”,很难让人理解自己究竟同意了什么。读取哪些邮件、能否下载附件、能否发送内容,应该在授权时说清楚。

连续完成任务很吸引人,但操作者得知道哪些步骤可以交给它,哪些步骤还会等自己作决定。

给数字员工分配权限,要能追到授权人

黄仁勋用数字员工来解释访问控制。

“like a digital employee”

像一名数字员工。

数字员工需要明确的访问权限,并在受约束的环境中运行。

这个比喻把问题说得很直观。工作职责不同,账号权限也应该不同。让 Agent 帮忙查资料,与让它代表一个人改数据,需要的授权范围显然不一样。

NIST 下属 NCCoE 在 2026 年 2 月发布的概念稿,也在讨论类似问题。文件把身份识别、授权委派、日志和透明度列为研究方向,并提出如何把 Agent 的行动关联到人的授权。这是一份用于征求意见、确定项目方向的概念稿。

NIST NCCoE 概念稿第 6 页。红框标出授权委派、日志与透明度的研究方向;标注为后加。

同一概念稿第 4 页。红框标出将 Agent 身份与人关联、将行为追溯至人的授权这两个问题。

落实到产品上,一次操作代表谁、使用什么权限、依据哪项任务,都应该能在记录里找到。

比如助手帮你分析一份团队报表。它获得的应当是这次任务所需的数据访问范围;另一个项目的文件、其他同事的邮件,不该因为登录了同一个账号就自动纳入任务。

执行过程中的追加授权也要看得见。Agent 原本只负责分析,后来发现需要修改源数据,就应该把这次变化交给操作者判断。

这样,人批准的是一件具体的事。事后查看记录,也能知道自己当时同意了什么。

沙箱要说明限制了什么,监控要发现哪里越界

库珀拿测试中的沙箱逃逸事件追问,黄仁勋仍然相信隔离能够做好。不过,他也表示并不了解事故中沙箱的具体建法。

库珀追问沙箱逃逸;黄仁勋主张加快安全技术,并把这些事故视为工程问题。

这个回应留下了一个需要证据的问题。认为隔离可以改进,与证明眼前这套隔离有效,还隔着实际测试。

沙箱究竟允许 Agent 读哪些文件、访问哪些地址、调用哪些外部工具?这些范围需要单独交代。

Docker 的官方隔离文档给出了一个很具体的例子。直接挂载工作目录时,Agent 的修改可以立即反映到宿主机;克隆模式把宿主仓库以只读方式挂载,让 Agent 在内部副本上工作。但只读挂载仍然可能包含未被 Git 跟踪的文件,例如目录里的 .env。

Docker 官方文档原文截取。直接挂载允许读写工作目录,克隆模式让 Agent 在内部副本上工作;红框为后加标注。

文档明确提醒:克隆模式防止修改,不防止读取;未跟踪文件及 .env 仍可能被读到。

也就是说,防止修改文件和防止读取文件,是两项需要分别验证的能力。知道自己用了哪种模式,比只知道“开了沙箱”更有用。

监控则要处理另一个环节。任务已经开始,怎样发现它正在访问任务之外的资源?发现以后,怎样停止相关操作?

记录里应当能找到实际访问的资源、被拒绝的请求和额外权限申请。假如任务被取消,仍在执行的外部操作也应该清楚列出来。操作者才能知道哪些影响已经发生,哪些还有机会撤回。

这些信息需要出现在任务进行的时候。等到交付后才翻出一份长日志,操作者就只能事后追查。

不安全就别发布,决定要落到具体的人

当库珀提到前沿模型公司自己也在表达担忧时,黄仁勋的回答很干脆。

“just don’t release it.”

就别发布。

库珀紧接着追问竞争会不会让企业继续发布存在风险的产品。黄仁勋坚持企业应当自我约束。这是访谈里一处没有被轻易化解的分歧。

从“不安全就别发布”到竞争压力与监管。

需求完成,测试通过,演示也很顺利,很容易让人产生可以交付的感觉。但假如产品已经能够代表用户发邮件、修改客户记录,批准人还需要看到权限调用和外部影响的验证结果。

我不认为把每一个动作都交给人点确认,就能解决问题。确认次数太多,人会越来越难分辨哪些请求真正需要停下来读。

更有用的做法,是让授权范围本身足够清楚。任务在范围内可以继续执行;涉及新增收件人、扩大数据访问、改变业务状态时,把具体变化拿出来。

发布决定也应该如此。负责批准的人得有足够的信息,才能判断这次改动可以承担什么后果。安全负责人提出异议时,也得有实际影响发布进度的权力。否则,自律最后很容易只剩一句要求大家认真一点的话。

AI 是软件,接入真实系统仍要控制后果

库珀问到 AI 是否属于另一种生命或物种,黄仁勋给出的判断很明确。

“It’s definitely software. It’s definitely math.”

它就是软件,也是数学。

库珀随即把话题带到机器人和武器等现实系统。

“AI 是软件”之后,双方继续讨论机器人、武器及尚未发布模型的风险。

这次追问值得留下。软件的定义,并不会告诉我们某次执行的影响有多大。发出一条指令以前,仍然要检查它会改变什么。

开发者可以设计访问控制、隔离与停止机制,也应该拿出证据说明这些设计是否生效。这是黄仁勋强调工程责任的方向对我最有价值的地方。

但系统里有代码、有数学,还不足以支持我们对全部行为作出保证。一次任务可能接触新的输入、调用新的工具,执行过程中也可能出现原本没有预料到的情况。

这需要落实成可观察的动作。任务究竟走到了哪一步,做过什么,下一步将影响哪些资源,都要让操作者有办法知道。

安全技术要加速,投入之后还要看结果

黄仁勋希望增加安全技术投入。他对工程改进的信心,也贯穿了整场对话。

增加人才、资金和算力能否提升安全?

投入之后,要检查实际效果。隔离不够,就检查哪些资源还可以访问;异常发现得晚,就检查记录和告警在哪一步失效。

一个团队新增了监控系统,真正有意义的变化应当是它发现了以前看不见的行为。一次额外授权被拒绝以后,任务有没有停止;一次异常被发现以后,影响有没有被限制,都比监控页面上多了几张图更能说明问题。

独立复核也有必要。负责赶交付的团队很熟悉产品,却同样承受着进度压力。让另一组人检查控制效果,是为了增加发现遗漏的机会。

可以投入更多算力、资金和人力,但最后要回答的是哪一种失败被发现了,哪一种后果被阻止了。

监管提出要求,系统要在执行时兑现

较长版本的收尾保留了黄仁勋支持监管的表态。他认为监管可以设定标准,同时强调仍然需要技术控制。

完整收尾:黄仁勋支持行业监管,同时坚持公司应主动自律。

监管提出的要求,需要由产品在执行中兑现。

以授权记录为例,要求保留记录以后,产品还得决定记录哪些内容、保存在哪里、谁能检查,以及怎样关联到一次具体操作。只留下一份最终答案,很难让人还原它怎样得到授权、怎样执行。

停止机制也一样。产品文档可以写明用户有权取消任务,但执行系统需要处理已经启动的操作、仍然有效的凭证和等待中的请求。

这里的困难会出现在很普通的细节里。用户点击取消时,一封邮件是否已经发出?一项修改是否已经进入外部系统?哪些结果还能撤回,哪些只能补救?

这些问题做清楚,操作者才知道取消按钮意味着什么。规则提出的权利,也才能成为产品里实际可用的能力。

评论区里,争议落到了审核能不能跟上

原视频的评论区也能看到这场分歧。

@luiimila支持加强配套安全技术。他拿发动机与冷却、保护系统作比,认为应该继续建设 AI 周围的防护能力。

原视频评论原文。黄色标出对黄仁勋的支持,以及发动机冷却、润滑等配套系统的类比;标注为后加。

@rja62b则自称是软件开发者,也投资英伟达。他理解把 AI 看作工程问题的说法,但担心 Agent 产出的代码太多,审核者跟不上,而交付压力又会挤压有效审查。

黄色标出两点担忧:审核者跟不上 Agent 的代码产量,以及管理层压力妨碍有效审查。

这条意见比一句笼统的“不相信公司自律”具体得多。一个人可以同时看好技术,又认为现有组织方式接不住它带来的工作量。

我的判断是,如果安全方案最终依赖人把每一步都看完,那么产品团队就需要证明这个安排做得到。哪怕审核人很认真,任务量超过可处理的范围,制度也会失去作用。

自动控制要承担哪些工作,人在哪些节点作决定,都应该在部署前讲清楚。把责任交给人以后,还要给他足以履行责任的时间和信息。

写在最后

库珀提醒黄仁勋,有些攻击来自尚未发布的模型。这个细节让我很难把“不安全就别发布”当成充分的答案。实验中的 Agent 一旦能够访问别人的网站,就可能让实验室外的人承担后果。对受到影响的人来说,产品有没有正式发布,并没有那么重要。

我赞成黄仁勋坚持从工程上找办法。把 AI 当成软件,我们就有理由继续追问隔离怎么做、权限怎么给、异常为什么没有被发现。不过,他也承认,自己并不知道事故中的沙箱究竟是怎么建的。他在这场对话里给出了改进方向,却没有提供足够的证据,让人判断那些控制措施究竟能管住什么。

有能力把系统做得更安全,与有充分理由让它现在继续运行,中间还缺少验证。 我对技术进步的信心,并不能替某一次实验、某一个已经上线的 Agent 完成这一步。

库珀关于竞争的追问,也不能靠企业应当自律就结束。假如同一家公司既决定实验能走多远,又判断风险是否可以接受,那么公司的收益与外部人的损失,能否在这个判断里得到同样的重视?我不需要先认定哪位 CEO 有恶意,才提出这个问题。即使决策者真诚地相信自己做得对,也可能低估由别人承担的代价。

所以,我更在意谁需要拿出证据。被 Agent 访问的网站,可能没有选择参与这场实验;普通用户也很难知道后台给了模型多少权限。如果还要等他们先发现异常、证明自己受到了影响,才轮到开发者解释控制是否有效,要求就放错了地方。掌握系统、设置权限、决定部署的人,应当先说明允许它做什么,以及为什么认为这些范围可控。外部复核能否介入、发现问题后谁有权要求暂停,也应该提前讲清楚。

黄仁勋在收尾明确说,他也认为需要监管。我认同的监管价值,就在于让这种说明和复核不必完全依赖公司的意愿。当然,具体要求仍然需要技术去实现。一份规定无法自动挡住越界访问,但它可以要求开发者为自己的安全判断提供依据,并接受公司以外的检验。

回到我们每天使用的 Agent,前面谈到的授权记录也不能被理解成找出一个点过“同意”的人,就算责任有了着落。用户看到了多少信息,有没有机会缩小权限,能不能在执行中改变主意,都影响这次同意有没有实际意义。产品替人连续做的事情越多,越需要把这些选择做清楚。不能把复杂过程藏起来,再要求用户为整个过程负责。

我愿意把更多工作交给 AI,也期待它帮人腾出时间。但我希望省下的是重复操作,用户仍然能够理解自己作出的决定,并在必要时收回授权。如果一个系统越来越能干,使用者却越来越难知道自己同意了什么、还能阻止什么,那么它节省下来的时间里,究竟有多少只是被省略的判断?


相关学习资料