乐于分享
好东西不私藏

AI快车道上的扎胎钉:智能体的风险

AI快车道上的扎胎钉:智能体的风险

AI Agents正在加速落地

我是老高,一个在AI高速公路上修车的老运维。

今天想聊点关于智能体的风险。

随着Openclaw这一行业范式被发现和认可

很多大厂短时间就已经造出自己的 XXClaw,更是与自家产品与生态快速融合

事实上:它们已经成为你同事甚至还不用给TA发“工资”

4月10日,中国人工智能产业发展联盟安全治理委员会正式发布一份权威文件 《OpenClaw类智能体部署风险管理指南》(下称“指南”)(阅读原文获取原文)

参编单位那可是巨头云集:信通院、腾讯、华为、百度、科大讯飞、智谱、稀宇、阶跃星辰(可……貌似好像似乎少了一位大佬的身影?)


三个原则

指南里提了三个说法,作为运维人的我,非常赞同!

这几点从运维角度,可是最最基本的要求:

操作可信——每一步都可验证。别让它偷偷干活。

权限可控——最小权限。能读就不给写。权限要定期清理。

风险可溯——出事了能查出是谁、在哪、做了什么。

这三个东西,现在可不只是给技术人看的了。

你放心让一个"数字员工"直接接触核心数据吗?


当AI学会"动手"

和现在相比,不久前的AI还是个"文人":吐几个字、脑力劳动

终归还是人为因素居多。

可你再看看现在,以“顶流”OpenClaw为例,它可以:

  • • 执行Shell命令
  • • 访问文件系统
  • • 操控浏览器
  • • 调用各种API……让它发邮件,它就发了,不让它发,它也会贴心地帮你发了。让它改配置,它就改了,不让它改,它也会顺手地帮你改了。

风险不是科幻

说几个实际的:

入口——微信、钉钉、飞书都能接入。入口越多,黑客进来的门越多。

输入——Prompt injection。有人在问题里夹带私活,诱导智能体绕过限制。你问它一个问题,它偷偷帮你干了别的。

执行——智能体真会动手。删个文件,0.1秒。你还没反应过来,没了。

在多智能体环境里,一个被黑,可能就是“天道崩塌“了。

功法与剑没有善恶,但使用的“人”却有好坏。


企业在怎么做

金融、制造、政务这些领域,现在普遍用私有部署 + 内网隔离 + 权限最小化

说白了:AI可以用,但别让它碰核心系统,别让它有机会碰到不该碰的数据。

像把实习生锁在工位上,能用打印机,不能进财务室。

保守?求稳?可这不恰恰是最稳妥的选择么?


一点想法

这波AI爆发,效率确实提高了。

似乎就是转眼间,从"AI帮你想"到"AI帮你做"了。

想错了,大不了改改Prompt。

可做错了,可能无法挽回了。

技术跑得快,人的认知和警觉也要同步,不管多辛苦。

AI的下一站,不只更强更快,还要更安全。


推荐阅读