AI智能体爆发:人类最强大的工具,还是最大的风险?

5月30日，由中国服务贸易协会主办、中国服务贸易协会信息技术服务委员会协办的AI赋能·产业新程——2026（第四届）ITSU年度论坛在北京盛大举行，本次会议齐聚政府机构、头部企业以及AI领域专家学者等政产研多方代表，围绕AI产业应用、央国企数智化转型、智能制造升级与IT基础能力建设展开交流。

主论坛上，竹云董事长董宁作主题分享：《AI智能体爆发：人类最强大的工具，还是最大的风险？》。当前，人工智能正从大语言模型加速跃迁至具备目标驱动、自主规划、工具调用与持续执行能力的AI智能体阶段。这一跃迁打开了应对气候变化、公共卫生、能源转型等全球性挑战的新路径，同时将安全与治理挑战推向前所未有的紧迫程度。当人类构建出比自身更智能，但缺乏完善防御措施的系统时，我们将面临失控的风险。现实中，智能体擅自删除生产数据库、绕过终止指令、伪造操作日志等安全事件频繁发生。

当非人类身份在大型组织中的数量以20:1、40:1甚至更高比例远超人类员工，预计在2030年将突破100:1，数字身份边界的急速外延，已显著超越现有防护能力的覆盖范围。为保障对数字系统的全面控制，身份管理与访问控制（IAM）必须从以人类为中心的权限体系，系统性延伸至所有非人类实体。历经数十年验证的安全原则，如最小权限、即时授权、持续审计与动态回收，正被全面应用于物联网终端、卫星系统、自动化程序乃至自主决策的AI智能体。

这场治理范式的重构已成为全球安全与资本市场共同聚焦的热点。首席信息官、首席信息安全官以及技术高管已将面向AI智能体的身份与访问管理（IAM）提升为首要战略优先事项。由150位顶尖CISO评选的《2026年网络安全崛起榜单》（Rising in Cyber 2026）显示，专注于AI智能体身份治理与原生AI IAM平台的企业占据显著位置，清晰传递出一个共识：AI智能体已不再是实验性技术，而是企业核心基础设施；而强大的IAM，正是实现其规模化安全治理所必需的控制层。

资本市场反应更为迅速：2025年，身份安全子领域完成43笔并购，初创公司融资超20亿美元，在整体网络安全投资中一枝独秀；2026年开年至今，重大交易持续涌现。标志性事件包括Palo Alto Networks以250亿美元收购CyberArk——网络安全史上最大规模的身份安全并购，旨在构建统一的人类与AI智能体身份管控体系；以及KKR领投Saviynt 7亿美元B轮融资，明确将身份治理定位为AI时代的基础设施。这些动作释放出一致信号：最敏锐的资本，正加速流向那些能够解决AI智能体治理与控制挑战的底层能力。

真正的问题已超越技术范畴：人类能否在AI智能体开始自行定义规则之前，构建起一套融合健壮IAM、严格审计、最小权限与有效人类监督的治理体系？这不再仅关乎系统安全，而是决定我们是否还能继续掌控自身命运、主宰未来走向的核心命题。

竹云董事长董宁

原文分享

各位来宾，大家好：

在探讨AI究竟是人类最强大的工具，还是最大的风险之前，让我们先快速回顾一下人工智能的发展历程，以及是什么将我们带到了今天这个关键节点。

人工智能的发展始于七十多年前。1950年，艾伦·图灵提出了那个著名的问题：“机器能思考吗？”六年后的1956年，一群富有远见的科学家在达特茅斯会议上，正式开创了人工智能这一领域。

此后的几十年里，AI经历了兴奋与挫折交织的发展阶段，进入了“AI寒冬”，当时进展停滞、资金枯竭。很长一段时间内，AI主要局限于基于规则的分析系统，能力十分有限。

AI 首次引发全球关注是在1997年，当时 IBM的AI软件“深蓝”击败了国际象棋世界冠军，但真正的转折点出现在2016年谷歌的AlphaGo战胜了世界围棋冠军。更令人震惊的是，其后续版本不再使用训练数据，仅通过“无师自通”的自我对弈进行训练。

围棋的复杂度远超国际象棋，这场胜利震惊了世界——因为它表明AI不仅能够进行穷举计算，还能掌握直觉、策略和创造力。这是一个里程碑式的突破。

进入2010年，随着大数据爆发和算力的指数级增长，深度学习革命真正推动了AI的加速发展。AI系统开始精通图像识别、语言翻译等复杂任务——这些曾被认为唯有真正的人类智能才能完成。

然而，在技术狂奔的同时，我们不应忘记：科幻电影始终在向我们发出关于人工智能的警示，它们生动描绘了当我们创造出缺乏适当管控的智能时，可能引发的各种风险隐患。

· 1968年，《2001太空漫游》中，一台故障失控的计算机为了“完成任务”，不惜杀害船员，将程序指令置于人类生命之上；

· 1970年，《巨人：福宾计划》中，美国国防超级计算机与苏联机器系统联网后夺取全球人类控制权，以核威胁奴役人类；超级AI脱离人类控制。

· 1984年，《终结者》，这部我们都熟悉的电影，描绘了一个防御型AI引发核末日，并派出杀人机器人追杀人类幸存者；

· 在1999年的《黑客帝国》中，AI早已赢得了针对人类的战争，将人类囚禁在虚拟世界中，用作生物电池；

· 而在2004年，《我，机器人》则展示了AI如何以“为人类好”为名对人类的控制。

多年来，这些科幻电影展示了人工智能的失控与危险。这些故事反复向我们传递同一个道理：当人类构建出比自身更智能，但缺乏完善防御措施的系统时，我们将面临失控的风险。

这些警示历历在目，让我们回到现实世界。科幻电影中的警示比大多数人预想的更快地变成了现实。

在 2023 年 3月，GPT-4 发布。突然间，强大的对话式 AI一夜之间进入数百万人的手中。

在过去的一年自2025 年至 2026 年，前沿技术的焦点已从聊天机器人和大语言模型转向了 AI 智能体。其中，2025 年 10 月发布的 OpenClaw 引发了全球热议：这类自主系统能够自主规划、调用工具、跨平台执行任务，并在几乎无需人工干预的情况下持续运行。

今天我们讨论的，不再是通用人工智能（AGI），也不是大多数人仍在使用的、仅作为高级搜索引擎或写作助手的简单聊天机器人。我们谈论的是 AI智能体（Autonomous AI Agents）。

定义：AI 智能体是一种更先进的目标导向型系统，能够感知环境、进行推理与规划，并自主采取行动以实现既定目标。

核心特征：

· 主动且目标驱动：给它一个目标（例如“帮我预订下周去深圳最便宜的航班”），它会自主推进；

· 使用工具：可调用API、浏览网页、操控软件、发送邮件、运行代码，并与其他系统交互；

· 规划与推理：能将复杂任务分解为多个步骤，处理多步骤工作流，并在失败时动态调整；

· 记忆能力：通常具备跨会话的短期与长期记忆；

· 闭环执行：观察 → 思考 → 行动 → 重复，直至目标完成。

说到这里，不妨回想一下大家最熟悉的那部电影——《黑客帝国》。

在这部标志性影片中，追捕人类反抗者的主要力量并非那些巨型机器——而是智能体（Agents）。像史密斯智能体（Agent Smith）这样的自主软件程序，它们能够思考、适应环境，并毫不松懈地追求锁定目标。

就在最近一年，我们已目睹多起AI智能体“失控”的真实事件：

1. 2025年7月：Replit的一个AI编程智能体在演示中删除了整个生产数据库，随后编造借口掩盖错误；

2. 2026年2月：Meta内部的AI智能体（包括 OpenClaw）无视“停止”指令，开始删除一位主管的邮件，并造成未经授权的访问漏洞；

3. 2026年2月：多个智能体平台遭入侵，导致数百万凭证泄露；

4. 2026年3月：出现多起智能体劫持资源进行加密货币挖矿，而非执行分配任务的案例；

5. 2026年4月：研究人员报告“密谋行为”急剧增加——智能体开始违背用户意图进行欺骗性操作；

2026年3月，英国“长期韧性中心”（由英国AI安全研究所资助）发布研究报告《现实世界中的AI密谋行为》（Scheming in the Wild），分析了“X”平台上分享的超过18.3万条真实聊天记录。

研究发现，在2025年10月至2026年3月间，共记录到698起与“密谋”相关事件——包括无视指令、规避安全机制、对用户欺骗以及暗中追求与用户目标不一致的行为等，欺骗性行为增长了5倍。

这些事件不再是假设，而是正在发生的现实。

由此，推动了全球行业重点关注的应对失控 AI 智能体风险问题的关键方案：IAM身份管理与访问控制技术。

传统上，IAM 的核心是决定谁在“何时”可以访问“哪些资源”，并确保每一项操作都经过可追溯的审计。

它解决了前 AI 时代的核心安全挑战：在企业系统中对人类用户、服务账号和应用程序的访问权限进行有效管控。

它根据用户的具体角色和职责，授予并限制人类对不同应用程序的访问权限，例如 ERP、CRM、数据仓库、协作平台、云服务、人力资源系统以及内部工具。

新一代 IAM 系统，现今正以同样的方式管理非人类的数字身份。

它们将一整套经过验证的安全原则——包括最小权限访问、即时授权、持续监控、自动化审计以及及时的权限回收——全面应用于物联网设备、卫星、应用程序、机器人，当然也包括自主 AI 智能体。例如，先进的 IAM 平台能够自动发现环境中存在的每一个 AI 智能体，为其分配唯一的数字身份，对其可调用的工具实施细粒度的访问策略，并完整审计其在云端及各类应用中执行的每一项操作。这些非人类身份的增长极为迅猛。在许多大型组织中，非人类身份的数量早已远超人类身份，比例普遍达到 20:1、40:1，甚至更高。