乐于分享
好东西不私藏

AI安全的下一个阶段:从行为审计到意图治理——当 AI Agent 开始行动,企业需要知道的不只是“它做了什么”

AI安全的下一个阶段:从行为审计到意图治理——当 AI Agent 开始行动,企业需要知道的不只是“它做了什么”

过去几十年,安全体系一直围绕一个核心问题建立:

谁,在什么时间,访问了什么资源?

因此我们有了:

  • 网络防火墙;
  • API Gateway;
  • IAM 权限系统;
  • 数据访问审计;
  • SIEM 安全分析平台。

这些系统解决的问题是:

控制和记录人的行为。


但是 AI Agent 的出现,引入了一个新的变量:

行为的执行者不再只是人,而是一个具有目标理解和自主规划能力的智能体。

一个 Agent 可能:

  • 理解用户目标;
  • 制定执行计划;
  • 调用多个工具;
  • 根据结果调整策略;
  • 连续执行多个动作。

于是,一个新的安全问题出现:

如果 AI 做了一系列“合法”的事情,但最终形成了一个危险目标,我们如何发现?


一、Agent时代,安全问题发生了变化

传统软件:

用户 |程序 |固定逻辑 |执行结果

程序行为由代码决定。

例如:

if user.role == admin:    allow_delete()else:    deny()

安全人员可以分析:

  • 哪些接口存在;
  • 哪些权限开放;
  • 哪些代码路径可能被触发。

但是 Agent:

用户目标    |    vAgent理解任务    |    v生成计划    |    v调用工具    |    v观察结果    |    v继续行动

这里出现了一个新的决策层:

AI 自主规划。

传统系统:

代码决定行为。

Agent系统:

目标 + 上下文 + 能力决定行为。


二、为什么传统行为审计已经不够?

很多企业已经开始建设 AI 审计。

例如记录:

{  "user":"alice",  "model":"xxx",  "tool":"database.query",  "time":"10:30"}

这可以回答:

Alice 调用了数据库查询。

但是无法回答:

Alice 为什么让 Agent 查询数据库?


举一个 Agent 场景。

用户:

帮我分析最近客户流失原因。

Agent执行:

第一步:

查询订单数据

合理。

第二步:

查询客户投诉记录

合理。

第三步:

查询客户联系方式

看起来也合理。

第四步:

导出客户完整信息

开始出现风险。

第五步:

发送到外部分析服务

风险进一步扩大。

如果只看单个动作:

每一步都可能通过权限检查。

但是组合起来:

真实目标可能已经变成:

导出客户数据。

这就是 Agent 安全和传统安全最大的区别:


行为本身可能合法,但行为组合可能危险。


三、AI安全正在从三个阶段演进

第一阶段:内容安全

关注:

AI 输出是否安全。

典型问题:

  • 生成违规内容;
  • 泄露敏感信息;
  • 产生错误答案。

治理方式:

输入检测+输出检测

第二阶段:行为安全

关注:

AI 做了什么。

例如:

Agent:

读取文件访问数据库调用API执行命令

治理方式:

  • 工具白名单;
  • 权限控制;
  • 操作审计。

第三阶段:意图安全

关注:

AI 为什么这么做。

这是 Agent 时代的新问题。

例如:

两个 Agent:


Agent A:

目标:

生成销售分析报告

行为:

读取销售数据分析趋势生成报告

合理。


Agent B:

目标:

生成销售分析报告

行为:

读取全部客户资料导出数据发送外部服务

风险。

它们可能拥有相同工具权限。

区别:

不是行为。

而是:

意图。


四、Agent安全的核心概念:行动半径

未来企业管理 Agent,不能只关注:

它有没有权限。

还需要关注:

它能够影响多大范围。

我们定义:

Agent Action Radius(行动半径)

表示:

一个 Agent 在执行任务过程中,可以触达的:

  • 模型;
  • 工具;
  • 数据;
  • 系统;
  • 外部资源。

范围。


例如:

客服 Agent

能力:

查询订单查询知识库生成回复

行动半径:

较小。


运维 Agent

能力:

访问服务器执行Shell修改配置重启服务访问数据库

行动半径:

巨大。


同样是 Agent:

风险完全不同。

因此:

未来权限设计不能只看:

用户是谁?

还需要看:

Agent正在执行什么任务?

五、Agent安全三角:Intent、Capability、Permission

一个安全 Agent,需要同时满足三个条件。

1. Capability(能力)

Agent能够做什么?

例如:

查询数据库读取文件调用API执行命令

2. Permission(权限)

当前是否允许?

例如:

允许:

查询订单

禁止:

修改订单

3. Intent(意图)

为什么做?

例如:

用户目标:

生成销售报告

那么:

读取销售数据:

合理。

读取身份证信息:

不合理。


真正安全的 Agent:

不是能力越少越安全。

而是:

能力、权限和意图必须匹配。


六、未来安全模型:从 RBAC 到 Intent-Based Access Control

过去企业权限:

RBAC:

(Role Based Access Control)

模型:

User |Role |Permission

例如:

员工:

销售角色客户数据访问权限

但是 Agent:

角色不够。

因为 Agent 行为动态变化。

未来需要:

Intent-Based Access Control

基于意图的访问控制。

模型:

User+Intent+Context+PermissionDecision

例如:

允许:

用户:销售经理意图:生成销售分析数据:销售订单动作:读取

拒绝:

用户:销售经理意图:生成销售分析数据:客户身份证动作:批量导出

七、AI Gateway 下一阶段:增加意图治理层

传统 AI Gateway:

解决:

应用 |模型

能力:

  • API兼容;
  • 模型路由;
  • Provider管理;
  • Token统计。

未来 AI Gateway:

需要升级为:

AI Security Governance Gateway

架构:

                 用户 / 应用                       |                       v              +----------------+              | AI Gateway     |              +----------------+              | Identity       |              | Intent        |              | Policy        |              | Risk Engine   |              | Audit Trace   |              +----------------+                       |          ----------------------------          |                          |        Model                    Tool / MCP          |                          |          ----------------------------                       |                  企业资源

新增核心能力:

Intent Analyzer

分析:

  • 用户目标;
  • Agent计划;
  • 工具调用目的;
  • 数据访问合理性。

Policy Engine

判断:

  • 是否允许;
  • 是否需要审批;
  • 是否需要人工介入。

Audit Trace

记录:

不是简单日志。

而是一条完整链路:

用户目标Agent计划模型决策工具调用执行结果

八、MCP时代,意图治理更加重要

未来 Agent 会大量调用 MCP:

Agent |MCP Server |企业能力

例如:

数据库 MCP:

查询数据

文件 MCP:

读取文档

运维 MCP:

执行命令

问题:

工具调用本身可能合法。

真正需要判断:

这个工具调用是否符合当前任务目标?

例如:

用户:

分析服务器性能

合理:

读取监控指标

风险:

读取用户数据修改系统配置

所以:

MCP 安全不能只做:

工具权限控制

还需要:

工具调用意图治理

九、从日志到 Agent Trace:安全分析对象正在变化

传统系统:

关注:

Log

例如:

用户访问接口接口返回结果

Agent系统:

需要:

Trace

例如:

Agent Run ID    |用户目标    |任务规划    |模型决策    |Tool Call    |数据访问    |最终结果

未来安全人员需要回答:

不是:

Agent调用了什么?

而是:

Agent为什么决定调用?


十、AI安全最终目标:治理智能行为

过去:

网络安全:

管理网络流量。

API安全:

管理接口调用。

数据安全:

管理数据访问。

AI安全:

最终需要管理:

智能行为。


未来企业需要的不是:

一个记录 AI 请求的系统。

而是:

一个能够理解 AI 行动目的,并控制 AI 行动边界的平台。


结语

AI Agent 的出现,让安全领域面临一个新的挑战:

过去:

我们相信:

只要控制权限,就能控制行为。

但是 Agent 时代:

这个假设正在失效。

因为:

一个 Agent 可以拥有合法权限,却产生非预期结果。

因此:

AI安全的下一个阶段:

不是:

行为审计

而是:

意图治理

不是:

AI做了什么?

而是:

AI为什么这么做?

未来 AI Gateway 的演进路线:

AI Gateway        |        vAgent Gateway        |        vAI Security Governance Platform

最终目标:

让企业不仅能够使用 AI,更能够理解、控制和治理 AI。