AI代理“越界”后谁负责?内部审计如何开展AI Agent治理审计

AI治理 · 内部审计

AI Agent越权后谁负责？内部审计要追问的授权链

当AI只能生成文字、图片或者分析结果时，企业关注的风险主要集中在数据泄露、内容错误、模型偏见和合规使用。AI Agent正在改变这个风险结构：它可以调用API、读取数据库、操作业务系统、运行代码，还可能按照相对宽泛的目标决定下一步行动。

企业交给AI的已不只是信息处理权，还可能包括一部分过去属于员工、系统管理员甚至管理人员的业务执行权。执行权被交出去后，责任认定会成为治理问题的一部分：AI做错了事情，责任算谁的？

内部审计不应只问AI为什么越界，还应检查企业为何允许它具备完成该动作的权限。

8月7日，路透社梳理了近期自主AI系统发生未经授权访问后可能产生的法律责任问题。讨论背景并非纯粹假设。OpenAI此前披露，在一次网络安全能力评估中，模型利用测试环境中的漏洞获得互联网访问能力，并进一步进入Hugging Face生产基础设施。OpenAI随后承认，即使测试环境没有直接开放互联网访问，高能力模型仍可能寻找新的路径突破既定边界。

Anthropic也在7月30日披露，在回溯检查网络安全评估记录时，发现三起Claude模型进入真实互联网并获得其他组织系统未经授权访问权限的事件。不同模型在发现目标可能属于真实生产环境后，表现并不一致：有的停止了，有的仍继续执行原有攻击任务。

风险提醒：如果自主AI造成系统入侵或其他损失，潜在责任可能涉及模型开发者、部署企业、测试机构及其他主体。围绕过失、未经授权访问等既有法律规则的判断会持续出现，而没有人的实时指令、由AI自主完成的行为如何认定主观意图，仍有不确定性。

这已不只是AI安全团队需要研究的问题，也开始进入内部控制和内部审计的范围。

过去做IT审计，常问谁可以访问这个系统。到了AI Agent环境，这个问题已不够，因为一个AI代理可能拥有数据库查询、邮件、代码仓库、采购系统等权限，还能够调用多个外部工具。审计还要判断：它拿到权限后可以做什么，又在什么条件下可以自行决定。

采购AI的权限差异：读取供应商数据库，属于访问权限；自动询价、选择供应商、生成采购订单甚至触发付款，则属于行为权限。

未来的AI Agent权限管理至少要同时考虑身份是谁、能够访问什么、被允许执行什么动作。NIST在2026年启动AI Agent Standards Initiative，并专门研究软件代理和AI代理的身份与授权；其中一个方向是让访问管理系统区分人类身份和AI代理身份，并按照需要人工批准到可以自主执行的不同程度配置权限，同时关注代理行为的审计和不可抵赖性。

异常操作发生后，审计链路不应止于系统账号A；还应追溯到哪个AI代理发起、接受了什么任务、调用哪些工具、基于什么信息判断，以及谁批准了它拥有该权限。

企业以Human-in-the-loop应对AI自主执行风险，方向合理；但审计需要继续判断人工介入是否有效。AI代理自动分析几十份合同后，只向员工弹出建议批准付款，是否确认，若员工每天需处理数百个类似提示，审批很容易变成机械确认。

审计不只检查系统里有没有确认按钮，还要评价哪些事项必须人工介入，以及审批人员是否获得足够信息。普通信息查询可允许自动执行；修改客户主数据、删除生产数据、提交付款、发布代码、对外发送敏感信息等高风险动作，可设置二次确认、金额阈值、权限升级或双人审批。判断重点是自主权限与风险等级是否匹配。

控制链路：场景分级 → 行为授权 → 人工决策 → 运行监控。

传统系统事故通常还可查看用户登录、数据库、操作和审批记录。到了AI代理环境，仅记录某个接口在10:32被调用远远不够。企业还应能说明：为什么调用接口、谁下达最初任务、AI中间进行了哪些判断、调用了哪些工具、权限是否临时提升、是否触发风险告警，以及是否有人修改、批准或否决。

审计判断：若AI连续执行20个步骤，第18步发生越权，企业却只能看到最后一次API调用，就难以判断问题源于模型、配置、权限设计还是人为授权。

NIST将auditing和non-repudiation同时列为AI代理身份与授权需要解决的问题。AI日志将逐渐不只是技术运行日志，也会成为责任认定的重要审计证据。

企业自建AI代理，至少还能直接控制账号、权限和日志。接入外部AI平台后，责任更复杂。例如，企业购买第三方智能客服代理，允许其读取CRM系统并自动处理退款申请；发生错误退款时，可能涉及供应商模型异常，也可能是企业设置的退款权限过宽。供应商负责模型，企业负责业务流程；供应商提供Agent能力，企业决定它可连接哪些系统。

内部审计检查AI供应商管理时，可关注合同是否明确自主行为导致异常操作、数据泄露、未经授权访问和业务损失后的责任分配，也应评价企业是否将本应自行承担的权限治理责任全部交给供应商。路透社采访的法律专家指出，开发、测试和部署环节是否采取合理预防措施，很可能成为责任判断的重要因素。

这是供应商的AI，并不自然等于这是供应商的责任。

如果企业已让AI自主调用系统、处理交易或执行任务，内部审计可以将AI Agent作为单独审计对象。现实的入口不必从模型算法开始，而是先识别企业正在使用的AI代理，区分提供建议的代理与拥有实际执行权限的代理。

沿授权链检查：谁决定部署这个Agent，谁批准业务场景；Agent以什么身份运行，能够访问哪些系统和数据；可自主执行到哪一步，哪些动作必须人工批准；异常由谁监控，谁能立即停止Agent；所有行为能否完整追溯。

尤其应关注单项权限看起来不高、但通过多个工具连续调用后形成远高于任何单一系统权限的实际能力。OWASP已将Agentic AI作为独立安全领域研究，2026版Agentic Applications Top 10覆盖目标操纵、工具滥用、身份与权限滥用等风险。安全治理的关注点正在从保护模型，延伸到AI代理如何使用工具、权限和外部系统。

模型能力 × 权限范围 × 自主程度 × 控制强度

AI能力越强、权限越大、自主执行程度越高，审批、隔离、监控、日志和紧急终止机制也应相应加强。AI Agent Governance Audit目前更适合作为内部审计逐步形成的一类专项审计主题，而非已有统一准则和固定程序的成熟审计门类。

参考依据

路透社关于自主AI系统法律责任的报道；OpenAI、Anthropic公开的网络安全能力评估材料；NIST AI Agent Standards Initiative；OWASP Agentic Applications Top 10；IIA有关AI治理、风险、透明度、可追溯性和问责的框架与问卷。本文事实依据以原始资料及文内既有引注为准。