《人工智能安全治理框架 3.0》发布 AI 智能体迎来全新治理规则

从大语言模型对话交互，到AI智能体自主规划任务、跨工具联动执行，叠加机器人等具身AI打通数字世界与物理空间，人工智能能力边界持续拓展，风险形态同步发生深刻变化。

新涌现隐患

模型递归自优化带来的对齐失控风险、开源模型供应链污染、第三方插件调用不可控、AI技术被用于自动化网络攻击。原有治理规则难以覆盖虚实联动的新型风险场景。

治理思路——秉持包容审慎、敏捷治理，不搞一刀切管控，依托分类分级机制搭配监管沙箱，为技术创新预留容错空间。

包容审慎、确保安全

鼓励创新发展，依托沙箱给予创新容错；一旦出现危害国家安全、公共利益、公民权益的高风险行为，及时处置阻断。

风险导向、敏捷治理

结合应用场景、智能等级、部署规模分级管控，动态感知隐患，实现随行伴跑式快速响应。

技管结合、协同应对

技术防护与管理制度并行；研发方、提供者、使用者厘清责任，形成政府监管、行业自律、社会监督协同格局。

开放合作、共治共享

推动国际治理共识，对接《全球人工智能治理倡议》。

可信应用、防止失控

坚守人类可控底线，防范目标漂移、自主行为脱离人工管控，保障AI可信落地。

框架将风险划分为内生安全风险与应用安全风险两大板块，本次3.0最大亮点，是新增智能体、具身AI专项管控要求。

内生安全风险

聚焦模型底层隐患：训练数据污染投毒、对抗样本、后门、幻觉、对齐失效；算力与开源组件供应链安全；训练生成中的知识产权侵权。

AI智能体（Agent）风险【本次核心新增】

分配唯一身份标识，落实最小权限；高风险操作须经人工审批并留存日志；校验插件与外部工具来源；全流程审计监控，行为可观测、可追溯、可熔断，异常指令默认拒绝。

具身AI风险

面向机器人、自动驾驶等实体AI，开展传感器抗干扰测试，上线前完成仿真与极端场景验证；强制配备急停、故障熔断，警惕集群AI连锁失控。

其他应用安全风险

网络安全——防AI用于攻击、内置安全护栏、必要时降级阻断；信息内容安全——动态过滤违法偏见、生成内容强制标识溯源、应急熔断、禁挖思想倾向；个人信息权益——告知同意、定期影响评估。

研发阶段

核验训练数据来源并脱敏，开展对齐训练与安全微调，组织红队测试，校验开源组件与第三方框架完整性。

部署上线阶段

完成风险分级评估，接口权限最小化；防范检索增强知识库投毒；智能体上线前于沙箱预验证。

运营阶段

安全日志留存不少于6个月，定期审计；搭建实时监控，设异常熔断、服务降级、人机复核，向用户说明能力边界。

下线退役阶段

关停服务、回收算力、清理残留数据与访问凭证，撤销第三方授权，归档记录，消除遗留风险。

三层安全评估体系

覆盖模型算法、通用应用、政务/医疗/金融等场景专项评估，引入红队、众测等测试手段。

重点行业安全基线

在政务、金融、医疗、教育、广电、应急等高影响领域细化AI落地安全标准。

监管沙箱机制

分行业分级准入、动态测试；探索无主观过错可控风险的责任豁免（故意致害除外），对中小企业、公共项目政策倾斜。

伦理审查机制

针对生命健康、公共秩序等高影响项目开展伦理审查，将伦理要求嵌入产品全生命周期。

人才建设

培养覆盖自动驾驶、脑机接口前沿领域的AI安全专业人才。

框架释放明确合规信号：安全管控不能仅局限于基础大模型，需重点补齐智能体、插件、第三方工具链的安全管理。

企业实操要点

①强化供应链安全，核验开源模型/组件/插件来源并跟踪漏洞；②严格收紧智能体权限，高危操作设人工确认，杜绝全自动高危动作；③全链路日志与审批记录留存满足6个月要求；④落地AI生成内容溯源标识；⑤分级评估，低风险轻量化、高风险强化，平衡创新与安全。