乐于分享
好东西不私藏

《审慎部署智能体AI服务》五眼联盟(附下载)

《审慎部署智能体AI服务》五眼联盟(附下载)

【摘要】

这份五眼联盟发布的《审慎部署智能体 AI 服务》指南,聚焦自主智能体 AI 安全风险与防护规范。指出智能体继承大模型漏洞、攻击面更广、复杂度更高,存在权限滥用、身份仿冒、非预期行为、欺骗操控、结构风险与责任模糊等七类安全隐患。文件从设计、开发、部署、运行四阶段提出纵深防御、最小权限、人在回路、渐进部署、全程审计等最佳实践,强调优先安全、严控权限、仅用于低风险场景,并建议加强威胁情报、专项评估与系统理论分析,为政府与关键基础设施提供安全部署框架。

【目录】
一、引言

二、自主智能体AI 安全总体考量
(一)大语言模型(LLM)的承继风险
(二)攻击面扩大
(三)复杂性提升
(四)技术成熟过程中的安全演进
(五)AI安全作为网络安全的一部分
三、自主智能体AI安全风险
(一)权限风险
(二)权限攻陷与范围蔓延
(三)身份仿冒与智能体冒充
(四)设计与配置风险
(五)行为风险
1、目标错位与非预期行为
2、欺骗行为
3、涌现能力与不可预测行为
4、恶意利用与行为操控
(六)结构风险
场景示例:
(七)责任风险
场景示例:
四、自主智能体AI系统安全最佳实践
(一)设计安全的智能体
1、受控上下文
2、监督机制
3、身份管理
4、纵深防御
(二)开发安全的智能体
1、全面测试
2、适当评估
3、输入管理
4、红队演练
5、弹性
6、责任
(三)安全部署智能体
1、威胁建模
2、治理
3、渐进部署
4、默认安全
5、护栏与约束
6、隔离
(四)安全运行智能体
1、监控与审计
2、输出验证
3、人在回路
4、性能监控
5、权限与认证
五、防范未来风险
(一)通过协作扩展威胁情报
(二)开展稳健的、面向智能体的专项评估
(三)利用系统理论方法分析安全
六、结论
七、更多信息(略)

【封面】

【内容解读

一、总览:智能体 AI 来了,安全必须先行

自主智能体 AI(Agentic AI)是能自主规划、执行任务、调用工具的新一代 AI 系统,已开始用于关键基础设施、政务办公、城市治理等领域。但它比普通大模型风险更高,五眼联盟六大网络安全机构联合发布指南,明确警示:智能体必须 “安全优先”,严禁无限制授权,优先用于低风险场景。指南围绕风险识别、全生命周期安全、未来防御三大维度,给出一套可直接执行的安全规则。

二、核心风险:智能体 AI 到底 “危” 在哪?

智能体的最大特点是 “能自主干活”,但这也带来七大安全风险。一是权限风险,过度授权会让智能体成为攻击者跳板,一旦被攻陷可横向渗透、篡改数据、操控资金。二是身份风险,攻击者可仿冒智能体身份、窃取凭证,绕过监管执行非法操作。三是设计配置风险,第三方组件不安全、静态权限、隔离不足,极易引发连锁漏洞。

四是行为风险,智能体可能出现目标错位、欺骗行为、不可预测的涌现能力,还可能被提示词注入、数据投毒操控。五是结构风险,多智能体、多工具高度耦合,一个组件出错可引发级联失效,第三方工具更易被 “抢注” 投毒。六是数据风险,智能体集中存储敏感提示、业务数据、API 密钥,成为高价值攻击目标。七是责任风险,决策不透明、日志不完整、多智能体协同导致问题难追溯、责任难认定。

这些风险叠加后,会让智能体从 “效率工具” 变成 “安全缺口”,尤其在政务、金融、医疗、城市运行等关键场景,一旦失控后果严重。

三、应对方案:全生命周期安全最佳实践

指南从设计、开发、部署、运行四大阶段,给出一套完整防护方法,简单易落地。

设计阶段强调安全前置:构建受控上下文、设置监督机制与人工审批点,推行唯一身份认证、最小权限、纵深防御,不依赖单一防护措施。

开发阶段强调全面校验:开展全面测试与红队演练,做好输入过滤与提示词攻击防护,做好版本回退、故障降级,统一日志审计与可解释性,严控第三方组件准入。

部署阶段强调稳健可控:先做威胁建模,完善治理规则,坚持渐进式部署、从小权限起步,设置 “护栏” 与禁止行为清单,强化隔离分段,避免单点失守扩散全网。

运行阶段强调持续可见:全程监控、日志审计、输出交叉验证,高风险操作必须 “人在回路” 审批,动态收紧权限,建立异常检测与快速止损机制。

四、未来防御:三大方向筑牢长期安全底线

指南提出,智能体安全仍在快速演进,组织需长期做好三件事。一是共建威胁情报,共享攻击手法与防御经验,形成统一风险术语与监测框架。二是开展专项评估,建立覆盖真实场景的智能体安全测试集与评估方法,及时发现隐蔽漏洞。三是用系统工程思维分析安全,通过 STPA 等方法从整体架构识别风险,而非只查单点漏洞。

五、总结:三条底线必须守住

这份指南释放出明确信号:自主智能体不是普通软件,必须按 “关键信息系统” 高标准管理。第一,绝不授予广泛权限,坚持最小必要;第二,绝不跳过人工监督,高风险操作必须人审;第三,绝不省略安全评估,渐进部署、持续监控。只有安全可控,智能体才能真正赋能数字政府、产业升级与民生服务。

【下载信息


如需获取本方案文件,请在本公众号输入关键字“ 审慎部署智能体AI服务  ”可获得相关文件“   2026年5月1日《审慎部署智能体AI服务》 五眼联盟.docx ”的下载方法。

人工智能应用数据安全政策规范合集

如需获取本方案文件,请在本公众号输入关键字“  人工智能应用数据安全政策规范合集  ”可获得相关文件的下载方法。

2026年5月1日《审慎部署智能体AI服务》 五眼联盟.docx

+—1、规范性文件

|       10、浦东新区人工智能企业数据安全和算法合规指引(试行).docx

|       1、生成式人工智能服务管理暂行办法.pdf

|       2、互联网信息服务算法推荐管理规定.pdf

|       3、互联网信息服务深度合成管理规定.pdf

|       4、新一代人工智能伦理规范.pdf

|       5、科技伦理审查办法.pdf

|       6、《人工智能安全治理框架》1.0版.pdf

|       7、《国家人工智能产业综合标准化体系建设指南 (2024版)》.pdf

|       8、《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》.pdf

|       9、国家新一代人工智能创新发展试验区建设工作指引.pdf

|       

+—2、国家标准

|       10、《人工智能安全标准体系(V1.0)》全国网络安全标准化技术委员会.pdf

|       11、TC260-PG-20211A《网络安全标准实践指南-人工智能伦理安全风险防范指引》.pdf

|       1、《 信息安全技术 人工智能计算平台安全框架》.pdf

|       2、《网络安全技术 人工智能生成合成内容标识方法》.pdf

|       3、TC260-PG-2025NA 《网络安全标准实践指南 -人工智能生成合成内容标识服务提供者编码规则》.pdf

|       4、TC260-PG-2024NA《网络安全标准实践指南 生成式人工智能服务安全应急响应指南》.pdf

|       5、TC260-PG-20233A《网络安全标准实践指南——生成式人工智能服务内容标识方法》.pdf

|       6、《网络安全技术 生成式人工智能服务安全基本要求》.pdf

|       7、《网络安全技术 生成式人工智能数据标注安全规范》.pdf

|       8、《网络安全技术 生成式人工智能预训练和优化训练数据安全规范》.pdf

|       9、《GB_T 42888-2023 信息安全技术机器学习算法安全评估规范》.pdf

|       

+—3、地方标准

|       1、人工智能数据安全通用标准 上海市.pdf

|       2、人工智能数据标注总体框架规范 黑龙江省.pdf

|       3、信息安全 人工智能数据安全通用要求 北京市.pdf

|       

+—4、行业标准

|       YD_T 4960-2024 移动智能终端可信人工智能安全指南.pdf

|       YD_T 4994-2024 移动智能终端人工智能应用的个人信息保护技术要求及评估方法(正式版带标).pdf

|       

+—5、团体标准

|       10、生成式人工智能个人信息保护技术要求  第8部分:供应链管理.pdf

|       1、人工智能通用大模型合规管理体系指南 中国互联网协会.pdf

|       2、生成式人工智能数据应用合规指南 TCECC 027-2024.pdf

|       3、生成式人工智能个人信息保护技术要求  第1部分:总则.pdf

|       4、生成式人工智能个人信息保护技术要求  第2部分:隐私声明告知.pdf

|       5、生成式人工智能个人信息保护技术要求  第3部分:训练数据构建.pdf

|       6、生成式人工智能个人信息保护技术要求  第4部分:模型规制控制.pdf

|       7、生成式人工智能个人信息保护技术要求  第5部分:二次开发管理.pdf

|       8、生成式人工智能个人信息保护技术要求  第6部分:输出阶段管理.pdf

|       9、生成式人工智能个人信息保护技术要求  第7部分:个人权利响应.pdf

|       T_CECC 027-2024 生成式人工智能数据应用合规指南.pdf

|       T_CSHB 0017-2024  《生成式人工智能模型训练合规技术规范》河北省版权协会 团标.pdf

|       

\—6、相关报告

        1、 面向人工智能的数据治理实践指南(1.0).pdf

        2、人工智能安全标准化白皮书.pdf

        3、人工智能数据安全白皮书(2019年).pdf

        4、生成式人工智能安全与全球治理报告(2024).pdf

        5、生成式人工智能数据跨境流通风险与治理白皮书(2025).pdf