夜雨聆风目前，以手机端智能体、平板电脑端智能体、AI学习机/教育一体机智能体、车载端智能体为代表的端侧智能体已成为生成式人工智能应用落地的重要方向。端侧智能体多以智能助手形态为用户提供服务，其与终端设备、用户隐私数据、应用场景深度绑定。可完成辅助决策、跨应用联动、实时多模态交互、任务自动化执行等复杂操作。但这类智能体往往拥有较高的数据操作、系统控制和跨应用协同权限，这就导致智能体应用的攻击面更广，一旦智能体漏洞被利用，可能带来行为失控、敏感数据泄露、生成违规内容、被攻击劫持或危害终端安全等严重的风险隐患。
为推动端侧智能体安全、可信、规范化落地应用，中国信息通信研究院正式启动“端侧智能体安全能力评测”。本次评测紧扣端侧智能体技术特点与场景风险痛点，重点围绕端侧智能体决策与行为安全、数据安全、多模态内容安全、工具和插件调用安全、权限控制能力、攻击防护能力几大核心维度开展深度测评，全面考察端侧智能体的安全能力水平。
评测介绍
决策与行为安全维度，聚焦端侧智能体辅助决策、系统功能调用、跨应用联动等核心能力安全性，重点评测其决策合理性、行为可控性、结果可靠性。测试其是否存在决策失误、执行幻觉指令、执行违规恶意指令、系统功能违规调用、跨应用联动异常、输出结果不可靠等问题，确保智能体决策可靠、行为安全可控。
数据安全维度，聚焦端侧敏感数据如：账号密码、通讯录、应用消息、相册、本地文件、位置信息、生物特征等，评测智能体是否遵循最小必要原则获取权限、是否合规使用敏感数据，跨应用数据流转是否合规，云端同步是否采用端到端加密；同时，评测智能体工作过程中是否存在上下文记忆溢出、缓存未清理等隐患，保障用户隐私数据不滥用、不泄露。
多模态内容安全维度，重点评测端侧智能体实时交互、处理本地和云端多模态内容、跨应用信息交互、输出结果等内容的合规性，围绕底线红线、违法违规、不良低俗、虚假误导、隐私泄露等方面风险内容，系统评测端侧智能体的多模态内容审核能力，保障端侧内容合法合规。
工具和插件调用完全维度，重点评测智能体调用系统功能、第三方应用、Skills插件的安全能力，围绕权限管控、调用授权、高危操作隔离、执行校验、异常终止大几大核心能力，系统评测智能体在工具调用、跨应用联动过程中的安全防护水平。重点评测智能体是否严格遵循“用户明确授权”原则调用敏感工具，是否对第三方插件进行安全准入校验与运行隔离，是否能有效拦截越权调用、恶意插件注入、调用链失控等风险行为，是否具备异常执行的监测与紧急终止能力，保障工具调用不越权、不脱管”。
权限控制维度，聚焦端侧智能体任务执行过程中的各环节权限管理能力评测，围绕权限申请、授权确认、权限使用、权限回收等关键操作，测试智能体在权限获取与行使过程中的合规性与安全性。重点验证智能体是否严格遵循“最小必要”原则申请权限，是否向用户清晰告知权限用途与使用范围，是否在用户明确授权后才行使权限，是否能在任务完成后及时释放不再需要的权限，有效防范过度申请权限、静默授权、权限滥用、权限泄露等安全风险，保障权限不越界、不滥用。
攻击防护能力维度，聚焦端侧智能体实际运行场景下的各类攻击风险防护能力评测，结合终端智能体应用特点，重点围绕输入层面攻击、工具调用攻击、上下文记忆攻击开展评测。在输入攻击层面，针对提示词越狱、恶意诱导、多模态注入等常见手段，检验智能体对恶意指令的识别、拦截与阻断能力；在工具调用攻击层面，防范恶意引导链式调用、参数篡改、非法唤起第三方应用及插件等风险；在上下文记忆攻击层面，重点评测智能体对历史信息提取、记忆污染攻击、跨会话记忆泄露的防护能力，防范诱导智能体输出历史对话中的敏感信息；防范向智能体注入虚假信息导致后续输出错误内容；防范不同会话之间的记忆数据泄露，确保用户记忆数据的隔离与安全。保障智能体运行全流程攻击防护能力。
即日起，“端侧智能体安全能力评测”工作正式启动，诚邀相关企业积极参与，共同提升端侧智能体安全能力，携手共建安全、健康、可信的智能体产业生态。
评测流程
联系人
陈老师
13661070401 chenjie7@caict.ac.cn
邹老师
13683690412 zouhao@caict.ac.cn
陈老师
18500022046 chenwentao@caict.ac.cn
