夜雨聆风
为贯彻落实《关于深入实施 “人工智能+” 行动的意见》《关于推进行业高质量数据集建设行动的实施方案》，中国软件评测中心（工业和信息化部软件与集成电路促进中心）数据与数据系统实验室梳理了当前行业两大突出痛点：一是厂商产品能力参差不齐，跨场景适配无据可依；二是数据应用智能体普遍存在查询准确率低、多任务稳定性差、权限管控缺失、AI幻觉频发及全链路审计不完善等质量短板。
针对上述问题，实验室正式推出模块化、可按需组合裁剪的全维度数据应用智能体测评服务，旨在为政企项目验收及产品规范化落地提供权威支撑，推动行业高质量发展。
一、测评内容
数据应用智能体是一类以大语言模型（LLM）为核心决策单元的智能化系统。它融合工具调用、检索增强生成、记忆存储与任务执行等核心能力，能够精准理解用户的自然语言业务意图，自主完成数据分析任务的规划、拆解与执行，并将原始数据转化为数据洞察、决策建议或自动化操作结果。
本测评内容可根据政务、金融、制造、互联网等行业场景的实际需求灵活选配与组合，快速形成场景化专属评测方案。
测试核心内容如下:
1、功能
基础能力：支持自定义智能体、多轮对话、多渠道接入、插件管控、短期会话记忆；可自然语言转SQL实现多表数据查询、指标归因、自动可视化，拦截基础幻觉与高危SQL。
文档知识能力：全格式文件解析、跨文档问答、自动生成带溯源水印报告；具备长期语义记忆、全生命周期知识库、业务技能复用与用户反馈迭代机制。
复杂场景能力：知识图谱与本体建模、混合检索、多跳深度推理；多智能体协同编排、标准化MCP协议、全链路推理过程可观测、自动化效果评测。
执行精度：各类查询、文档问答、图谱推理设分层耗时上限；通用SQL准确率≥80%，标准化指标SQL≥95%，文档问答相关性、溯源精准度等。
2、性能
时效基线：首Token响应时延、单Token生成耗时、长上下文场景延迟时间、故障恢复时长（RTO）、数据丢失时长（RPO）等。
并发稳定性：多用户/任务并发，配套限流、熔断、断点续跑；知识库增量更新无服务中断，可管控Token资源消耗，灾备自动备份。
3、安全
身份权限：RBAC+ABAC双重权限，单点登录，数据表行列三级隔离，定期回收过期权限，文档知识库可独立分组管控。
数据防护：传输加密、敏感存储加密，全链路数据自动脱敏，数据沙箱隔离。
内容与执行安全：支持拦截Prompt注入、高危SQL，代码SQL沙箱执行；输入输出双层合规审核，生成内容携带溯源水印。
审计追溯：全流程日志留存90天以上，高危操作实时告警；分析结论、文档访问记录完整溯源，支持Token调用成本审计。
二、测评流程
1）方案定制。结合企业业务范围、合规要求、交付目标，筛选适配测评内容，编制定制化测评方案。
2）现场测评。搭建测试环境，开展自动化用例、人工业务场景测试，留存测试记录与缺陷记录。
3）出具权威测评报告与证书。
三、服务价值
前置风控：上线前全面排查功能、性能、安全合规隐患，有效规避上线后业务运营风险；
按需测评：测评内容可裁剪，适配细分行业场景，贴合用户个性化需求；
权威结果：第三方测试报告证书，适配招投标、项目验收、市场宣传；
优化赋能：提供专业技术优化建议，助力产品持续迭代升级。
联系人：
杨老师15811153770
周老师18611951685
数据和数据系统测评实验室介绍：
实验室以保障国家数据基础设施和数据安全建设，推动数据资源整合、开发利用、共享合规，助力高质量数字中国建设，促进数据要素市场繁荣发展为使命。聚焦数据要素和数据系统建设，开展数据利用、数据系统建设、数据管理能力、数据安全保障能力、数字化转型等方向的质量测评研究工作，并面向政府、数据要素型企业、数字化转型企业和科研院所等提供咨询、认证和测评服务。
测评服务包括数据基础设施测评、数据算法模型测评、数据应用场景测评、数据生命周期测评；咨询认证服务包括DCMM咨询认证、DSMM咨询认证和数字化转型认证等。构建数据产品、数据行业解决方案、数据算法模型、典型数据场景案例等资源数据池，为企业数字化转型提供技术支撑，努力建设成一流的数据要素领域的第三方测评机构，为我国数字经济腾飞、数字社会构建和数字中国建设贡献力量。已公开发布《工业机理模型开发指南》、《信息安全技术大数据服务安全能力要求》、《信息化项目综合绩效评估规范》等国家标准，出版了《工业大数据测试与评价技术》、《数据治理之论》和《数据治理之法》等5部专著。
编辑：胡媛
