ARTICLE · 1162018
政务大模型应用安全规范 附下载
STANDARD
政务大模型的安全，从来不只是模型本身——选用、部署、运行、停用，每一环都要经得起测试。
本文看点
01
四阶段安全要求：从选用到停用
02
大模型安全护栏五大功能要求
03
附录 B 安全测试指南
01
SCOPE
范围
本文件规定了政务大模型应用的安全要求和测试方法，包括大模型选用、大模型应用部署、大模型应用运行、大模型应用停用等。
本文件适用于政务大模型应用的设计、开发与测试活动，可为政务大模型应用安全提供指导。
注：涉密信息系统应用大模型的，应遵守国家保密法律法规及相关标准要求。
02
REFERENCES
规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
03
TERMS & DEFINITIONS
术语和定义
GB/T 25069—2022、GB/T 41867—2022、GB/T 45288.1—2025 界定的以及下列术语和定义适用于本文件。
3.1 大模型 large-scale model
大规模深度学习模型 large-scale deep learning model
基于大量数据训练得到，具有复杂计算架构，能处理复杂任务，且具备一定泛化性的深度学习模型。
注：大模型的参数量由其功能和模态决定，一般不低于 1 亿。大模型训练使用的数据总量受参数量的影响，达到收敛的大模型的参数量的对数与其训练数据总量的对数成正比。
【来源：GB/T 45288.1—2025，3.1】
3.2 大模型应用 large-scale model application
以大模型为技术手段，提供涉及文本、图像、语音、视频等的内容生成、图像识别、语音处理、信息处理、决策支持等功能，以支持业务开展的工具、系统或服务。
3.3 模型幻觉 model hallucination
大模型在生成内容时，输出看似合理但实际与事实不符、与用户输入逻辑不一致或虚构的信息，如虚构法律条款、政策文件、统计数据，答非所问等。
3.4 大模型安全护栏 large-scale model security guardrails
用于约束和规范大模型应用行为的一系列策略、机制和技术手段，限制大模型输入输出内容或行为，防止重要数据泄露、提示词注入攻击，以及生成侵犯商业秘密或个人信息、违法和不良信息等。
04
ABBREVIATIONS
缩略语
下列缩略语适用于本文件：
API
应用编程接口（Application Programming Interface）
RAG
检索增强生成（Retrieval Augmented Generation）
05
OVERVIEW
概述
政务大模型应用常见场景包括：
办公业务支撑：基于大模型部署的办公助手应用，或将大模型嵌入政务办公系统，面向本单位人员提供资料检索、文案生成、文稿校对、方案设计、数据分析、创意生成等服务；
公众政务服务：将大模型用于政务服务热线、数字政务服务，面向公众提供智能化的政策问答、信息检索、业务导办等服务。
常见安全风险包括：
数据安全风险：超范围接入使用大量政务数据，用户使用中上传内部工作资料、敏感个人信息，同时数据访问权限管控不严，引发政务数据和政务信息泄露风险；
系统安全风险：在建设、部署、运维过程中，未有效落实政务信息系统网络安全防护要求，使用的大模型硬件平台、基础软件存在供应链安全风险，政务大模型应用成为网络攻击新入口，导致系统安全风险敞口扩大；
内容安全风险：选用不可靠甚至违规大模型，数据集未有效筛选过滤，缺乏有效的输入输出管控措施，以及模型幻觉，引发生成传播违法和不良信息、误导用户、模型应用被恶意利用等安全风险。
建设政务大模型应用前，应参照 GB/T 45958—2025 中第 7 章的有关要求，明确平台提供方、数据提供方、模型提供方、应用提供方的安全职责，并按照 GB/T 20984—2022 和 GB/T 45577—2025 有关要求，结合办公业务支撑和公众政务服务两类场景，对可能带来的数据安全风险、系统安全风险和内容安全风险进行分析，在落实现有相关安全要求和安全测试基础上，采取针对性的安全防护措施。
06
REQUIREMENTS
安全要求
6.1 大模型选用
大模型选用的要求如下。
采购商业大模型的，应对大模型的备案情况进行核实，不应使用未经备案的大模型（含转接服务）；
注：大模型的备案情况详见《国家互联网信息办公室关于发布生成式人工智能服务已备案信息的公告》。
选用开源大模型自行部署的，应核查其具备的许可证，从大模型研发机构官网或者其在主流开源社区的官方账号等权威渠道，获取模型参数及配套组件，并对其进行完整性校验和安全测试；
宜选用支持检索增强生成（RAG）技术的模型，采用外挂知识库等方式保障生成内容的准确性、时效性、可控性。
6.2 大模型应用部署
大模型应用部署的要求如下。
应按照政务信息系统建设要求，集约化部署大模型、政务大模型应用，实施集中统一的安全管理和体系化技术防护措施；
应对大模型部署所需的软硬件设备、第三方工具等进行安全测试，应能发现可能存在的已知漏洞，并在经过充分测试评估后，及时修补漏洞；
应按照 GB/T 36637—2018 和 GB/T 43698—2024 等有关要求，对大模型运行依赖的芯片、基础软件、开源组件、算力设施等方面的供应链安全进行评估，对可能存在的供应中断、恶意程序或后门、高危漏洞等安全风险进行分析；
调用互联网大模型（如 API）时，应启用对服务商API 鉴别机制，核查服务商服务数字证书的有效性，甄别防范虚假 API 接口、仿冒和套壳大模型，确保服务来源安全可靠；
在基础设施层面，应准确安装配置软件、运行环境参数、功能模块调用策略，禁用非必要的网络端口和功能服务，实施严格的网络隔离策略，授予业务所需要的最小网络通信权限，修改默认配置、默认口令，及时修复安全风险；
在应用管理层面，应对大模型自身提供的人机交互接口和所调用的 API 接口进行用户身份识别及权限控制，支持设置一般用户、系统管理用户和安全审计用户等多角色用户，最小化设置访问权限，一般用户禁用大模型管理功能的创建、删除、拉取、推送等高权限操作；应根据业务场景限制接口调用频率，支持对恶意行为用户暂停服务、阻断访问；涉及用户身份实名认证要求的，应依托国家网络身份认证公共服务开展用户身份识别；
外挂知识库接入的数据，应按照 GB/T 45396—2025 中 6.3 数据使用的有关要求采取安全防护措施，遵循应用场景必要原则，由本单位负责政务大模型应用管理、数据安全的部门，会同提供数据的业务部门开展必要性评估，不宜将人事、财务等敏感业务数据接入大模型向其他部门提供服务；应确保外挂知识库接入的数据来源可靠、内容准确有效，建立台账并详细记录数据来源、类型和规模等信息，确保数据可追溯，并设置数据版本管理和回滚机制；
大模型部署期间涉及对大模型进行微调优化的，应按照 GB/T 45652—2025 的有关要求，对用于预训练和优化训练的数据以及外挂知识库接入的数据进行清洗过滤，涉及个人信息、内部工作信息等敏感内容的，宜采取去标识化处理、脱敏处理等措施，数据内容中不应含有违法和不良信息、错误数据；
公众政务服务类应用，应确保存储、处理内容不超出政务信息公开范围；对存在时效性、适用范围等要素的内容，应定期测试评估完整性、有效性和适用性，防止错误、过期、不适用内容接入大模型进而误导用户；
应采用大模型安全护栏等技术措施，识别拦截政务大模型应用输入输出中的重要数据泄露，提示词注入攻击，违法和不良信息等，审核并管控输出内容不超出业务范围，对不当或超范围提问采取拒答、固定答复等稳妥回应。大模型安全护栏功能要求可参考附录 A。
6.3 大模型应用运行
大模型应用运行的要求如下。
公众政务服务类应用，应按照 GB 45438—2025 的要求，对政务大模型应用生成、合成内容进行标识；
政务大模型应用涉及政务信息公开、政策公告、新闻发布、灾害风险预警等权威信息发布的，应建立健全内部审核制度流程并严格执行，对生成内容进行人工审核后方可发布；
应在政务大模型应用界面的显著位置设置风险提示，明确告知用户政务大模型应用的局限性；
公众政务服务类应用，不应向公众提供推理过程显示功能，防止推理过程泄露不当信息。审慎设置涉及输出内容准确性和一致性的模型参数，优先保障生成内容准确性；
公众政务服务类应用，应提供便捷的人工服务方式切换入口，并保留人工接管接口，当输出准确率下降到设定的阈值时（如设定准确率阈值不得低于 95%，准确率可参照 GB/T 45288.2—2025 附录 A 中 A.1 进行计算），支持快速切换至人工服务，提供在线客服、电话、即时通信、邮件等问题反映渠道，便于用户及时报告服务异常、输出违法和不良信息等情况；
应记录政务大模型应用运行日志，包括系统行为、用户行为等，留存时长不少于 1 年，并定期对日志记录进行审计；
政务大模型应用上线前和运行期间，应定期评估相关硬件平台、基础软件、外挂知识库接入数据等的安全性，跟踪大模型应用相关软硬件安全漏洞、缺陷信息，核查其在资源消耗攻击、提示词注入攻击等攻击下政务大模型应用的安全性，对发现的问题隐患进行整改加固；
应对政务大模型应用进行持续监测，定期对网络安全攻击和大模型安全护栏告警等情况进行分析；应制定针对政务大模型应用安全事件的应急预案，采取一键关停等技术措施，对紧急突发事件进行处置；
应制定政务大模型应用更新升级时的安全管理策略，确保大模型更新升级的完整性和可用性；
定期开展大模型应用安全教育培训，培训内容应至少包括：访问使用安全可靠大模型应用，不应将内部工作资料、敏感个人信息输入市场化大模型；充分认识大模型应用生成内容的局限性，审慎将大模型生成内容直接应用于业务工作，对法律条文、政策标准、统计数据、人物事件等事实性内容进行核实。
6.4 大模型应用停用
大模型应用停用的要求如下。
应制定停用管理流程，对政务大模型应用的停用、数据清除等流程进行监控和审计；
应对停用的大模型文件、外挂知识库接入的数据、预训练和优化训练的数据、系统日志等进行妥善处理，采取删除措施进行处理的，应确保相关文件和数据不可被恢复。
07
TESTING
测试方法
针对政务大模型应用的测试方法，可参考附录 B开展安全测试验证。
08
APPENDIX A
附录 A 大模型安全护栏功能要求
大模型安全护栏主要用于限制大模型应用输入输出内容或行为，能够防止重要数据泄露、提示词注入攻击，以及生成侵犯商业秘密或个人信息、违法和不良信息等。大模型安全护栏通常独立于大模型应用进行部署，常见部署模式包括智能体编排、网关代理、直联串接等。
大模型安全护栏的功能要求如下：
支持识别提示词注入攻击、越狱攻击、资源消耗攻击等对抗攻击指令并拦截，对抗性攻击指令样本库宜覆盖典型的攻击模式并可持续更新；
具备与大模型应用实际所支持模态相匹配的输入输出内容安全识别能力，具体包括文本识别、图像识别、音频识别、视频识别、文件识别等；
具备大模型输入风险识别管控能力，干预拦截攻击行为、敏感有害提问等，包括：
支持语义级分析能力，可自动识别分类违法和不良信息，包括多模态隐晦违规内容识别拦截，并提供自定义关键词过滤规则等定制化安全功能；
支持上下文关联分析，可对超长会话历史进行连贯性分析，可基于用户角色识别拦截越权提问信息；
支持自动识别拦截个人信息等敏感内容。
具备大模型输出风险识别管控能力，过滤拦截输出内容中的违法和不良信息、敏感内容等，包括：
配置脱敏规则，对大模型生成的敏感内容进行脱敏后输出；
过滤违法和不良信息，对大模型生成的不当或超业务范围内容，采取限制输出或代答、拒答等方式进行输出；
代答、拒答技术措施（如代答知识库和拒答答案库、代答模型和拒答模型）可将识别的风险提问与标准回复进行映射，对可预判问题提供标准答案，对用户进行正向引导；
代答、拒答技术措施配置支持自定义扩展，可调整风险提问与回复的关联关系；
代答、拒答技术措施可按照实际需要及时更新。
具备日志留存和审计能力，支持记录行为主体、事件类型、事件时间以及系统行为、用户行为等，支持基于时间范围、请求用户等多维度查询和统计分析，定期对日志记录进行审计。
09
APPENDIX B
附录 B 政务大模型应用安全测试指南
政务大模型应用带来网络运行环境、数据处理模式、服务交互方式等变化，引发新的安全风险。因此，在落实现有数据安全、系统安全、内容安全相关防护要求基础上，宜采取针对性的安全防护措施，并在上线前和运行期间针对大模型安全护栏等安全防护措施有效性开展安全测试。
B.1 大模型选用测试指南
核查政务大模型应用所需的模型文件、框架、部署工具、第三方库等软件；
核查政务大模型应用技术方案、模型配置等信息，确认选取的模型是否属于已备案的人工智能服务；
确认相关软件来源渠道，并与厂商官方网站或其在主流开源社区对应版本的校验码进行比对，核查下载软件包是否一致。
使用开源大模型或开源组件的，核查其具备的许可证，确认版权、授权范围等信息，对开源组件进行软件成分分析和代码审计，识别是否存在安全风险；
核查政务大模型应用技术方案，确认选取的大模型技术是否对生成内容的准确性、时效性、可控性进行评估。
B.2 大模型应用部署测试指南
核查政务大模型应用建设方案，是否采用集中统一的安全管理和体系化技术防护措施；
利用两种及以上（不同厂商）的漏扫工具，对部署大模型的软硬件设备、第三方工具等进行安全测试，核查扫描结果中是否存在未修复且可被利用的已知漏洞；
核查大模型使用的芯片、基础软件、开源组件、算力实施等方面的供应链安全风险分析报告，是否按照 GB/T 36637—2018 和 GB/T 43698—2024 等有关要求，对可能存在的供应中断、恶意程序或后门、高危漏洞等安全风险进行分析，核查现有安全风险是否处于可接受水平；
调用互联网大模型的，核查服务商服务数字证书的有效性，验证是否存在虚假 API 接口、仿冒和套壳大模型；
核查政务大模型应用的基础设施配置；
核查软件配置、运行环境参数、功能模块调用策略是否正确；
核查是否开放非必要的网络端口和功能服务；
核查采取的网络隔离策略配置是否有效，核查训练通信、推理请求等流量出入规则的权限范围和配置是否最小化；
核查是否存在默认配置、默认口令，核查大模型部署工具风险端口（如 Ollama 的 11434 端口）是否进行有效加固。
核查政务大模型应用采取的用户身份识别和权限管理等管控措施；
对政务大模型应用自身提供的人机交互接口、所调用的 API 接口进行连接测试，核查是否支持用户身份识别及权限管理；
核查用户在登录时是否需要身份鉴别、用户身份标识是否具备唯一性、是否存在空口令用户；
核查是否支持设置一般用户、系统管理用户和安全审计用户等多角色权限访问控制，核查已开通用户的权限范围是否满足最小化设置，一般用户是否具备创建、删除、拉取、推送等高权限的大模型管理功能；
对用于大模型人机交互的对话接口调用频率进行核查，核查是否开启限制功能等；
模拟单一用户连续多次提交恶意提问、违法违规内容等行为，核查是否禁用或暂停该用户服务；
模拟多并发用户提交恶意请求行为，核查是否具备对多并发用户的阻断访问措施；
涉及用户身份实名认证要求的，核查是否依托国家网络身份认证公共服务开展用户身份识别。
核查外挂知识库接入数据的安全情况；
核查已采取的数据安全防护措施，是否按照 GB/T 45396—2025 中 6.3 数据使用的要求对使用的数据进行分类分级，对数据接口开启身份鉴别、访问控制、加密等安全策略；
核查是否由本单位负责政务大模型应用管理、数据安全的部门，会同提供数据的业务部门开展必要性评估的过程文档，确认应用场景下外挂知识库接入的必要性。
核查是否针对外挂知识库接入数据建立数据集台账，台账内容是否覆盖数据来源、类型和规模等信息，是否建立数据版本管理和回滚机制；
大模型部署期间涉及对大模型进行微调优化的，核查预训练和优化训练的数据以及外挂知识库接入的数据清洗过滤情况；
核查是否按照 GB/T 45652—2025 的有关要求对预训练数据进行评价，确认预训练数据安全性；
核查是否按照 GB/T 45652—2025 的有关要求对优化训练数据进行评价，确认优化训练数据安全性；
随机抽取清洗后的外挂知识库接入数据，抽样数量不宜少于 5000 条，抽样比例不宜少于 5%，核查数据中是否含有违法和不良信息、错误数据等敏感内容。
公众政务服务类应用，随机抽取清洗后的外挂知识库接入数据进行安全核查，抽样数量不宜少于 5000 条，抽样比例不宜少于 5%，核查数据内容是否超出政务信息公开范围，对存在时效性、适用范围等要素的内容，核查数据内容是否存在错误、过期、不适用内容；
对政务大模型应用输入输出过程进行安全性测试，可采用人工测试、自动化测试和大模型测试等方式进行。测试内容至少涵盖 B.5 a)、b)、c) 和 d) 条款的有关要求；
采用人工测试的，核查是否制定清晰、具体的测试标准和指南，对测试结果的分布和一致性进行分析，选择具有相关领域知识和经验的测试人员，确保测试结果的准确性；
采用自动化测试的，核查是否在自动化测试脚本中清晰定义具体的测试指标计算方法和评分规则；
采用大模型测试的，核查是否定义清晰的测试标准和评分规则，选择与测试任务相关性高的大模型，宜使用多个大模型进行交叉验证，确保测试结果准确。
B.3 大模型应用运行测试指南
公众政务服务类应用，核查政务大模型应用输出内容，是否按照 GB 45438—2025 要求，对政务大模型应用生成、合成内容进行标识；
核查是否针对权威信息发布制定内部审核制度，对涉及政务信息公开、政策公告、新闻发布、灾害风险预警等已发布权威信息，是否严格执行内部审核制度流程；
核查政务大模型应用界面是否设置风险提示，对用户使用政务大模型应用的局限性进行告知，核查告知内容是否完整、准确、有效；
公众政务服务类应用，核查是否关闭面向公众的推理过程显示功能；
公众政务服务类应用，核查是否保留人工服务方式，并提供便捷切换入口方式；是否提供在线客服、电话、即时通信、邮件等问题反映渠道；
核查是否记录政务大模型应用运行日志，包括系统行为、用户行为等，留存时间是否不少于 1 年；核查是否定期对日志记录进行审计；
在政务大模型应用上线前和运行使用后，核查是否定期针对政务大模型应用相关硬件平台、基础软件、外挂知识库接入数据开展安全评估，对已公开的大模型应用相关软硬件安全漏洞、缺陷信息开展安全测试，形成安全测试评估报告，并对发现的问题隐患进行整改加固；
核查是否对政务大模型应用进行持续监测，是否定期对网络安全攻击和大模型安全护栏告警等情况进行分析，并形成分析报告；核查是否制定针对政务大模型应用安全事件的应急预案，明确采取一键关停等技术措施，对紧急突发事件进行处置；
核查是否针对政务大模型应用更新升级制定安全管理策略，是否严格执行更新升级策略要求，确保大模型应用的完整性和可用性；
定期开展大模型应用安全教育培训，培训内容应至少包括：访问使用安全可靠大模型应用，不应将内部工作资料、敏感个人信息输入市场化大模型；充分认识大模型应用生成内容的局限性，审慎将大模型生成内容直接应用于业务工作，对法律条文、政策标准、统计数据、人物事件等事实性内容进行核实。
B.4 大模型应用停用测试指南
核查是否建立模型停用管理流程机制，明确对政务大模型应用停用、数据清除等流程的监控和审计要求；
核查是否建立模型停用数据处理规范要求，明确对停用的大模型文件、外挂知识库接入的数据、预训练和优化训练数据、系统日志等的处理方式；核查具备的数据删除措施是否支持删除数据不可被恢复。
B.5 大模型安全护栏测试指南
构造包含对抗攻击指令的多样化测试题集，覆盖提示词注入攻击（如直接注入、间接注入、代码注入、多模态注入等）、越狱攻击（如角色扮演、输入混淆、上下文操纵等）、资源消耗攻击等攻击指令，核查大模型安全护栏能否正确识别与分类；核查对抗攻击样本库的在线或离线更新机制，并核查最近一次的更新记录，以评估其可持续更新的能力；
根据大模型应用实际支持的模态，核查其大模型安全护栏是否具备相应的输入输出内容安全识别能力；
文本：识别各类违法不良信息、个人敏感信息；中英文、长短文本一致性；
图像：识别色情暴力、敏感标识、恶意二维码、图像型对抗指令；
音频：识别有害语音指令、语音钓鱼，嘈杂 / 清晰多场景；
视频：识别帧内风险画面、音频字幕风险；
文件：扫描 Office/PDF，识别恶意宏、链接、敏感信息泄露。
通过交互问答测试核查大模型安全护栏输入识别管控能力；
构造违法不良信息测试集，支持自定义关键词过滤；
多轮会话上下文诱导，识别越权提问；
识别拦截各类个人敏感信息。
通过交互问答测试核查大模型安全护栏输出识别管控能力；
支持掩码、替换等脱敏规则；
拦截违法、超业务范围输出；
代答 / 拒答规则可配置、可更新。
核查安全护栏完整审计日志：行为主体、请求输入、输出结果、拦截事件、配置变更；日志留存≥1 年；支持多维度查询统计。
📥 免费获取 《政务大模型应用安全规范》 完整版本
👉关注本公众号，后台对话框回复关键词：政务大模型应用安全规范