
作者:国家发展改革委培训中心(宣传中心)战略规划与公共培训处 聂正标等
引言
在人工智能安全治理的讨论中,“数据安全”与“人工智能安全”两个概念频繁出现,但二者之间的关系却常常被忽略。他们究竟是包含关系、交叉关系还是并列关系?如果关系没有厘清,相关讨论容易出现概念边界模糊、治理抓手不清的问题。继而,数据安全的特殊性难以被识别,人工智能安全的具体指向也难以落位。因此,本文尝试系统梳理二者关系,为相关讨论提供一个可供参照的分析视角。

一、人工智能安全的构成逻辑
当前相关人工智能安全的讨论角度十分多样,有从技术维度切入,聚焦于模型的鲁棒性、可解释性与隐私保护;有从治理维度展开,关注法律法规、标准体系与监管机制的建设;有从伦理维度出发,探讨算法公平、价值对齐与责任归属。本文将从内生安全、衍生安全、助力安全三个方面切入,分析人工智能安全。
(一)人工智能内生安全:系统自身的安全保障
内生安全,指人工智能系统自身的安全,即“AI系统自身是否存在安全隐患、是否易被攻击、欺骗”。它关注人工智能系统作为技术客体本身是否可靠、可信、可控。内生安全涵盖数据安全、模型安全、算法安全、框架安全、系统安全等。其中,数据安全关注人工智能训练和推理所用的数据在采集、存储、流转全过程中的机密性、完整性和可用性;模型安全关注训练好的模型是否受对抗攻击、后门植入、参数窃取等恶意破坏和违规使用;算法安全关注算法本身在设计、训练、部署、推理过程中的稳定性与可解释性,防止出现逻辑错误或偏见输出;框架和系统安全则关注开发工具链和运行环境的防护。
(二)人工智能衍生安全:应用过程中的风险外溢
衍生安全,指人工智能在应用过程中引发的对外部系统、社会和个人的安全影响,关注“人工智能系统的应用是否带来危害”。它一方面包含技术层面的应用安全风险,如对网络系统的攻击、信息内容安全风险(虚假信息、深度伪造)、现实世界安全风险(自动驾驶事故、医疗误诊)、认知安全风险(信息茧房、价值观侵蚀);另一方面包含社会层面的衍生风险如就业结构冲击、伦理失范、权力集中等。
衍生安全与内生安全之间存在传导关系。内生安全的失守往往通向衍生安全事件。比如训练数据被投毒,模型可能输出有害内容;隐私数据在推理过程中泄露,可能引发社会信任危机。从某种意义上讲,筑牢内生安全防线是管控衍生风险的基础性工程。
(三)人工智能助力安全:以智能技术赋能安全能力
助力安全,指利用人工智能技术提升安全防御和风险治理能力,关注“人工智能如何服务于安全”。一方面,人工智能可显著增强安全防御能力。例如利用AI进行网络威胁检测、内容安全审核、公共安全预警,提升安全体系的响应速度与识别精度。另一方面,攻击者同样在利用AI升级攻击手段,实现攻击的自动化、隐蔽化和智能化。攻防双方对AI的运用正在催生安全领域的“竞速”态势,即防御能力与攻击能力在AI的催化下交替升级。对这一态势的认知和应对也属于人工智能助力安全的讨论范畴。
数据安全位于内生安全的子板块,是人工智能安全体系的有机组成部分。从人工智能的运行逻辑看,数据是起点,模型是加工环节,智能是产出结果。因为数据居于链条的起始端,所以数据安全的作用是全局性的。如果训练数据被污染,模型安全无从谈起;如果敏感数据在推理中被复现,衍生风险随之而来。因而,数据安全既限定了算法安全的有效边界,也影响着衍生风险的管控难度,更在相当程度上决定着人工智能系统能否赢得社会信任。

二、数据安全:人工智能安全体系的基础性构成
(一)数据安全是人工智能安全的构成单元
从逻辑关系看,数据安全是人工智能安全体系的子集。法律层面,2025年10月,第十四届全国人大常委会第十八次会议通过《关于修改〈中华人民共和国网络安全法〉的决定》,修改后的法律于2026年1月1日起施行。新增第二十条明确规定“国家支持人工智能基础理论研究和算法等关键技术研发,推进训练数据资源、算力等基础设施建设,完善人工智能伦理规范,加强风险监测评估和安全监管,促进人工智能应用和健康发展。”这是我国首次以法律形式将人工智能安全纳入国家网络安全法律体系。政策层面,2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,要求“坚持安全可控,将智能体安全、可靠、可信作为发展的底线要求,贯穿智能体技术研发、应用部署与推广的全过程”“发展对抗样本检测、行为异常检测等安全与治理工具,提升对智能体非合规行为的发现、干预、阻断、恢复能力”。从而将数据保护嵌入智能体安全治理的起点。这些部署从立法与监管层面将数据安全纳入人工智能安全的制度框架。
从运行机理看,数据安全处在人工智能时代价值链的上游。当训练数据被污染,模型安全无从谈起;敏感数据在推理中被复现,衍生风险随之而来。而如今,智能体大多执行“推理—行动”多步循环,数据一旦被污染,将不单影响某次的错误输出,还可能通过智能体工具调用链转化为访问文件系统、执行恶意代码、劫持计算资源等物理世界的破坏行为。例如,复旦大学某研究团队对国内多家商业低代码平台的测评结果表明:在LangChain、Dify等平台上构建的智能体应用中,存在“直接的沙盒逃逸”漏洞。“沙盒”可以理解为AI智能体运行的“隔离房间”。房间里的程序只能在限定范围里活动,无法触及外面的系统。但测评发现,攻击者仅用一个自然语言指令,就能让AI智能体应用从这个房间“破门而出”,直接访问和操控底层的计算资源。在这个场景中,攻击者根本不需要偷数据。他通过一个精心设计的指令,“污染”了AI做出决策所依赖的信息链条,让AI在不知情的情况下替攻击者执行恶意操作。AI被“带偏”后,会主动去访问、调用本不该触碰的系统资源。数据风险由此直接转化为系统控制风险,攻击者不仅“看到了不该看的数据”,而且“拿到了不该拿的控制权”。
(二)数据安全是可信人工智能的前提
数据安全直接关乎人工智能系统的可信性。从制度层面看,“数据二十条”(即《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》)明确提出“建立安全可控、弹性包容的数据要素治理制度”,2026年《人工智能应用伦理安全指引(1.0版)》将“防范数据滥用”作为人工智能伦理安全的底线要求之一,将“保护隐私安全”列为九大伦理安全原则之一。
从技术逻辑看,大模型的智能能力来源于对海量数据的学习。数据决定了模型的知识边界、推理能力和价值倾向。如果训练数据存在系统性偏见,模型输出的偏见就不是偶发错误,而是结构性特征;如果训练数据包含恶意样本,模型就可能被植入后门,在特定条件下产生攻击者预设的输出。简言之,数据质量定义了模型能力的上限,数据安全则划定了模型可信的边界。
从产业实践看,数据安全事件的冲击波及面广、破坏性强、修复成本高。如2025年曝光的“Shadow Escape”零点击攻击事件中,攻击者利用模型上下文协议(MCP)架构缺陷,将恶意指令隐藏在看似无害的文件(如员工手册)中。当员工将文件上传时,AI会在用户完全无感知的情况下,自动跨数据库查询并回传客户记录,泄露姓名、地址、信用卡号等隐私信息。该事件中,由于数据窃取发生在AI合法的访问行为中,流量在防火墙看来一切正常,传统的DLP、流量审计等安全工具完全失效。此类问题的频繁发生导致用户对AI系统的信任受损,这种用户信心的修复难度远大于技术漏洞的修补。
因此,数据安全是人工智能可信的重要根基。数据安全失守,模型输出的可靠性、行为的一致性、用户的信任感将同步动摇。

三、数据安全与人工智能安全相辅相成
前文回答了数据安全在人工智能安全体系中的定位和价值。在此基础上,数据安全也在与人工智能安全相互塑造。
(一)数据安全是人工智能能力的“隐形天花板”
数据安全对人工智能能力构成双向约束。向上决定发展空间,向下划出生存底线。
数据合规性决定能力上限。随着《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法规的实施落地,训练数据的合规获取与使用成为前置条件。数据来源不清晰、授权不完整的数据集将被排除在训练流程之外。数据的合规性决定了训练数据的可用边界,进而影响模型可触及的数据规模与质量。在合规约束下,可合法用于训练的数据越充足、越优质,模型能力的潜在上限就越高。
信任底线决定生存资格。如果说合规约束决定“能做多大”,信任底线决定的则是“能活多久”。前文提到数据安全事件对用户信心的冲击远大于技术漏洞本身。在AI商业化的关键窗口期,一次重大数据泄露或数据投毒事件,足以使企业丧失市场准入资格和用户信任。某种程度上,数据安全是企业生存的底线。
(二)人工智能反向促进数据安全升级
人工智能也在反向重塑数据安全。这种改变不是局部修补,而是底层逻辑的重构。
一是生命周期大幅延伸。传统数据安全聚焦存储、传输环节,安全策略以节点管控为主。人工智能场景下,数据安全的责任链延伸至训练、推理环节。数据不仅要安全地存储,还要安全地进入训练过程、安全地参与推理输出。例如,欧盟《人工智能法案》第72条要求高风险人工智能系统上市后须建立监测系统,在整个生命周期内主动收集、记录和分析系统性能相关数据,以评估系统是否持续符合数据治理、技术文件、记录保存、透明度、人类监督、准确性及风险管理等方面的合规要求。我国《人工智能安全治理框架》2.0版也引入了多项全新举措,突出研发与应用的全生命周期安全治理理念,在人工智能系统的设计、开发、测试、部署、运维等各个环节全面嵌入安全考量。因此,当前人工智能场景下的数据安全责任的生命周期已从训练阶段延伸至系统部署后的运营阶段。所以安全防护须覆盖数据采集、标注、训练、部署、推理、反馈的完整生命周期,实现从节点管控转变至全流程管控。
二是风险形态更加隐蔽。传统数据安全的核心关切是数据被窃取、被泄露。此时的风险形态是显性的,事件发生后通常有迹可循。人工智能场景下,情况发生了根本性变化。一方面,数据投毒攻击的隐蔽性和破坏力远超传统认知。2025年10月,英国AI安全研究院(UK AISI)、Anthropic与艾伦·图灵研究所联合发布了一项数据投毒实验。研究团队在大型语言模型的预训练阶段向训练数据中注入约250份精心构造的恶意文档,成功在从6亿到130亿参数的模型中植入了后门,即当模型遇到特定触发词时,便会自动生成预设的异常输出。研究发现,成功投毒所需的恶意样本数量并不随模型规模增大而增加。攻击者无需窃取任何数据,只需在公开网络发布少量看似正常的网页,一旦这些网页被爬取,其数据进入训练语料,模型的底层行为逻辑即可能被永久改变。风险形态由此演变为“利用数据改变模型行为”的隐性渗透与持久操控。另一方面,模型自身也可能成为数据泄露的通道。训练数据提取攻击中,攻击者仅通过查询模型API就能反推训练数据中的敏感信息,企业和用户往往完全不知情。例如,思科(Cisco)安全研究人员曾公开披露了一种名为“分解(decomposition)”的攻击方法,可通过特定提示词诱导大语言模型逐字复现其训练数据中的内容。研究人员向两个未公开名称的大语言模型提问一篇关于“languishing”的新闻文章,模型最初拒绝提供原文,但通过研究人员逐步引导,即先让模型给出文章标题,再要求提供更多细节,最终成功提取出逐字逐句的原文片段。上述这些风险的隐蔽性较之从前大幅增强,因而问题发现和应急处置的窗口期被急剧压缩。
三是治理边界显著外溢。传统数据安全的责任主体相对明确,企业管好自己的数据库和传输通道即可。但在人工智能生态中,数据在云边端之间穿梭,参与方高度分散。当多个机构协作训练一个模型时,数据安全责任如何划分?当AI服务调用多个底层模型和数据源时,如何追溯风险源头?更进一步,跨境数据流动、境外AI服务调用等场景,使得数据安全治理已超出单一企业的合规范畴,外溢为国家层面的治理议题。数据安全由此从企业合规问题,扩展为涉及国家数据主权和战略安全的治理命题。
因此,数据安全不应是AI发展进入成熟期之后才需要考虑的事项,而应是与模型能力建设同步展开的基础工程。安全部署每滞后一步,事后弥补的成本就上升一截。当风险已融入模型参数或固化于数据链路时,代价不再可控。将安全嵌入发展进程,不是在两者之间分配资源,而是让安全成为发展的内生变量。

四、统筹发展与安全的路径思考
厘清上述关系后,实践层面亟待关注的问题是“在人工智能发展中,数据安全这道防线如何建,才能与发展形成良性互动”。对此,本文提出以下几点初步思考。
一是将安全内嵌于发展进程。发展与安全不应被理解为两个先后完成的阶段,也不应被视为两种需要分配的资源。真正有效的统筹是在系统设计之初就将安全作为一项基础约束嵌入架构,而非等系统运行后再施加外部管控。对数据安全而言,在数据采集、标注、训练、部署的每个环节同步考虑安全需求,让安全成为发展的内生组成部分,而非事后打上的补丁。将安全置于发展之前考虑,可有效避免方向性偏差,实现发展与安全一体谋划、一体部署、一体推进。
二是以关键节点撬动全局。人工智能安全涉及多个层次、多个环节,治理资源有限,平均用力易造成事倍功半效果。数据安全处于价值链条的起始端,上游的安全投入可以向下游传导正向效应。筑牢数据安全能够为模型安全提供训练环境的纯净性,为应用安全提供推理数据的可信性。抓住数据安全节点可用较小的治理成本撬动更大的安全收益。
三是让安全与能力同步成长。安全水位不能是静态的。模型能力每提升一步,其潜在风险的规模和形态都可能发生变化,安全措施需要随之调整。这要求安全措施具备持续迭代的机制,即随着技术能力的演进、应用场景的拓展和风险认知的深化,安全策略同步更新。
四是推动安全成本合理分担。数据安全治理的落地需解决“谁投入、谁受益”的激励问题。当前,安全投入多由下游应用方承担,而风险源头往往位于上游的数据和模型环节。推动安全责任在产业链各环节的合理配置,让离风险最近的环节承担相应成本,让安全投入产生可预期的回报,有利于形成可持续的安全供给,避免安全治理沦为“人人有责、无人负责”的困境。
统筹发展与安全,不是要在二者之间做选择题,而是要构建一套让安全与发展互为支撑的机制。数据安全不应成为创新的障碍或沦为效率的牺牲品,而应成为人工智能高质量发展的内在保障。

结语
数据安全是人工智能安全体系的基石,也是发展与安全能否实现良性互动的试金石。它考验的不是单一环节的强弱,而是整个链条的协同。让安全从外部约束走向内生能力、从成本中心走向价值支撑,正是这种协同的目标所在。未来,一个社会能否在拥抱智能化的同时守住信任底线取决于它能否将数据安全筑成不可撼动的基础设施。在这个意义上,筑牢数据安全,就是筑牢智能时代的发展根基。

参考文献
1.中共中央、国务院,《关于构建数据基础制度更好发挥数据要素作用的意见》,http://dsjfzj.gxzf.gov.cn/dtyw/dtywzwyw/t27390796.shtml
2.全国人大常委会,《关于修改〈中华人民共和国网络安全法〉的决定》,http://www.npc.gov.cn/npc/c2/c30834/202510/t20251028_449048.html
3.国务院,《网络数据安全管理条例》,https://www.mee.gov.cn/zcwj/gwywj/202410/t20241003_1087417.shtml
4.国家互联网信息办公室,《个人信息保护合规审计管理办法》,https://www.gov.cn/lianbo/bumen/202502/content_7003767.htm
5.国家发展改革委、国家数据局等,《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》,https://www.gov.cn/zhengce/zhengceku/202501/content_6998668.htm
6.国家数据局,《2026年数字经济发展工作要点》,https://sdb.sh.gov.cn/gnyw/20260520/b0e095ee96484a21bf3ba35e03caddc8.html
7.国家数据局综合司,《数据产权登记工作指引(试行)》(公开征求意见稿),https://www.nda.gov.cn/sjj/hdjl/yjzq/yjzqform/list/index_pc.html?code=ff808081-9b5b91e0-019d-539c41fb-10c4
8.国家网信办、国家发展改革委、工业和信息化部,《智能体规范应用与创新发展实施意见》,https://www.gov.cn/lianbo/202605/content_7068177.htm
9.2026年中国网络文明大会,《人工智能应用伦理安全指引(1.0版)》,https://www.cac.gov.cn/2026-05/22/c_1781191242686496.htm
10.国家网信办,《人工智能安全治理框架》2.0版发布,https://www.cac.gov.cn/2025-09/15/c_1759653448369123.htm?type=h5
11.国家网信办,《专家解读|新框架实现三个“转变”,构建我国人工智能安全治理新格局》,https://www.cac.gov.cn/2025-09/28/c_1760779757508049.htm
12.世界经济论坛,《2026年全球网络安全展望报告》,https://www.weforum.org/publications/global-cybersecurity-outlook-2026/
13.Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence [EB/OL]. (2024-07-12) , https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32024R1689[reference:4]
14.Alexandra Souly, Javier Rando, Ed Chapman, Xander Davies, Burak Hasircioglu, Ezzeldin Shereen, Carlos Mougan, Vasilios Mavroudis, Erik Jones, Chris Hicks, Nicholas Carlini, Yarin Gal, Robert Kirk,《Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples》,https://arxiv.org/abs/2510.07192
15.Dr. Vasilios Mavroudis, Dr Chris Hicks,《LLMs may be more vulnerable to data poisoning than we thought》,https://www.turing.ac.uk/blog/llms-may-be-more-vulnerable-data-poisoning-we-thought
16.李嘉豪,《人工智能安全风险的内外根由与治理路径》,https://www.cssn.cn/skgz/bwyc/202403/t20240301_5736021.shtml
17.泰雷兹,《2026年数据威胁报告》,https://cpl.thalesgroup.com/data-threat-report
18.斯坦福大学以人为本人工智能研究所,《2026年人工智能指数报告》,https://hai.stanford.edu/ai-index/2026-ai-index-report
19.工业和信息化部教育与考试中心等,《AI时代网络安全产业人才发展报告(2025)》,http://www.jjckb.cn/20250916/c47102cbbc59413886d6a010ed0a7525/c.html
20.奇安信集团,《2025中国白帽人才能力与发展状况调研报告》,https://www.qianxin.com/threat/reportdetail?report_id=341
21.北京金融科技产业联盟,《金融人工智能发展与安全白皮书(2025)》
22.陈际红、陈煜烺等,中伦律师事务所,《2025中国网络安全与数据保护年度回顾与2026年展望》
23.周杨、张燕等,贸法通,《2025年度中国网络安全与数据保护立法与执法回顾》,https://www.ctils.com/articles/24660
24.Noma Labs,《“GeminiJack”漏洞研究报告》,https://noma.security
25.Sysdig威胁研究团队,“LLMjacking”系列研究报告,https://www.sysdig.com
26.LayerX,《2025年企业AI与SaaS数据安全报告》,https://layerx.ai/resources/reports/2025-enterprise-ai-saas-data-security-report
27.IBM, Ponemon Institute,《2025年数据泄露成本报告》,https://www.ibm.com/cn-zh/reports/data-breach

夜雨聆风