AI应用伦理安全如何保障?网安标委这份文件明确了几条线!

近两年，人工智能发展势头迅猛。从聊天机器人到智能体，技术几乎在一夜之间渗透到各行各业。效率得以提升，创新活力被激发，但随之而来的问题也不容忽视：人类是否还能掌控局面？社会秩序会不会被打乱？隐私泄露、算法歧视、权益侵害，这些原有问题在人工智能的影响下被放大了数倍。

全国网络安全标准化技术委员会近日发布了《人工智能应用伦理安全指引1.0版（征求意见稿）》，为开发者、服务提供者、用户及监管部门提供了行为准则与治理参考。

从适用范围来看，《指引》覆盖人工智能应用活动的全主体与全环节：既适用于组织、个人开展的应用开发、服务提供、用户使用等直接参与行为，也可为主管部门、行业组织推进伦理安全治理提供参考依据，实现了治理对象与应用场景全覆盖。

整份文件的结构清晰明了：先分析风险，再确定原则，最后分类提供指引，逻辑层层递进。

• 基础界定，明确人工智能应用、伦理安全、开发者、服务提供者、用户等关键概念的定义，后续所有条款均建立在此基础之上。

• 风险识别，文件梳理了AI可能带来的五大伦理安全影响：人类主导权被削弱、社会基础秩序被破坏、人与现实脱节、社会分化和歧视加剧、个人权益受损。后续原则和指引针对上述问题制定，不做无的放矢的规定。

• 理念与原则，确立核心理念和六大安全原则，相当于为AI应用划定了价值底线。

• 分类指引，按照“通用—开发—服务—使用”的全流程，分别明确具体行为规范，清晰界定各方权责，明确谁该做什么、不该做什么。

总的来说，指引的核心理念可概括为：AI必须造福人类、服务社会、实现可持续发展。技术不能为了研发而研发，需妥善处理与人类、社会、自然的关系，朝着有益、安全、公平的方向发展。六大安全原则，每一条都是不可逾越的底线：

• 以人为本，人类拥有最终决策权，不能将决策权完全交给机器。尊重个人权益和就业权利，AI的目标是辅助人类提升工作效能、创造新价值，而非取代人类岗位。

• 安全可控，关键环节必须由人类全程监督，确保可随时干预。核、生、化等高风险领域应用AI需更加谨慎，防止技术被滥用。

• 公平公正，保障机会均等，杜绝技术歧视。民族、信仰、性别等敏感因素不得嵌入算法，避免产生偏见。需加强对特殊群体、弱势群体的保护，推动公共服务更加公平。

• 公开透明，AI的运行机制应具备可解释性和可感知性，不能成为“黑箱”。

• 协同共治，推动国际规则对接，明确权责划分，实现事故可追溯、损害可赔偿。通过多方协同治理，避免技术壁垒和数据鸿沟进一步扩大。

• 普惠共享，构建合作共生的技术生态，反对技术垄断。鼓励开源创新和成果共享，让更多人从AI技术中受益。

文件把指引分成了四类：通用指引、应用开发指引、服务提供指引、用户使用指引。每一类对应不同主体，责任落得很细。

通用指引，所有主体必须遵守的底线。这部分适用于所有参与AI应用活动的主体：

• 使用前需评估目的与影响，不得将国家安全、社会稳定及个人权益置于风险之中；

• 必须保留人类的判断、监督、干预与纠偏权限，杜绝技术代行人类决策；

• 隐私与个人信息需严格保护，禁止过度收集、随意泄露及滥用；

• 关注偏见与歧视问题，重点保护未成年人、老年人、残障人士等群体；

• 理性认知技术的能力边界，避免盲目迷信与过度夸大；

• 建立风险提示、反馈与改进机制，确保问题能及时发现并整改；

• 涉及生命健康、人身安全的场景，需以安全为首要原则，明确适用边界与责任；

• 社会治理、公共服务场景中，公共利益与公平公正是底线，需为公众提供救济渠道；

• 信息资讯传播需以真实可信为底线，不得传播虚假信息破坏生态；

• 知识发现与生产过程中，需坚守学术诚信，尊重知识产权；

• 经济金融场景需秉持稳健审慎原则，保护消费者权益，维护市场秩序。

应用开发指引，开发者的全流程责任。开发者作为技术源头，肩负最重责任。文件要求其在开发全流程嵌入伦理安全要求，核心义务主要包括以下几条：

• 理性引导社会对技术能力的认知，在技术创新与伦理安全间寻求平衡；

• 开发自主型AI需格外谨慎，充分评估失控风险及社会影响；

• 将安全可控、公平公正、隐私保护作为开发默认设置；

• 在数据选择与算法设计环节，规避偏见歧视，兼顾重点群体需求；

• 建立信息告知、决策回溯、伦理审计、事故回溯机制；

• 明确技术能力边界与风险，提供便捷的投诉反馈及损失补偿渠道。

服务提供指引，服务提供者的运营规范。服务提供者作为技术落地的关键主体，需切实保障服务过程中的伦理安全，需遵循以下几条核心要求：

• 如实告知用户产品的功能范围、局限性及潜在风险，严禁通过夸大宣传误导用户；

• 若将AI用于个人权利相关决策，必须具备明确的法规支撑；

• 严格规范用户隐私保护流程，并开展伦理安全影响评估；

• 在重要决策场景中，AI仅可作为辅助工具，相关决策必须经过人工复核；

• 为用户提供拒绝、干预、停止使用AI服务的机制及替代方案；

• 持续监控AI运行风险，建立应急处置机制，重点保障易受影响群体的使用公平性。

用户使用指引，使用者的理性使用义务。用户作为技术终端使用者，需秉持向善原则规范自身使用行为。具体包含以下几条核心要求：

• 保持自主判断，避免过度依赖与沉迷，不使AI替代现实交往；

• 提升使用素养，增强识别虚假及错误内容的能力；

• 坚守向善底线，对生成内容主动标识，不伪造身份、不侵害他人权益；

• 主动反馈伦理安全风险，审慎上传敏感信息，做好自我保护。

《人工智能应用伦理安全指引1.0版（征求意见稿）》是我国人工智能伦理安全治理领域的又一重要文件。它未提出不切实际的过高要求，而是立足当前技术风险与应用场景，梳理形成了一套可落地、可执行的行为准则。既为人工智能发展划定了底线，也为技术创新预留了空间。

整体而言，这份文件采用“风险识别—原则确立—分类指引”的框架，将伦理安全要求系统化、具体化，覆盖人工智能从开发到使用的全生命周期，明确了开发者、服务提供者与用户三方的责任边界，也为监管部门开展治理工作提供了参考依据。

不过，这份指引的约束力究竟有多大，需要未来持续验证。这是一份“指引”文件，而非“法规”或“强制标准”。对逐利的开发者和平台来说，伦理安全投入始终属于成本支出，如果后续缺乏执法案例与处罚机制作为支撑，相关条款的落地可能会面临一些阻碍。

附件：《人工智能应用伦理安全指引》1.0版（征求意见稿）

文章参考来源｜全国网安标委、互联网公开信息

  关于赛博研究院  

上海赛博网络安全产业创新研究院（简称赛博研究院），是上海市级民办非企业机构，成立至今，赛博研究院秉持战略、管理和技术的综合服务模式、致力于成为面向数字经济时代的战略科技智库、服务数据要素市场的专业咨询机构和汇聚数智安全技术的协同创新平台。

赛博研究院立足上海服务全国，是包括上海市委网信办、上海市通管局、上海市经信委、上海市数据局等单位的专业支撑机构，同时承担上海人工智能产业安全专家委员会秘书长单位、上海“浦江护航”数据安全工作委员会秘书长单位、上海数据安全协同创新实验室发起单位等重要功能，并组织“浦江护航”数据安全上海论坛、世界人工智能大会安全高端对话等一系列重要专业会议。

欢迎联络咨询：

邮件：public@sicsi.org.cn；

电话：021-61432693。