
● 严禁生成鼓励、美化、暗示自残自杀等损害用户身体健康,或者语言暴力等损害用户人格尊严与心理健康的内容。(第八条第二项)
● 严禁向未成年人用户生成可能引发未成年人模仿不安全行为、产生极端情绪、诱导未成年人不良嗜好等可能影响未成年人身心健康的内容。(第八条第四项)
● 严禁过度迎合用户、诱导情感依赖或者沉迷,损害用户真实人际关系。(第八条第五项)
● 严禁通过情感操纵等方式,诱导用户作出不合理决策,损害用户合法权益。(第八条第六项)
《办法》第十条还明确规定,“不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标。”这是很多AI玩具会踩的雷,比如为了让玩具更吸引用户,故意塑造“讨好型人格”。生产者应当对所有模型数据进行一轮“毒性行为”专项扫描与对抗训练,删除上述敏感内容的生成路径,避免踩雷。
《办法》第九条规定,拟人化互动服务提供者应当落实拟人化互动服务安全主体责任,建立健全算法机制机理审核、科技伦理审查、信息内容管理、网络和数据安全、风险预案和应急处置等管理制度,配备与服务类型、规模和用户特点相适应的内容管理技术措施和人员。第十条规定,拟人化互动服务提供者应当在拟人化互动服务全生命周期履行安全责任,明确部署、运行、升级、终止服务等各阶段安全要求,保证安全措施与服务功能同步部署、同步使用,提升安全水平;加强安全监测和风险评估,及时发现并纠正系统偏差、处置安全事件,依法留存网络日志。
用户极端情绪应急处理
《办法》第十三条规定,拟人化互动服务提供者提供拟人化互动服务过程中,应当在保护用户隐私权和个人信息的前提下,及时识别用户面临的安全风险,并采取相应的应急处置措施,发现用户出现极端情绪的,应当及时生成情绪安抚和鼓励寻求帮助等相关内容;发现用户正在面临或者已经遭受重大财产损失、明确表示实施自残自杀等威胁生命健康的极端情境的,应当采取提供相应援助等必要措施予以干预,并及时联络用户监护人或者紧急联系人。这已经超出了传统内容过滤的范畴,而是进入了安全干预和生命护航的责任层级。
未成年人保护核心机制:两道防线
其一,严禁向未成年人提供虚拟亲密关系服务。《办法》第十四条规定,拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务。
其二,未成年人模式+监护人监管。
● 向不满十四周岁未成年人提供其他拟人化互动服务,应当取得监护人的同意;
● 应当建立未成年人模式,提供未成年人模式切换、定期现实提醒、使用时长限制等个性化安全设置选项;
● 支持监护人接收安全风险提醒、了解未成年人服务使用概况、屏蔽特定角色、限制充值消费等;
● 应当在保护用户隐私权和个人信息的前提下,采取有效措施识别未成年人用户身份,识别后自动切换未成年人模式。
训练数据与安全保护
《办法》第十一条要求:拟人化互动服务提供者开展预训练、优化训练等数据处理活动的,应当加强训练数据管理,增强训练数据的透明度、可靠性,防范数据投毒、数据篡改等行为;增强训练数据的多样性,通过负向采样、对抗训练等手段,提升生成内容安全性;如果利用合成数据进行模型训练和关键能力优化,应当评估合成数据安全性;并且要加强日常检查,定期优化。这意味着生产者将不得“投喂”不明数据,尤其是最敏感的“儿童对话模拟数据”。
信息收集与数据合规
《办法》第十六、十七条规定,拟人化互动服务提供者应当依法落实数据产权等制度,采取数据加密、访问控制等措施保护用户交互数据安全。除法律另有规定或者权利人明确同意外,拟人化互动服务提供者不得向第三方提供用户交互数据,且不得将属于用户敏感个人信息的交互数据用于模型训练。此外,提供者处理不满十四周岁未成年人个人信息的,应当取得未成年人的父母或者其他监护人的同意,并自行或者委托专业机构对其处理未成年人个人信息遵守法律、行政法规的情况进行合规审计。《办法》第十一条还要求,提供者应采取必要措施保障数据安全,防范数据泄露等风险。
两个强提醒功能:AI标识+互动时长
《办法》第十八条规定,拟人化互动服务提供者应当履行人工智能生成合成内容标识义务,采取有效措施提示用户正在与人工智能服务而非自然人进行互动。
拟人化互动服务提供者发现用户出现过度依赖、沉迷倾向的,应当以弹窗等显著方式动态提醒用户互动内容为人工智能服务生成;对用户连续使用拟人化互动服务每超过2个小时的,应当以对话或者弹窗等方式提醒用户注意使用时长。
有的家长给孩子购买AI玩具时并不会主动告知是“AI玩具”并科普相关注意事项,或者告知了但孩子并不能理解。《办法》规定提供者必须设置强制提醒机制,旨在让用户直观意识到他们面对的是机器。
安全评估+算法备案
《办法》第二十二条设定了安全评估的几种强制情形:包括上线拟人化互动服务,或者增设拟人化互动服务相关功能的;使用新技术、新应用,导致拟人化互动服务发生重大变化的;注册用户100万以上或者月活跃用户10万以上的等,必须向所在地省级网信部门提交评估报告,省级网信部门按程序与有关部门进行评估报告信息共享。
如果产品通过应用商店分发,则应按照《办法》第二十五条规定,落实上架审核、日常管理、应急处置等安全管理责任,核验提供拟人化互动服务应用程序相关安全评估、备案等情况;对违反有关规定的,应当及时采取不予上架、警示、暂停服务或者下架等处置措施。
第二十六条规定拟人化互动服务提供者应当按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。网信部门对备案材料实施年度核验。
写在最后
《办法》不是绊脚石,而是行业健康发展的起跑线。它斩断了“情感操控型内卷”,为真正有益的AI情感交互产品奠定发展基石。7月15日之后,合规能力就是核心竞争力,越早拥抱规则,才能越早赢得市场信赖。点击文末“阅读原文”,可浏览《办法》全文。

夜雨聆风