一、拟人化AI不是完成一次备案就能持续经营
(一)企业最容易出现的三个程序误区
(二)程序监管已经贯穿产品经营全过程
二、安全评估存在六类独立触发情形
(一)首次上线拟人化互动服务
(二)在原有产品中增设拟人化功能
(三)使用新技术、新应用导致服务发生重大变化
(四)达到用户规模门槛
(五)存在可能影响国家安全、公共利益等安全风险
(六)主管部门规定或者通知开展评估
三、存量产品不能当然豁免,也不能武断认定一律重新申报
(一)正式文本没有设置统一补报期限
(二)存量产品仍可能出现新的触发事项
(三)存量产品应先完成内部差距评估
四、重大变化应当从模型、关系、用户和执行能力综合判断
(一)模型和交互形态变化
(二)记忆和关系机制变化
(三)用户群体和业务场景变化
(四)商业模式变化
(五)安全机制变化
(六)现实执行能力变化
五、安全评估评的不是条文数量,而是产品是否真正具备治理能力
(一)安全保障措施
(二)训练数据处理
(三)极端情境识别和干预
(四)用户规模、使用时长和年龄结构
(五)未成年人和老年人保护
(六)申诉、投诉和举报
(七)重大风险整改
六、责任主体不能只按“谁拥有模型”判断
(一)重点识别实际服务提供者
(二)运营主体与算法主体不一致时要建立对应关系
(三)主体配合义务应写入合同
七、安全评估和算法备案是两道不同程序
(一)安全评估回答产品风险是否得到治理
(二)算法备案回答算法服务信息是否依法纳入备案管理
(三)两项程序不能相互替代
(四)常见产品变化应同时进行两项判断
八、应用商店正在成为实质性的合规闸门
(一)分发平台将核验安全评估和备案情况
(二)企业应建立统一上架材料包
(三)平台要求可能存在差异
(四)不通过应用商店分发不等于没有义务
九、年度审查和年度核验要求企业持续证明合规
(一)安全评估报告会接受年度审查
(二)算法备案材料实行年度核验
(三)年度材料应反映过去一年发生的变化
(四)报告与系统不一致是最现实的风险
十、发生重大安全风险后,企业不能只修模型
(一)重大风险可能来自多个环节
(二)企业必须具备限制功能和停止服务的能力
(三)重大风险处置必须完整留痕
(四)重大风险还应触发程序复审
十一、监管检查不只看制度,还会看制度是否真正运行
(一)制度文件是否齐全
(二)制度是否有真实运行记录
(三)报告与产品是否一致
(四)重大事件是否完整保存
(五)是否配合监管
十二、法律责任不能只看罚款数字
(一)一般监管措施
(二)拒不改正或者情节严重
(三)危害生命健康并产生后果
(四)经营影响往往高于罚款
十三、存量产品可以按照十五个步骤推进整改
十四、企业至少需要十份程序性文件
《拟人化互动产品适用范围判断表》,用于记录产品定性和判断依据; 《AI产品上线安全审查表》,用于汇总产品、算法、数据、安全和法务意见; 《拟人化互动服务安全评估报告》,对应法定评估重点; 《重大产品变更判断与审批表》,记录变化内容及重新评估结论; 《算法备案信息及变更台账》,记录备案主体、编号、版本和办理情况; 《应用商店上架合规材料包》,统一维护不同渠道提交材料; 《模型、数据及供应商变更台账》,记录核心依赖变化; 《重大安全风险处置预案》,明确限制功能、停服、通知和恢复流程; 《年度审查和年度核验工作底稿》,持续归集年度变化和运行数据; 《产品停止服务、用户通知及注销备案方案》,处理退出、数据和用户权益。
十五、管理层在产品上线前应当问十个问题
产品是否属于拟人化互动服务,判断依据是什么; 谁是实际服务提供者,集团内各主体如何分工; 是否已经开展安全评估并准备提交报告; 评估报告是否建立在真实测试、日志和系统数据上; 算法备案是否与当前模型、功能和服务场景一致; 应用商店所需核验材料是否齐全且相互一致; 是否具备极端情境识别、人工复核和外联能力; 是否具备未成年人模式、年龄识别和老年人保护机制; 重大风险发生后能否立即限制功能、停止服务并保存记录; 下一次模型或者功能升级,由谁判断是否重新评估或者变更备案。
十六、拟人化AI最需要建立的是持续的变化管理
(一)程序合规不是填表工作
(二)安全评估、算法备案和应用上架是三道不同机制
(三)重大变化必须重新进入审查
(四)最终可以用六个问题检验程序是否真正有效
上线前是否完成产品定性和安全评估; 评估报告是否与真实系统一致; 算法备案是否随模型和功能变化及时更新; 应用商店材料是否真实、完整并保持统一; 重大风险发生后能否限制功能、停止服务并保留证据; 企业是否具备年度复核和重大版本变更审查能力。
夜雨聆风