夜雨聆风
2025年9月，上海徐汇区法院审理了一起特殊的刑事案件。AlienChat 平台的开发者因其 AI 服务生成淫秽内容被判刑，这是国内首例 AI 服务提供者涉黄获刑案。法院在判决中明确指出：“如果提供者对 AI 输出内容具有实质性控制能力，且主观上追求或放任有害内容产生，将被认定为内容制作者”。
这一判决颠覆了不少企业对 AI 服务法律定位的认知。传统互联网时代的避风港规则，在生成式 AI 领域似乎失效了。与此同时，《生成式人工智能服务管理暂行办法》和《互联网信息服务算法推荐管理规定》的实施，也让企业在合规实践中遇到了诸多困惑：技术上做不到的事情，法律是否会网开一面？责任边界究竟在哪里？
本文将结合监管规则与实务案例，探讨生成式 AI 与算法推荐服务的核心合规问题，特别是企业最关心的几个“灰色地带”。
一、适用范围：哪些服务需要纳入监管
（一）“向境内公众提供”的实质判断
《生成式人工智能服务管理暂行办法》第二条规定，适用对象是“向中华人民共和国境内公众提供生成式人工智能服务”的提供者。这里的“境内公众”如何理解，直接决定了企业是否需要合规。
实务中存在不少争议场景。
（1）企业将 AI 服务部署在阿里云、腾讯云等公有云服务器上，员工通过网页或 API 接口使用，但只有员工知道地址，也没有对外宣传。这种情况是否适用监管？
从监管实践看，主管部门倾向于采取实质重于形式的判断标准。虽然企业主观上仅面向员工，但客观上已具备“公众可访问”的技术特征——部署在公有云、有公网入口、仅靠简单密码保护，这些都可能被认定为“向公众提供”。相比之下，如果企业采取了强网络隔离（VPN、零信任架构）加严格身份认证，则保留了“未向公众提供”的抗辩空间，但仍需完善技术证据以备核查。
（2）另一个典型问题是境外服务的定性。如果国内公司研发 AI 产品，服务器在境外，只面向境外提供服务，境内需挂 VPN 才能使用，是否适用监管？
原则上不适用，但前提是必须满足严格的技术隔离条件：
• 屏蔽内地 IP 段 • 识别并阻断 VPN/代理 • 仅接受境外手机号注册 • 不接受内地身份证实名等。
如果没有严格识别阻断，大量境内公众通过 VPN 使用，就存在被认定为“实质性向境内公众提供服务”的极高风险。
值得注意的是，“境内”修饰的是服务提供的地理空间，而非用户国籍。向出国留学、务工的国人提供服务，原则上不适用监管，因为这些用户物理上已不在中华人民共和国领土范围内。
（二）“提供者”的广义认定
不少企业误以为，只有豆包、DeepSeek 这类自研大模型才是监管对象。实际上，监管针对的是谁把 AI 能力送到用户手里，而不是谁造的 AI。
根据《生成式人工智能服务管理暂行办法》的定义，提供者包括：
• 自研大模型并直接服务用户的（如豆包、deepseek、kimi、智谱、千问） • 通过 API 输出模型能力的（如 deepseek、kimi、glm） • 利用生成式 AI 技术向用户输出生成内容的 AI Agent（如 Manus、OpenClaw） • 集成多家模型、封装后向用户提供服务的聚合平台（如 Youmind、B. AI） • 以及调用模型 API、面向特定场景提供服务的垂直应用（各类 AI 法律服务、AI 写作、AI 绘画工具）。
换句话说，无论是造 AI 的、搬 AI 的，还是让 AI 干活的，只要最终向用户提供了生成内容的服务，都是提供者。唯一不属于提供者的，是纯技术底层——比如开源模型框架的源码本身，因为它没有提供服务，仅提供技术工具。
二、个人信息处理的技术与法律困境
（一）收集环节：合法性基础的严格限制
生成式 AI 服务天然涉及用户输入信息的处理，用户在提示词中可能输入个人详细信息，这些信息是否可以用于模型训练？
《暂行办法》第七条、第十一条，以及《个人信息保护法》第十三条明确，优化服务本身不构成合法处理个人信息的基础。只有在取得用户单独、明确同意，并满足一系列严格限制条件的情况下，才能将用户输入信息和使用记录用于模型训练。
这里的单独同意有严格要求：
（1）必须以显著方式、通俗易懂的语言单独弹窗，明确告知收集目的（用于模型训练）、数据用途、存储期限、是否向第三方提供等信息，并取得独立于服务协议的有效同意。
（2）一揽子同意不符合要求。
（3）不得将同意数据用于训练作为用户使用服务的前提条件，必须提供明确的“同意”与“拒绝”选项，且两者均可正常使用基础服务。
有两种例外情况：
• 一是信息经过有效的匿名化处理，且不可逆、无法识别个人； • 二是对已公开个人信息的合理范围处理。
但这两种例外的适用条件都很严格，企业需要谨慎评估。
特别值得注意的是，如果提供的服务本身违规（比如 Tianfu Agent 这种 AI 算命），即使取得了用户同意，个人信息处理也缺乏合法目的。中央网信办2026年4月部署的“清朗·整治 AI 应用乱象”专项行动，明确将 AI 算命列为重点整治对象。服务本身的违规性导致必要性原则无法适用，执法实践中会从严从重处理。
（二）删除环节：技术不可能性与法律应对
个人信息的删除问题，是当前 AI 合规领域最具争议的技术与法律交叉难题。
1. 推理阶段的删除能力：如果用户通过提示词将个人信息输入 AI 服务，但并未同意用于训练，现有技术能否完全删除？
答案是：在推理阶段可以，但受到法定留存义务的限制。
用户输入一条提示词后，数据在推理链路中会流经多个环节。GPU 显存、内存中的数据是瞬时驻留，推理结束后即被释放或覆盖，无需额外操作。LLM 注意力机制的 KV 缓存，在请求结束后也会自动释放，不持久化。上下文窗口作为短期记忆，会话结束后不再保留（除非平台主动设计持久化）。用户可见的聊天记录，用户通常可以自行删除。
但问题出在后端日志和安全审计日志上。
《人工智能生成合成内容标识办法》第九条 用户申请服务提供者提供没有添加显式标识的生成合成内容的，服务提供者可以在通过用户协议明确用户的标识义务和使用责任后，提供不含显式标识的生成合成内容，并依法留存提供对象信息等相关日志不少于六个月。
这意味着，即使用户要求删除，企业也无法在六个月内彻底删除后端日志。涉及国家安全或犯罪侦查的日志，须保留更长时间。被标记为潜在违规的提示和日志，也可能被保留更长时间。
此外，即便删除了直接标识符，日志中的时间戳、对话序列等元数据结合其他信息，仍可能推断用户身份，存在间接识别风险。
2. 训练阶段的删除困境：如果用户同意将个人信息用于训练，事后又要求删除，技术上能否实现？
答案是：不能完全删除。
这是全球 AI 行业共同面临的根本性技术难题。用户同意与否只解决了法律合法性问题，完全不改变技术上的客观现实。大模型训练的本质是将数据转化为分布式的参数权重，这个过程是不可逆且不可定位的。
举个例子，当你输入“张三，1990年1月1日出生于北京”并同意用于训练时，模型不会像数据库那样存储这句话本身，而是会调整数百万至数万亿个参数，增强“张三”与“1990年”、“北京”等概念之间的关联强度。这条信息会与其他数十亿条训练数据深度融合、相互交织。没有任何技术手段能够精确识别出哪些参数是由这条特定信息调整而来的。
这就像把一滴墨水滴入一杯水中，你可以稀释这杯水，让墨水的颜色变浅，但你永远无法再把那滴墨水完整地取出来。
截至2026年5月，全球学术界和工业界已经投入了超过10亿美元研究机器遗忘技术，但没有一种技术能够实现真正意义上的完全删除。全量重新训练可以达到约99.9%的记忆消除率，但成本极高（GPT-4级别的模型需要超过1亿美元），耗时数周至数月，且仍有理论上的残留可能。针对性微调的记忆消除率约为80-90%，但存在明显的记忆恢复风险——即使经过微调或剪枝，模型在特定提示词的诱导下，仍然可能回忆起已经被删除的信息。输出拦截过滤可以达到约95%的效果，但这只是堵住出口，信息仍然留在模型参数中。
更致命的是关联记忆污染问题。删除某个人的信息必然会影响到与该人相关的其他知识。比如，删除“张三是某公司 CEO”的信息，可能会导致模型无法正确回答“某公司的 CEO 是谁”。反之，如果保留了“某公司的 CEO 是张三”的信息，那么实际上“张三”的信息并没有被完全删除。这种关联记忆的存在，使得完全删除特定个人信息在逻辑上几乎不可能。
3. 监管部门的务实态度
国家网信办和其他监管部门已经充分认识到了这个技术难题，采取了不要求技术上不可能，但要求法律上尽到责任的务实监管思路。
根据2026年1月四部门约谈精神，监管部门的明确要求是：
• 必须立即删除原始的输入信息和使用记录，不得再用于后续训练；必须采取所有可行的技术措施降低模型对该个人信息的记忆强度； • 必须在输出端采取严格的过滤措施，防止模型生成该个人信息； • 必须向用户明确、如实告知技术上的局限性。 • 但监管部门不要求做到技术上不可能的100%完全删除。
法律责任的边界在于，如果企业能够证明已经采取了所有可行的技术措施来满足用户的删除请求，通常不会被认定为违法。如果企业没有采取任何措施，或者故意隐瞒技术局限性，则会被认定为违法。
（三）责任分配：多方主体的过错认定
如果用户在 Manus 等 AI 产品调用豆包、DeepSeek 等大模型时，通过特定手段绕过安全监管，生成淫秽色情或虚假有害信息，各方如何担责？
从法律角色看，Manus 这类 AI 产品是直接服务提供者，属于第一责任人，对平台内所有生成内容承担主体责任。豆包等底层大模型是技术支持方，作为基础模型提供者，核心义务是确保模型本身的安全性，提供符合国家标准的 API 接口。用户是内容使用者和传播者，不得使用恶意提示词绕过限制，不得传播有害内容。
责任程度取决于过错情形。 如果 Manus 未建立任何内容审核机制，或者审核机制形同虚设，承担主要责任，面临警告、通报批评、责令限期改正，拒不改正的可被罚款、责令暂停相关服务，情节严重的吊销许可证。如果 Manus 主动绕过安全限制，或者明知用户生成有害内容仍放任，则承担全部责任或连带责任，构成犯罪的依法追究刑事责任。
豆包等底层大模型提供者，如果已经建立了完善的安全机制、提供了符合标准的 API、对异常调用进行了监测和预警、及时响应了安全事件报告，则不承担责任。但如果存在过错（比如模型本身安全防护不足、API 接口存在明显漏洞、未对异常调用进行有效监测、收到安全事件报告后未及时处置）则承担相应责任。
用户如果主动使用恶意提示词绕过限制，或者明知是有害内容仍传播扩散，承担全部责任，构成犯罪的依法追究刑事责任。
AlienChat 案的重要意义在于，它确立了一个司法标准：
AI 服务提供者不能简单套用传统网络侵权理论中的避风港规则。《生成式人工智能服务管理暂行办法》第九条明确规定，生成式人工智能服务提供者应当承担网络信息内容生产者责任。这意味着，如果提供者对 AI 输出内容具有实质性控制能力，且主观上追求或放任有害内容产生，将在司法实践中被认定为实际的内容制作者，承担相应的法律责任。
三、算法推荐服务的合规要点
（一）五类算法的分类适用
《互联网信息服务算法推荐管理规定》适用于五类算法：
• 生成合成类算法（利用人工智能技术生成或修改文本、图像、音频、视频等内容） • 个性化推送类算法（基于用户历史行为、兴趣偏好、人口属性等特征动态推送个性化内容） • 排序精选类算法（通过特定规则对海量信息进行排序、筛选和精选） • 检索过滤类算法（根据用户输入的关键词或条件检索匹配结果并过滤无关、低质内容） • 调度决策类算法（用于资源分配、任务调度和自动化决策）
值得注意的是，《互联网信息服务深度合成管理规定》第二十三条和《人工智能生成合成内容标识办法》第三条都明确，生成合成类算法同时适用算法推荐管理规定。这意味着生成式 AI 服务提供者，除了遵守《生成式人工智能服务管理暂行办法》，还需要同时遵守算法推荐相关规定。
（二）三大高频违规行为
1. 算法操纵（第十四条）
第十四条是专门针对算法操纵网络生态和舆论环境作出的禁止性规定。禁止行为分为两类：
第一类是账号操纵与虚假互动行为，主要针对“算法黑产”和“流量造假”问题。利用算法批量注册“僵尸号”、“水军号”，建立账号交易平台买卖、出租、出借用户账号，控制他人账号进行操作或盗用用户账号发布信息，批量为特定内容点赞制造虚假热度，批量生成虚假评论和转发内容引导舆论走向，这些都是明确禁止的。
第二类是信息呈现干预行为，主要针对“算法霸权”和“舆论操纵”问题。利用检索过滤类算法故意屏蔽特定内容、用户或链接，利用个性化推送类算法向用户反复推送同一主题或同一类型的内容制造“信息茧房”，利用排序精选类算法人为调整榜单排名，利用检索过滤类算法人为调整搜索结果的排名顺序，利用算法人为控制热搜榜和精选内容的展示引导公众关注特定话题，这些都属于违规行为。
2. 算法垄断（第十五条）
第十五条禁止利用算法实施不正当竞争。常见的违法行为包括：
• 算法自我优待（利用排序精选类算法将自己的产品或服务排在搜索结果、推荐列表的显著位置） • 算法屏蔽（利用检索过滤类算法屏蔽竞争对手的链接、内容或服务） • 算法二选一（利用算法强制要求商家或用户只能在自己的平台上提供服务或进行交易） • 算法干扰（利用技术手段干扰竞争对手算法的正常运行） • 算法歧视（利用算法对使用竞争对手服务的用户实施差别待遇，如提高价格、降低服务质量等）
3. 大数据杀熟（第二十一条）
第二十一条禁止根据用户的交易相对人的支付能力、消费偏好、使用习惯等实施不合理的差别待遇。需要特别注意的是，即使企业不具备市场支配地位，也要遵守这一规定。这与《反垄断法》中滥用市场支配地位的构成要件不同，算法价格歧视的禁止是普遍性的。
（三）用户权益保护的强制要求
1. 透明度与告知义务（第十六条）
必须以显著方式告知用户提供算法推荐服务的情况，以及算法推荐服务的基本原理、目的意图和主要运行机制。这里的“显著方式”不能只在隐私政策里写，要在用户可见的显著位置公示。
2. 用户选择权（第十七条）
必须向用户提供不针对其个人特征的选项（即“非个性化推荐”选项），提供便捷的关闭算法推荐服务的选项，提供选择或删除用户标签的功能。这是强制性要求，不能设置复杂的关闭流程，要真正“便捷”。
用户选择关闭后，必须立即停止相关服务。要提供多元化内容，避免过度个性化导致信息单一化。
3. 特殊群体保护
对于未成年人，必须开发适合未成年人使用的模式，提供适合未成年人特点的服务，不得推送可能引发模仿不安全行为的内容。这需要建立未成年人识别机制和专门的内容过滤规则。
对于劳动者，第二十条禁止利用算法实施劳动者权益侵害行为，也就是通常所说的算法压榨。
四、分类分级监管下的合规路径
（一）备案与登记的义务差异
《生成式人工智能服务管理暂行办法》第十七条 提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。
这里的关键是具有舆论属性或者社会动员能力。
《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》第二条** **本规定所称具有舆论属性或社会动员能力的互联网信息服务，包括下列情形：
（一）开办论坛、博客、微博客、聊天室、通讯群组、公众账号、短视频、网络直播、信息分享、小程序等信息服务或者附设相应功能；
（二）开办提供公众舆论表达渠道或者具有发动社会公众从事特定活动能力的其他互联网信息服务。
并非所有生成式 AI 服务都需要备案。通用大模型服务（如豆包、deepseek）、文生图/文生视频服务（如 Seedance、剪映 AI）、AI 写作/文案生成、AI 新闻/评论生成、AI 短视频/直播等，因为生成的内容可以公开传播、具有舆论影响力，必须备案。而纯代码生成工具（如果仅生成代码、不生成自然语言内容）、企业内部自用的 AI 辅助工具、仅面向专业人员的技术工具，可能不需要备案。
目前没有统一的国家标准，实务中按技术实现方式分类：
（1）自研大模型服务、二次开发模型服务（基于开源大模型进行深度微调、架构修改后对外提供服务），必须完成生成式人工智能服务备案，向国家网信办提交。
（2）API 封装服务（调用第三方已备案大模型 API，但进行了二次开发、功能封装、逻辑改写），必须完成生成式人工智能应用登记，向属地网信部门提交。
（3）纯接口转发应用（仅做第三方已备案 API 的简单转发与展示，无任何二次开发），无需单独备案/登记，但需公示所使用的已备案模型信息。
备案时间窗口很短，必须在提供服务之日起10个工作日内履行备案手续。
（二）行业专项监管的叠加适用
不同应用领域有不同的专项监管要求：
• 新闻出版领域需取得相应资质，生成内容需符合新闻出版管理规定。 • 影视制作领域，2026年4月起，所有 AI 漫剧/动画微短剧必须完成备案，投资超300万或特殊题材需总局备案并核发《网络剧片发行许可证》。 • 教育领域不得生成有害未成年人身心健康的内容，需建立未成年人保护机制。 • 医疗健康领域不得生成医疗诊断、治疗建议等专业医疗内容，除非取得相应医疗资质。 • 金融领域不得生成虚假金融信息，不得从事非法金融活动。
特别值得关注的是拟人化互动领域。2026年7月15日起，AI 陪伴、虚拟伴侣、AI 心理疏导等拟人化情感互动服务需遵守《人工智能拟人化互动服务管理暂行办法》。该办法第十六条明确规定，提供者不得非法留存能够识别使用者身份的输入信息和使用记录，这与《暂行办法》第十一条的要求一致。
（三）常见误区澄清
实务中存在不少认识误区：
（1）“用开源模型就不用备案”是错误的，只要将开源模型进行二次开发后面向公众提供服务，且具有舆论属性，就必须备案。
（2）“个人开发者不用备案”也是错误的，第十七条适用于所有服务提供者，包括自然人。
（3）“境外服务提供者不用备案”同样错误，向境内用户提供服务的境外企业，必须指定境内代理人完成备案。
（4）“调用已备案模型就不用任何手续”不准确，调用已备案模型的应用不需要重复进行大模型备案，但需要办理 AI 应用登记。
（5）“备案是一劳永逸的”也不对，当模型发生重大版本更新、服务范围扩大、训练数据新增等情况时，必须办理变更备案。
（6）“工具类服务都不需要备案”不全面，工具类服务如果具备公开传播功能或面向公众提供内容服务，也需要备案。
五、企业合规实务建议
（一）建立算法生命周期管理机制
北京市的合规指引提出从三个维度切入：算法生命周期（设计、开发、测试、部署、运营、退出），算法类型（个性化推荐、排序精选、检索过滤、调度决策等），算法应用场景（内容推荐、商品推荐、服务推荐等）。
需要建立算法安全与质量管理机制、用户采样与测试机制、灰度发布机制。不能只有定性描述，要有可量化的评估指标。
（二）数据标注的特殊合规要求
《暂行办法》第八条对数据标注提出了专门要求。生成式 AI 中的数据标注是指在预训练、优化训练等技术研发过程中，由人工或人机结合的方式对原始数据进行分类、标记、注释、排序、打分等处理。
• 规则必须明确标注目标、格式、方法和质量标准，强制区分功能性标注与安全性标注并分别制定规则。 • 必须建立常态化、全流程的标注质量评估体系，对标注内容进行分层抽样核验。 • 安全性标注的抽样核验比例不得低于3%，主要风险场景（违法、虚假、歧视、暴力等）样本不少于200条。 • 标注人员必须接受培训，培训内容包括标注规则、平台使用、法律法规、职业道德等。
（三）五大合规检查清单
建议企业建立以下合规检查清单：
• 算法备案材料准备清单（服务提供者名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等） • 用户权益保护功能检查清单（非个性化推荐选项、便捷关闭功能、标签管理功能、透明度公示等） • 特殊用户群体保护机制清单（未成年人模式、劳动者权益保护、敏感群体识别等） • 数据标注质量评估清单（标注规则完整性、抽样核验记录、人员培训记录等） • 应急响应预案（有害内容发现与处置流程、用户投诉处理机制、监管部门沟通机制等）
（四）与监管部门保持良性沟通
对于处于中间状态、难以判断是否需要合规的情形，建议咨询属地网信部门，或按就高不就低原则主动合规。主动合规的成本远低于被动整改的代价。
定期开展算法自评估，建立用户投诉处理机制，保持与监管部门的沟通，关注配套规则和地方性指引的更新，这些都是持续合规机制的重要组成部分。
六、结语
AlienChat 案的判决，标志着生成式 AI 服务提供者的法律定位已经明确：不是传统的网络服务提供者，而是内容生产者。这意味着企业不能简单依赖避风港规则，而必须对 AI 输出内容承担实质性的监管责任。
技术不可能≠法律免责。 模型遗忘技术无法实现100%完全删除，但监管部门并不要求企业做到技术上不可能的事情。法律责任的边界在于：企业是否已经采取了所有可行的技术措施，是否如实告知了技术局限性，是否建立了完整的证据链来证明自己已经尽到了合理义务。
合规成本远低于违规代价。备案、登记、算法评估、数据标注质量管理，这些看似繁琐的程序，实际上是企业最好的护身符。一旦发生安全事件，完整的合规记录可以证明企业已经尽到了法定义务，从而避免或减轻法律责任。
这是一个需要技术、法律、伦理多方协同的时代。企业合规人员需要懂技术，技术人员需要懂法律，决策者需要在创新与责任之间做出明智的平衡。只有这样，生成式 AI 才能真正成为推动社会进步的力量，而不是制造新风险的源头。
免责声明
本文仅为行业通用机制分析，不针对任何特定企业。文中观点仅代表作者个人，不构成法律意见。具体法律问题请咨询专业律师。
本文所涉及的技术细节、业务流程均为公开信息或作者基于从业经验的合理推断，不涉及任何商业秘密或内部机密信息。
 |  |
李中贞律师
Base：上海/深圳/杭州/扬州DSC：曾是写代码的程序员，现在是用法律保护你的律师业务领域：1、数字经济业务： - 数据合规 - 人工智能与算法合规 - 数据资产登记及投融资2、刑事业务： - 网络犯罪辩护 - 涉黑灰产犯罪辩护 - 涉虚拟货币犯罪辩护 - 银行卡及加密资产解冻和找回3、传统业务： - 劳动人事争议及工伤 - 人身损害赔偿纠纷 - 传统民商事争议解决 - 企业法律顾问
