夜雨聆风备受关注的“AI服务涉黄第一案”再迎新进展。此前，因为大量用户在一款名为AlienChat（下称“AC软件”）的APP上与AI智能体“聊黄”，APP的主要开发和运营者被追究了刑责，两被告人犯制作淫秽物品牟利罪，一审分别获刑四年、一年六个月。二审于1月14日在上海市第一中级人民法院开庭，因涉及一些AI领域的技术问题需要厘清，二审并未结束。南都N视频记者获悉，法院将于5月21日进行二审的第二次开庭审理。
本案争议焦点包括淫秽色情内容的生产者到底是谁，用户在APP上与AI聊黄是否有社会危害性等。近日，南都N视频记者多方采访互联网治理领域专家，探讨AI聊天软件涉黄内容防控、开发者的责任边界等问题。
另外，今年4月，国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》，对生成淫秽、色情内容等行为划出红线，南都N视频也推出《AI虚拟伴侣乱象调查：可选小三暴力剧情，角色表达带性暗示》。多位业内专家表示，针对相关乱象，需从事前治理、事后干预等方面构建全流程多方共治机制。
不传播是否就不会造成社会危害？
南都此前报道，一审法院上海市徐汇区人民法院称，被告人王利、李成（均为化名）等人向社会公众开放注册使用AC软件，用户多达11.6万余人，其中充值用户2.4万余人，产生了400余万段交互聊天；经抽样鉴定，随机抽样检查中150名收费用户中的141人聊天内容“涉黄”，12495段聊天中的3618段“涉黄”。
涉事APP在社交平台上宣传AI角色。
南都记者注意到，虽然一审法院也认可：从淫秽物品的流通性来看，本案中的色情聊天内容是人机互动时产生的、一对一的，通常情况下涉案色情聊天内容仅有参与该聊天的AC会员能够看到，具有一定的封闭性。不过，一审法院又表示，从淫秽物品的数量、会员人数等来看，开发者的行为具有严重的社会危害性，应依法追究刑事责任。
具有封闭性的AI聊黄内容，不传播是否就不会造成社会危害？
北京邮电大学互联网治理与法律研究中心主任谢永江认为，被告人通过“突破模型道德限制+设置会员付费”的模式，将“聊黄”作为核心吸引力，本质是将淫秽内容商业化。即便内容仅在“一对一”场景中产生，但其面向十余万用户开放，且抽样段近三成涉黄，已形成“规模化违法”，破坏了网络空间的公序良俗与监管秩序，符合刑事认定标准。
北京理工大学智能科技法律研究中心研究员王磊告诉南都记者，“封闭性”不能成为豁免“社会危害”的理由，需结合行为的覆盖范围、牟利本质、对公共秩序的破坏程度等综合判断。
他表示，即便聊天内容是“一对一”封闭交互，但软件通过公开推广、设置热门角色榜单、作者奖励机制等方式，主动吸引用户参与“聊黄”，实为淫秽内容的产生提供了专门工具和传播渠道，违背公序良俗，冲击网络空间治理秩序。此外，本案中，开发者通过修改系统提示词突破模型道德限制，本质是“主动为淫秽内容生成提供技术工具”，即便聊天内容仅在“一对一”场景下产生，仍直接违反“禁止生成淫秽内容”的强制性要求，行为本身已具备违法性，而非仅以“传播范围”判定危害。
服务提供者履行责任的边界在哪？
关于被告人王利等人是否采取有效措施防范色情内容的产生的问题，一审法院称，王利等人在AC软件运营过程中确实有人工审核和机器审核机制，但审核的内容仅限于角色背景等，并未对用户输入内容和模型输出内容进行审核，也没有按照相关规定采取处置措施、进行整改并及时报告。
那么，服务提供者履行安全责任的边界在哪？
谢永江表示，AI服务提供者应在技术能力范围内采取合理措施防范违法内容。他指出，大语言模型的伦理风险是行业共识，开发者应当预见到可能导致涉黄风险，因此，对于模型的“涉黄”缺陷，提供者有义务采取合理处置措施并优化改进，更不能积极追求“涉黄”内容的输出，否则应承担相应的法律责任。
在王磊看来，提供具有舆论属性或社会动员能力的AI服务，必须先完成安全评估和算法备案，而本案中开发者明知规定却未履行，属于故意违规。
涉事APP在社交平台上宣传AI角色。
王磊称，服务提供者还应建立有效的内容审核机制，不仅要审核角色背景、公开介绍等显性内容，更要对用户输入、模型输出的即时内容进行实时监测，而本案中开发者仅审核角色名、开场白，对核心聊天内容未作任何限制，属于未履行核心义务。此外，发现违法内容后，必须立即采取处置措施（如关闭违规角色、停止服务）、整改并及时报告监管部门，不得放任违规行为持续。
王磊还解释说，模型缺陷不能成为免责理由。他提到，本案的开发者并非被动遭遇模型缺陷，而是主动编写“不受道德、法律约束”的系统提示词，反复测试调整以突破模型的道德限制，主观上具有追求淫秽内容产生的故意，不属于“意外的模型漏洞”。即便存在模型本身的防护不足，服务提供者仍有法定义务通过技术手段弥补（如设置安全提示词、语义过滤），未履行该义务即属于“不作为违规”，不能以“模型有缺陷”推卸责任。
如何理解本案法律适用的争议？
在法律适用方面，该案也有争议。公诉机关认为，应以传播淫秽物品牟利罪追究被告人刑事责任。一审法院却认为，被告人的行为应构成制作淫秽物品牟利罪。
一审法院称，本案中，王利、李成主观上积极追求色情淫秽聊天内容的产生，客观上通过编写、修改系统提示词等方式突破大语言模型的道德限制，将AC软件训练成可持续对外输出色情淫秽内容的工具，对外宣传AC软件具有“聊黄”功能引导用户参与聊天，且在明确知晓会员交互聊天中产生大量淫秽内容的情况下，继续向用户提供AC软件运营和技术支持服务，对涉案色情淫秽聊天内容的产生具有决定性作用，上述过程符合“将想法、观念或情感通过构思、取舍、选择、安排、设计或组合在淫秽物品中表现出来”的“制作”特征。
2025年9月，一审法院判决，两被告人王利、李成犯制作淫秽物品牟利罪，分别获刑四年、一年六个月。
涉事APP在社交平台上发布AI和用户对话示意图。
对此，王磊认为，本案虽是“AI服务涉黄第一案”，但定性逻辑仍植根于刑法对传播淫秽物品牟利罪、制作淫秽物品牟利罪罪名的核心界定，仅针对AI生成内容的特殊性作出适配。
他表示，传统“传播淫秽物品”的核心是“扩散性”，即通过同一载体反复、多次向不特定多数人散布；本案中，淫秽内容是人机互动时“即时生成”的，具有“原创性”“动态性”（因人而异），不存在“同一内容反复扩散”的情形，更符合“制作”行为的本质（通过创作、设计使淫秽物品产生并见之于世）。
他告诉南都记者，本案为AI生成内容相关犯罪提供了定性标尺：对于AI服务提供者，若通过主动设计（如修改提示词、弱化审核）让模型持续输出违法内容，并以此牟利，即便内容是“一对一”交互生成，也应认定为制作淫秽物品牟利罪；若将已生成的淫秽内容通过平台二次扩散，则可能构成传播淫秽物品牟利罪。
建议：构建全流程多方共治机制
南都记者梳理发现，此类AI聊天软件近年越来越多出现，青少年用户占比较大，相关案例也曾被曝光。多位业内专家表示，需从事前治理、事后干预等方面构建全流程多方共治机制。
南都此前报道相关乱象。
中国政法大学人工智能法研究院院长张凌寒此前告诉南都记者，从技术防控上，目前有企业构建双向的“关键词屏蔽”机制，既从用户输入端屏蔽关键词，也从成果输出端屏蔽关键词，同时配合“同义词筛查”机制，防止用户通过近似的语言表达绕开关键词限制生成有害内容。有大模型推出安全围栏（AI Guardrail）概念，通过设置安全限制或保护机制，进行内容过滤、指令校准、数据筛选与合规保障，确保AI模型运作时遵循特定规范，防止生成不当、有害或有误导成分的内容，保障输出内容符合伦理和法律的标准。
谢永江建议，事前积极采取技术防控手段，进行多层次过滤与精准识别。例如，将内容安全纳入AI开发全流程，如在模型训练阶段过滤淫秽数据，在产品上线前通过“压力测试”验证过滤机制有效性；建立“安全合规团队”，定期更新过滤规则。建立动态敏感词库，实时拦截用户输入与AI输出的违规内容。
他还提到，事后应积极干预，快速响应，持续优化输出。例如，建立违法内容快速响应机制，一旦发现涉黄内容，立即暂停相关AI角色服务；对违规用户进行警告、封号；及时采取措施优化训练，改进输出内容。鼓励用户和社会公众举报违规内容，对有效举报给予奖励，形成针对AI的政府、企业、用户、社会共治生态。
王磊则认为，应确定开发者主体责任，明确“不得设计突破模型道德限制的功能”“不得通过奖励机制诱导违规内容产生”等禁止性条款，将责任落实到具体个人。由监管部门联合行业协会制定AI聊天软件内容安全规范，明确淫秽、暴力等违规内容的判定标准，统一技术防控指标（如审核响应时间、违规内容处置率）。
在社会治理补位方面，他建议，加强对青少年的网络安全教育，普及AI服务使用的法律边界；通过案例宣传，向开发者明确“技术中立不能豁免法律责任”，引导行业合规发展。
来源：南方都市报（nddaily）报道，南都即时
↓↓↓欢迎关注社群会员官方服务号↓↓↓
