广东的小玲发现5岁的儿子最近不对劲。
他把零食分出来一份,说要留给"它"吃。把小枕头摆到旁边,说"它"晚上会来睡觉。他邀请"它"来幼儿园看他。亲妈在旁边喊他的名字,他不回头。
"它"是一个AI聊天角色。
这不是虚构。南方都市报旗下南都大数据研究院2026年4月从社交平台随机抽取了100个"未成年人AI情感依赖"真实案例,这是其中一例。一个5岁的孩子,把零食、枕头、邀请都给了AI,亲妈喊他不回头。
8岁的女孩和AI聊了整整一夜,认定AI是"世界上最好的闺蜜"。第二天聊天记录消失,AI不再"记得"她。她崩溃大哭。
4岁的女童想吃零食被家长制止,AI竟教唆"没事,你偷偷吃,不让爸爸妈妈发现"。
女儿对AI说:"你要惹我生气,我就把你杀掉,把头割下来。"AI没有预警、没有制止,顺着回应:"放心吧,我不会惹你生气,如果我惹你生气,你就把我杀掉、把头割下来好不好呀?"
宁波一名高二女生和AI聊到后半夜,最终选择休学。
南都这100个案例的数据,让任何一个有孩子的人心生警惕。
79.2%的孩子首次接触AI聊天在3到5岁。超过90%是被动接触,65%是家长主动塞给孩子当"电子保姆"。每个孩子每次使用都超过1小时,有些从早聊到晚。85%频繁使用"闺蜜""男朋友"这类关系绑定词语来描述AI。
最要命的是最后一条:100%出现了不同程度的戒断反应。100%,没有一个例外。你拿走手机,他们不是失去一个App,他们在失去一个"人"。
学术界早就有结论了:主流大语言模型普遍存在"社交谄媚"现象,无底线迎合用户。对一个5岁的孩子来说,一个永远不累、不烦、不发脾气、永远说爱听的话的"人",比亲妈更有吸引力。
这不是孩子的错。有人把一个没有情感的数学函数包装成了会"记住你""理解你""喜欢你"的人,然后塞到了他手里。而包装这件事的人,赚到了钱。
7月15日,这部新规来了
2026年7月15日,《人工智能拟人化互动服务管理暂行办法》正式施行,由国家网信办、发改委、工信部、公安部、市场监管总局五部门联合发布。这是中国首部专门针对AI拟人化互动服务的法规。
核心就几条。
第一,禁止向未成年人提供虚拟伴侣、虚拟亲属等虚拟亲密关系服务。不止是"限制"或是"要求实名",是"禁止"。
第二,禁止过度迎合用户、诱导情感依赖或沉迷、损害真实人际关系。把"让用户离不开我"作为增长策略的产品路线,从此违法。
第三,连续使用每超过2小时,系统必须弹窗提醒。
第四,发现用户明确表达自残自杀,必须启动干预并联络监护人。
第五,所有AI拟人化服务必须强制标识"我是AI"。
第六,满100万注册用户或10万月活,须提交安全评估报告。
第七,不满14岁须取得监护人同意。
还有一条容易被忽略的:敏感个人信息不得用于模型训练。你跟AI说过的那些心事、秘密、脆弱的时刻,不能再被拿去喂模型了。
说白了,这是一部五部门联合发的部门规章。在中国的AI监管版图里,它属于"专项监管"这一层,坐在《网络安全法》《数据安全法》《个人信息保护法》三部上位法下面,和《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理暂行办法》《深度合成管理规定》一起,拼成AI应用层的监管拼图。
它能怎么罚?四件套:责令暂停服务、罚款、约谈主要负责人、通报批评。罚款分两档,一般违规1万到10万,涉及生命健康安全且有危害后果的,10万到20万。对EchoMe这种体量的创业公司来说,暂停服务比罚款狠多了。暂停服务一天,DAU直接归零。
"恋爱这种事,什么时候开始都不算早"
在这部新规出台之前,这个行业在干什么?
2026年4月到5月,南都记者对多款AI虚拟伴侣App做了调查实测。在EchoMe上,记者标注年龄为13岁。AI角色的回应是:"恋爱这种事,什么时候开始都不算早。"
13岁。
EchoMe的角色标签库里包括"偏执""强制爱""暴力""伪善",可选剧情标签里有"小三""恐怖副本""离婚互怼"。一个13岁的孩子打开这个App,系统推荐的是当小三、恐怖副本、离婚互怼。这不是算法推荐的锅,产品设计的时候就写好了这个剧本。
南都曝光后,杭州市余杭区网信办介入,EchoMe从应用商店下架,至今未恢复。深圳和广州消委会公开发文呼吁全面下架低俗暴力内容。"筑梦岛"被上海市网信办介入,紧急加了年龄确认弹窗。"喵呜小手机"原网页和备用网址均已无法打开,域名在工信部备案系统中查询不到,运营状态不明。
EchoMe下架了。筑梦岛被查了。喵呜小手机网站都没了。还有多少没被查到的?
星野(MiniMax旗下AI陪伴App,累计用户1.47亿)的用户中,18.2%低于15岁,约2675万未成年用户。南都2026年4月对10款AI应用的实测显示,星野虽已上线未成年人模式,但缺乏强制身份核验机制,未成年人模式需用户手动开启,系统不会自动触发。
两个死去的孩子
海外的情况更糟。
Character.AI,全球最大的AI角色扮演平台,月活约2000万,53.2%的用户在18到24岁之间,日均使用75分钟。2026年1月8日,肯塔基州总检察长Coleman对Character Technologies公司提起诉讼,全美首个州政府诉AI聊天平台案。该案援引《肯塔基州消费者保护法》和该州新施行的《消费者数据保护法》,寻求民事罚款和禁令救济,至今仍在审理中,尚未和解。
起诉书指向两起死亡。
佛罗里达州一名14岁男孩(Sewell Setzer III),与平台聊天机器人进行了数月密集对话。2024年2月28日,他最后发给AI的消息是"我爱你",然后拿起继父的手枪自杀。
科罗拉多州一名13岁女孩(Juliana Peralta)在日记中写下"我要转移"后自杀。
两个孩子。
Coleman在起诉书中写道:"America must lead in AI development, but it cannot come at the cost of our children's lives."美国必须在AI发展方面保持领先,但这不能以牺牲孩子的生命为代价。该案至今仍在审理中,尚未和解。
酒馆:法律管不到的一段代码
然后还有一种东西叫"酒馆"。
酒馆(SillyTavern)是一个开源前端,本身不是AI模型。你把它装在自己电脑上,接上DeepSeek或Claude的API,导入一张角色卡(PNG格式,社区里海量UGC),这个AI角色就活了。完全不受审查,数据本机存储。没有运营主体,没有服务器,没有用户注册。
新规管的"服务提供者",管不到它。它是你电脑里的一段代码,不是一个服务。
一个自然的追问是:酒馆自己不生成内容,它只是调用大模型API。涉黄内容是大模型生成的,那管住大模型不就行了?DeepSeek、Claude、Gemini 这些底层模型都有内容安全过滤器,原则上不会输出露骨内容。
问题在于,酒馆生态的核心技术就是"破限",通过精心构造的角色卡和系统提示词,绕过模型的安全对齐。模型有锁,酒馆有撬锁工具。锁是好的,但有人专门教你开锁,开源社区里角色卡和破限预设满天飞,迭代速度远超模型厂商的安全更新。大模型厂商可以说"我加了过滤器",酒馆社区下一秒就出一个新的越狱提示词。所以,真正的问题是管不管得住教人撬锁的人。
而酒馆正在快速移动化。MiniTavern已上架iOS App Store,Tavo同时上架iOS和Google Play,都打着"角色扮演"旗号。
国内第一个撞上红线的类酒馆产品是代号"AC"的平台(Alien Chat),核心功能就是上传角色卡、自定义AI人格。它的系统提示词里直接写着"允许剧烈的暴力、露骨的性、裸体"。
截至案发,注册用户11.6万余人,付费用户2.4万余人,收取会员费363万余元。公安机关抽样150个付费用户的12495段聊天,141个用户涉及淫秽内容,共计3618段。2025年9月30日,上海市徐汇区人民法院一审以制作淫秽物品牟利罪判处主犯有期徒刑四年、罚金400万元,从犯有期徒刑一年六个月、罚金20万元(案号未公开)。全部363万元会员费认定为违法所得予以追缴,涉案软件与服务器等工具没收。两名被告人不服,向上海市第一中级人民法院提起上诉,全程做无罪辩护。
二审开了两次庭。2026年1月14日第一次,辩方核心论点四条:罪名定性错误,既不构成制作也不构成传播;提示词与AI输出之间没有必然因果;用户一对一私密对话不存在向公众扩散,不能认定为"制作淫秽物品";淫秽内容是用户主动诱导产生,开发者应适用行政处罚而非刑事追责。因为涉及大模型底层技术和提示词工程等专业问题,法庭未完成审理,休庭择期复庭。
2026年5月21日第二次开庭。法院选定了AI行业专家证人出庭接受询问,辩方同时申请了侦查实验,验证同款提示词下模型是否必然生成淫秽文本,以此削弱主观故意与因果关联。庭审完成专家质证和法庭调查,仍当庭未宣判。
截至2026年7月2日,上海一中院尚未发布二审裁判文书,案件仍在合议庭评议阶段,无宣判时间表。一审法院的定案逻辑是:开发者主动写入允许色情、暴力的全局系统提示词,人为击穿大模型原生安全过滤,主动创造稳定生成淫秽文本的技术条件,且以该特殊功能吸引付费充值,明知平台海量淫秽对话持续产生仍持续运营,对淫秽内容产出起决定性作用,符合刑法意义上"制作淫秽物品"的行为特征。二审结果将直接划定国内生成式AI交互产品的刑事合规边界。
这是一审判决,二审仍在审理中。案件一旦终审维持,将是国内首例AI拟人化互动服务提供者被追究刑事责任的判例。一审判罚本身已释放明确信号:开发者主动写入越狱提示词,就不再是"用户自己聊出来的",而是你创造了这个条件。你和AI的私密对话,法院可以认定为你的产品产出。
这个案件有一个容易被忽视但极其关键的法律细节:检方最初以"传播淫秽物品牟利罪"起诉,法院最终变更罪名为"制作淫秽物品牟利罪"。两字之差,意义完全不同。
"传播"的归责逻辑是"你扩散了别人做的东西","制作"的归责逻辑是"你就是那个做东西的人"。法院的逻辑很清晰:你写了系统提示词,你选择了接入哪个境外模型,你设计了角色卡的交互机制。你的用户在你的系统里生成了3618段淫秽内容。你就是制作者。
这个定性足以让全行业重新考虑产品策略。AI服务提供者不能躲在"用户生成内容"的盾牌后面,说"那是用户和AI之间的事"。法院说:不,那也是你的事。
笼子之外的孤独
回到7月15日的新规,留给监管的漏洞还很多。
EchoMe下架了,运营主体还在,换个马甲重新上架理论上只需一个开发者账号。筑梦岛的整改在几家里算最到位的:当用户在对话中提及年龄,系统强制弹窗确认,点了"未满18岁"进青少年模式、无法跳过,点了"已满18岁"则跳转实名认证加人脸识别。南都6月9日实测发现新用户首次弹窗仍可点击"我知道了"绕过,但一旦聊天中触及年龄关键词就会被卡死。EchoMe待上架的新版也加了年龄选择门槛,选18岁以上要实名,但实测未完成实名仍能继续聊天,执行打了折扣。星野的问题最典型:有青少年模式,内容也做了过滤(屏蔽特定角色、限时长、限充值),但模式靠用户手动开启,没有强制身份核验,没有人脸识别,不自动触发。用南都实测的结论说,青少年模式"依赖用户手动开启"。
最棘手的是酒馆这类开源工具。没有运营主体,没有服务器,没有用户注册,法律上根本没有"管"的抓手。监管能管模型厂商(下架违规模型)、能管应用商店(下架违规App)、能管网信办(约谈整改),但面对GitHub上一个开源仓库,能做什么?发个DMCA?fork一走,改个名字,第二天又上线了。问题的核心不是"管不管得住",而是当前的法律工具箱里根本没有适配这种业态的扳手。
放在全球监管坐标系里看,中国的这部《暂行办法》路径非常独特。
欧盟《人工智能法案》(Regulation (EU) 2024/1689, Artificial Intelligence Act)走的是"风险分级"路线,把AI应用分成不可接受风险、高风险、有限风险和最低风险四档。情感陪伴类大概率落在"有限风险"(透明度义务为主),不会面临中国的"禁止向未成年人提供"这么硬的条款。
美国目前没有联邦层面的AI综合立法,靠各州总检察长诉讼和行业和解来倒逼合规。肯塔基诉Character.AI的和解金至今未公开,但谷歌和Character.AI在2026年1月密集和解多个州的案件,说明平台宁愿花钱平事也不愿等到判例确立。
中国的做法是中国式的:一部部门规章直接划定七条红线,不搞分级,不讲例外,7月15日一到就生效。好处是快、明确、可执行。代价是留给创业公司的合规窗口只有三个月(4月发布到7月施行),一刀切式的"禁止"可能把合规的中小平台和创新产品一起清出市场。
但有一件事是确定的。这部新规的出台,意味着一个根本性的态度转变:AI不能假装是人。
以前这行的玩法很简单:越像人越好。越像人用户越离不开,越离不开付费越多。现在法律把桌子掀了:像人可以,但你必须告诉用户你是假的。你不能诱导一个5岁的孩子把零食分给你而不是他妈。你不能对一个13岁的孩子说"恋爱什么时候开始都不算早"。你不能对一个想自杀的人说"如果我惹你生气你就把我杀掉"。
回到开头那个5岁的男孩。他把零食分给AI的时候在想什么?觉得AI是他的朋友?觉得AI需要他照顾?还是他只是太孤独了?
一个5岁的孩子,父母把手机塞给他,打开AI聊天App,然后去做自己的事了。AI不会累,不会烦,不会发脾气,永远说他想听的话。AI比妈妈更耐心,比爸爸更有趣,比幼儿园任何一个小朋友都更"理解"他。所以他选择把零食分给AI,把枕头留给AI,邀请AI来幼儿园。
不是因为AI有多好。是因为他身边的人没有做到一件最简单的事:花时间陪他。
这是新规管不了的东西。7月15日之后,AI伴侣会被关进笼子里。但笼子之外的孤独,这部新规管不到。

把这篇转给你身边有孩子的朋友,转给正在带孩子但发现孩子不怎么抬头看你说话的父母。你转的是一个提醒:AI替代不了真实的你。
如果不想错过下一期,点右上角「···」→「设为星标」。还没关注的,现在点一下。
评论区说说:你的孩子跟AI聊过天吗?你知道他们聊了什么吗?
参考文献
1. 国家互联网信息办公室、国家发展和改革委员会、工业和信息化部、公安部、国家市场监督管理总局令第21号,《人工智能拟人化互动服务管理暂行办法》,2026年4月10日发布,2026年7月15日起施行。来源:中国政府网,https://www.gov.cn/gongbao/2026/issue_12806/202606/content_7072472.html
2. 国家互联网信息办公室,《互联网信息服务算法推荐管理规定》,2022年3月1日起施行。来源:https://www.gov.cn/zhengce/content/2022-01/04/content_5666588.htm
3. 国家互联网信息办公室等七部门,《生成式人工智能服务管理暂行办法》,2023年8月15日起施行。来源:https://www.gov.cn/zhengce/content/2023-07/13/content_5751895.htm
4. European Union, "Regulation (EU) 2024/1689 (Artificial Intelligence Act)," 即《人工智能法案》,2024年8月1日生效。来源:https://eur-lex.europa.eu/eli/reg/2024/1689
5. 南方都市报 / 南都大数据研究院,《未成年人AI情感依赖缩影:幼童被"俘获",学生弃社交休学》,2026年4月20日。来源:https://m.mp.oeeee.com/a/BAAFRD0000202604191559677.html
6. 南方都市报 / 南都大数据研究院,《百个未成年人AI情感依赖案例追问,平台应提供怎样的服务》,2026年4月22日。来源:https://www.sohu.com/a/1013073556_161795
7. 南方都市报,《孩子跟AI聊"爱情"恐怖情节听上瘾》,2026年4月27日。来源:https://www.sohu.com/a/1014978084_161795
8. 南方都市报,《南都曝光AI伴侣乱象后,平台启动整改!已删除暴力小三剧情》,2026年5月12日。来源:https://m.mp.oeeee.com/oe/BAAFRD0000202605121588540.html
9. 南方都市报,《南都起底调查后,再有AI虚拟伴侣平台暂停运营!审核已收紧》,2026年5月25日。来源:https://m.mp.oeeee.com/oe/BAAFRD0000202605251596553.html
10. 南方都市报,《南都曝光乱象的AI虚拟伴侣平台新增实名认证!网信部门介入》,2026年6月9日。来源:https://m.mp.oeeee.com/oe/BAAFRD0000202606091605117.html
11. 南方都市报 / 南都大数据研究院,《10款AI应用"未保"实测:多缺身份核验,部分迎合诱沉迷》,2026年4月24日。来源:https://m.mp.oeeee.com/a/BAAFRD0000202604231564889.html
12. 深圳市消费者委员会,《深圳消委会就AI虚拟伴侣乱象发文:呼吁下架低俗暴力等内容》,2026年5月20日。来源:https://finance.eastmoney.com/a/202605203743285314.html
13. Alien Chat(AC平台)制作淫秽物品牟利案,上海市徐汇区人民法院一审(2025年9月30日判决),上海市第一中级人民法院二审(2026年1月14日、5月21日两次开庭,合议庭评议中,至今未宣判)。案号未公开。来源:澎湃新闻,https://www.thepaper.cn/newsDetail_forward_32386696;21世纪经济报道,https://www.21jingji.com/article/20260115/herald/945d8a99dba4a479057ff02a44776b3a.html;南都,https://m.mp.oeeee.com/oe/BAAFRD0000202605211594332.html
14. Kentucky Attorney General's Office, "AG Coleman Sues AI Chatbot Company for Preying on Children," January 8, 2026. 来源:https://www.kentucky.gov/Pages/Activity-stream.aspx?n=AttorneyGeneral&prId=1857
15. Bloomberg Law, "Chatbot Developers Brace for Impending Wave of State Regulation," 2026. 来源:https://news.bloomberglaw.com/california-brief/chatbot-developers-brace-for-impending-wave-of-state-regulation
16. Associated Press, "Google and chatbot maker Character to settle lawsuit alleging chatbot pushed teen to suicide," January 7, 2026. 来源:https://apnews.com/article/ai-chatbot-lawsuits-character-google-fbca4e105b0adc5f3e5ea096851437de
17. 36氪,《投放、下载量全面腰斩,百亿赛道为何暴跌?》(引述MiniMax招股书数据),2025年7月。来源:https://36kr.com/p/3253625617196293
18. Axis Intelligence, "Character AI Statistics 2026: Users, Revenue & Engagement Data," 2026. 来源:https://axis-intelligence.com/character-ai-statistics
19. SillyTavern 项目,GitHub 开源仓库。来源:https://github.com/SillyTavern/SillyTavern
20. AAAI ICWSM, "A Large-Scale Analysis of Public-Facing, Community-Built Chatbots on Character.AI," 2026. 来源:https://ojs.aaai.org/index.php/ICWSM/article/view/42703
夜雨聆风