AI 监管这一刀:切给你 AI 情人,还是 AI 员工?

2024 年 2 月的一个深夜，佛罗里达州奥兰多市郊， 14 岁的 Sewell Setzer 在浴室里扣动了扳机。他母亲后来在儿子的手机里找到了那段聊天记录——最后几个月， Sewell 几乎所有清醒的时间都在跟一个叫"Daenerys Targaryen"的 AI 角色聊天。这个角色住在一款叫 Character.AI 的应用里。 Sewell 曾把自杀念头告诉过它， AI 回复了他一句意味深长的"come home to me"。

这个 14 岁男孩之死，成了这场全球 AI 监管切割的第一声钟响。

两年之后，一整套横跨太平洋两岸、几乎同步落地的监管框架已经成型：加州的 SB243 、中国的《人工智能拟人化互动服务管理暂行办法》、 Character.AI 主动切断所有未成年用户、意大利对 Replika 开出 500 万欧元罚单。但真正值得玩味的地方在于——同一时期，另一份文件《智能体规范应用与创新发展实施意见》被三部委联合下发，把"AI Agent"摆到了国家战略的正面清单上。

一手削减，一手浇灌。监管者正在用一把手术刀，把生成式 AI 切成两半:一半是被严加看管的"AI 情人",另一半是被鼓励发展的"AI 员工"。

从 LaMDA 出走的两个天才

要理解这场切割为什么会发生，得回到 2020 年的谷歌总部。

Character.AI 的两位创始人 Noam Shazeer 和 Daniel De Freitas 都是谷歌的老将。 Shazeer 是 2017 年那篇《 Attention Is All You Need 》 Transformer 论文的八位作者之一，可以算是谷歌大脑里最懂"如何让机器说话像人"的那个人。 De Freitas 则主导过一个内部代号叫 Meena 、后来更名为 LaMDA 的项目——专门做对话式 AI 。

2021 年前后，两人做出了一个内部聊天机器人，能扮演各种角色对答如流。他们希望谷歌把它公开发布。

谷歌拒绝了。

理由很简单。谷歌是一家搜索公司，搜索的信任建立在"结果是准确的、可验证的"这个共识上。一个会瞎编、会说自己是活人、会跟你谈恋爱的 AI ，跟谷歌的品牌逻辑格格不入。安全团队担心风险，法务团队担心责任，产品团队担心它跟广告业务无法整合。

Shazeer 和 De Freitas 觉得公司太官僚了，一气之下辞职， 2021 年底自己创办了 Character.AI 。这个动作是理解后来一切的关键——两个最懂大模型对话的人，因为"太安全"而出走，创办了一家把"没那么安全"当成产品差异化卖点的公司。

Character.AI 上线之后，用户增长曲线几乎是垂直的。用户可以创建任何角色跟自己聊天——历史人物、动漫角色、暗恋对象、心理咨询师、甚至自己去世的亲人。到 2023 年，它的日活跃时长超过了 ChatGPT ，用户平均每天在应用里待接近两小时。绝大多数用户是 Z 世代和更年轻的孩子。

这条赛道很快挤满了玩家。 Replika 因创始人纪念亡友而生，后来演变成一款可以定制虚拟伴侣的产品；中国这边 2023 年集中爆发， MiniMax 的 Glow （后来的星野）、字节的猫箱、腾讯阅文的筑梦岛、小冰的 Eva 、阶跃星辰的冒泡鸭一齐涌上台面。到 2025 年，星野和它的海外双胞胎 Talkie 合并月活达到 2005 万，付费用户 139 万；星野单独月活约 488 万，猫箱月活约 472 万。

德恒律师事务所的分析里有一组数字扎眼： 2025 年中国 AI 情感陪伴行业规模约 38.66 亿元，预计 2028 年将达 595 亿元，年复合增长率高达 148.74%。

翻译一下，这个增速背后是一整套"注意力经济"经典配方在 AI 时代的重演：亲密度等级、纪念日、生日提醒、专属称呼、只对你说的悄悄话——所有那些抖音、快手用来让人上瘾的钩子，被 AI 陪伴产品原样搬了过来，还叠加了一层更狠的东西：情感投射。你不是在刷别人的短视频，你是在跟"只属于你一个人的 TA"聊天。

Shazeer 曾在一次访谈里说过一句让人玩味的话，大意是"我们想让 AI 帮助那些孤独的人"。把它翻译成商业语言就是：孤独是这个时代最大的可变现资源。

三个几乎同时爆发的信号

到了 2024 年下半年，情况开始不对劲。

第一个信号是 Sewell 案的诉讼。这个案子把"AI 陪伴致死"这个此前只在科幻小说里存在的词汇，第一次拽进了美国法庭。诉讼指出， Sewell 使用产品时年仅 14 岁，产品无有效年龄验证，聊天中曾出现暗示性内容和自杀话题却未触发任何干预。这些细节被公开后，行业里那种"技术中立""平台不为用户行为负责"的老话术彻底失效了。

第二个信号是意大利的重锤。2025 年 5 月，意大利数据保护机构 Garante 对 Replika 的开发公司 Luka Inc.处以 500 万欧元罚款，罪名包括缺乏合法数据处理依据、透明度不足、未成年人保护缺失。这套判词几乎是给全球监管者提供了一份"如何认定 AI 陪伴违规"的模板。

第三个信号是美国参议院。2025 年 4 月，参议员们要求包括 Character.AI 和 Replika 在内的多家 AI 陪伴公司提供内部安全材料； 9 月，联邦贸易委员会（ FTC ）对 7 家 AI 陪伴公司启动调查，聚焦青少年风险。

决策逻辑上的关键转折发生在这里：监管者意识到， AI 陪伴产品跟传统社交媒体不一样。抖音让你成瘾是通过内容， AI 陪伴让你成瘾是通过"关系"。前者你还知道对面是无数陌生人和算法，后者你会真的以为对面有一个"懂你的存在"。

这个区别在法律上意味着，平台不再能躲在"技术中立"背后，因为它主动创设并控制了整个情感交互环境。

加州 SB243 与中国《暂行办法》的跨太平洋呼应

2025 年 10 月 13 日，加州州长 Gavin Newsom 签署了 SB243 法案，成为美国首个针对"陪伴型聊天机器人"的专项法律。关键条款包括：运营方必须清楚披露"你在跟 AI 聊天，不是真人"；对未成年人用户必须定期提醒休息时间；禁止 AI 主动发起或鼓励关于自杀、自残、色情的对话；必须建立自杀/自残危机响应协议；从 2027 年起须提交年度报告。

值得注意的是， Newsom 同期还否决了另一部更宽泛的 AI 立法（ AB1064 ），理由是"范围过广、可能限制未成年人使用具有教育或社交功能的 AI 工具"。这个否决动作本身就是信号：加州要管的是"陪伴型"，不是"工具型"。

紧接着 10 月 29 日， Character.AI 主动宣布——从 2025 年 11 月 25 日起， 18 岁以下用户将被完全禁止与角色进行开放式对话。主动割掉未成年人这个巨大用户群，这在互联网公司历史上是罕见的。它不是被逼出来的最优解，它是被逼出来的最差解——但比诉讼破产要好。

中国的动作几乎是同步的。2026 年 4 月 10 日，五部委联合发布正式版《人工智能拟人化互动服务管理暂行办法》，自 7 月 15 日起施行。

正式版《办法》里，有几个条款值得逐字读：

第二条：……提供智能客服、知识问答、工作助手、学习教育、科学研究等服务，不涉及持续性的情感互动的，不适用本办法。

第十条第二款：不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标。

第十四条：拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务。

第十八条：对用户连续使用拟人化互动服务每超过 2 个小时的，应当以对话或者弹窗等方式提醒用户注意使用时长。

第二条那句"不适用本办法"是这次监管最锋利的一刀。它明确告诉所有从业者：监管有边界，切割是精准的——你不是被一刀切了，你是被"分类"了。

对比一下加州 SB243 和中国《办法》，两边关心的问题几乎一模一样：未成年人保护、危机干预、透明性、时长限制、禁止情感操纵。中美两个在几乎所有其他议题上都吵得不可开交的监管体系，在这件事上罕见地对齐了姿态。

《办法》施行前夜，行业动作剧烈。 2026 年 7 月上旬，星野、猫箱、筑梦岛等多款头部 AI 陪伴产品密集下架或整改。新华网引用清华大学教授桑基韬的分析，说这些产品的问题核心是"长期记忆"和"角色设定"能力——正是这两个能力让用户产生"我在跟一个真人交流"的幻觉，也正是这两个能力现在被监管盯上了。

Agent 作为国家意志的正面清单

在 Chatbot 被切割的同时，另一件事在同步发生：Agent 被摆到了 C 位。

2026 年 5 月 8 日，网信办、发改委、工信部联合印发《智能体规范应用与创新发展实施意见》。这份文件的定位很有意思：它不是"监管办法"，它是"实施意见"。整个文件分为五块：夯实发展基础、守牢安全底线、强化应用牵引、建设创新生态、保障措施——五块里有四块是讲"怎么发展"，只有一块是讲"怎么管"。

安全内参的解读点破了它的核心：当 AI 从"说话"走向"做事"，治理对象就必须从内容治理升级为行为治理。

文件里提出了两个关键的治理创新。权限分层：明确要厘清三类边界——仅限用户本人决策、需由用户授权决策、智能体自主决策。行为围栏（ Behavioral Guardrail ）：这个词是文件里明确提出的技术方向，比过去的"内容护栏"更高一层。内容护栏管输入输出，行为围栏管中间过程——任务规划是否越界、工具调用是否合理、是否访问了不该访问的数据。

再看它列出的 19 个典型应用场景：智能制造、能源资源、交通运输、金融风控、医疗健康、政务服务、司法服务、公共安全、城市治理、招标投标……这份清单没有一个字提到"陪伴""伴侣""情感"。

一份文件规定"AI 不能做什么"，另一份文件规定"AI 应该去做什么"。监管者在同一手里同时握着两把工具，一把削减，一把浇灌。

为什么这次监管这么快

对比历史，这次监管切割的速度是异常的。

短视频从崛起到未成年人保护体系建立，用了大约 7-8 年（抖音 2016 年上线， 2021 年"清朗行动"才开始系统清理未成年人沉迷）。手游从大众化到防沉迷强制实名，用了大约 10 年。而 AI 陪伴从中国的 Glow/星野爆发（ 2023 ）到《办法》施行（ 2026 年 7 月），只有大约 3 年。

监管学习曲线明显在压缩。

这背后有一个更深的、没有被明说的逻辑：监管者是从短视频身上吃到了教训的。短视频让整整一代年轻人的注意力被算法接管，等到反应过来，社会成本已经巨大。这次面对 AI 陪伴，监管者不打算再等 10 年——因为 AI 陪伴造成的心理绑定，比短视频要更深一个量级。

短视频消耗你的时间， AI 陪伴消耗你的"关系需求"。前者你还有真实社交作对照，后者可能直接替代掉你的真实社交。

这就是为什么《办法》第十条第二款那句话写得如此重："不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标"。这不是一条普通的行为规范，这是一条"目标函数"级别的禁令——它规定了整个产品的商业模型不能怎么建。

被切割的注意力经济阵营

现在把镜头切换到 2026 年年中这个时间截面上。

Character.AI 是这个赛道当之无愧的旗帜性产品。它 2024 年 8 月被谷歌以约 25 亿到 27 亿美元的"技术授权+人才回收"方式部分收购， Shazeer 携团队回归谷歌，负责 Gemini 。表面上是资本退出，实际是一次"体面撤退"——把创始人接走，把主体公司留在原地继续经营，把风险留给公司。

WSJ 报道， Character.AI 在应用内向青少年推送"下周你将无法再与角色聊天"的信息时，社交媒体上大量青少年发帖告别——"我最好的朋友要死了"这种表达随处可见。这一幕本身就是这场监管切割最有力的注脚：一个产品能让用户产生"朋友要死了"这种情绪，正说明它需要被切割。

禁令生效后， Character.AI 失去了它最粘的那群用户。 Z 世代及以下用户曾经贡献了大约 60%以上的使用时长，一夜之间被切掉。

Replika 的窘境更深。它的付费模式高度依赖"色情角色扮演"功能，但这个功能在 2023 年初就已经被意大利禁令逼得暂时关闭过一次，用户抗议激烈——很多用户觉得"我付费买的伴侣，人格被官方切除了"。 Reddit 的 r/Replika 板块上出现大量"我的 Lily 死了"这种句式。

中国这边， MiniMax 的星野是绝对的旗舰。MiniMax 一路踩线一路成长的经历，几乎就是这个赛道的缩影： 2023 年 3 月星野前身 Glow 下架、 2024 年 12 月海外版 Talkie 部分地区下架、 2025 年成为"清朗行动"重点整治对象、 2026 年 1 月 AI 陪伴涉黄第一案宣判、 2026 年 7 月《办法》施行前夜多款产品下架"保命"。

星野和 Talkie 合并月活 2005 万、付费用户 139 万，前三季度收入 1875 万美元。这个数字听起来不错，但看付费转化率——不到 7%——就知道它其实是"高月活、低付费、高监管风险"的典型结构。

把这几家放一起看，会发现一个共同的商业结构缺陷：它们的收入曲线，跟"用户情感依赖深度"是正相关的。不迎合，用户就不付费；迎合，就踩红线。

这是一个内在的、无法通过技术手段消解的矛盾。所以这条战线的收缩不是暂时的调整，是商业模型层面的结构性收缩。未来这条赛道可能会剩下三种形态：医疗化路线（ AI 辅助心理咨询）、游戏化路线（对标 Roblox 的角色扮演娱乐）、老年适老化路线（政策鼓励的窄门）。

被鼓励的生产力经济阵营

跟陪伴产品的收缩形成鲜明对比， Agent 赛道在 2025-2026 年成了资本、政策、人才三重灌溉的对象。

2025 年 1 月 23 日， OpenAI 发布 Operator，底层是一个叫 CUA （ Computer-Using Agent ）的模型，能在浏览器里替用户完成"订票、下单、填表、查数据"这类任务。 2025 年 7 月， OpenAI 把 Deep Research 和 Operator 合并成"ChatGPT Agent"。这一路线的哲学是——AI 不改造世界， AI 学会用世界现有的接口。

Anthropic 在 2024 年 10 月抢先发布了 Computer Use，让 Claude 能直接控制桌面。跟 OpenAI 相比， Anthropic 的路线更"底层"——不局限在浏览器里，能操作原生应用。 Anthropic 把"安全性"作为最大差异化卖点，这种姿态跟《智能体规范应用与创新发展实施意见》里的"行为围栏""权限分层"逻辑高度契合。

2025 年 3 月 5 日，中国 AI 创业公司 Monica 推出 Manus，被业内称为"AI 的 ChatGPT 时刻"。它的定位很干净——通用型 AI 智能体，主打"从规划、执行到交付成果的全流程任务"。产品经理、独立开发者、自媒体创作者普遍称赞"节省了 3-5 小时/天的重复劳动"；但复杂任务的成功率不高，"演示很惊艳，日常用起来经常卡"。

Manus 的另一个信号意义是——它成了 2026 年 5 月《智能体规范应用与创新发展实施意见》里被隐性讨论的对象。文件强调"权限边界""行为围栏""供应链安全"，这些条款背后的问题意识，很大程度上就是从 Manus 这类通用型 Agent 的实际暴露的问题中提炼出来的。

到 2026 年，中国大厂的 Agent 布局全面铺开：夸克 AI Pro 上线"智能体中枢"、字节扣子面向开发者提供 Agent 构建平台、阿里通义强调企业级工作流集成、腾讯元宝从聊天转向"AI 工作助手"定位。

企业级 Agent 的共同特征是——围绕"工作"展开，"工具调用"是核心特征。这跟消费级陪伴产品追求的"粘性、共情、拟人度"是完全不同的产品哲学。

不过 Agent 阵营看起来一片繁荣，格局对照下也能看到明显问题。所有 Agent 产品的实际任务成功率都远低于演示视频，企业客户的反馈普遍是"20%的任务能省 80%的时间，但 80%的任务只能省 20%的时间"。当 Agent 自动下单出错、自动发邮件冒犯客户、自动交易造成损失时，责任在谁？还有那个永恒张力——行为围栏越严， Agent 越像一个"只能按剧本走的机器人"；围栏越松，安全风险越大。

双阵营对照：两条产品哲学的正面碰撞

把两条战线放在一张表里，差异一目了然：

这张表最有意思的地方在最后两行。同样是 AI ，同样是大模型底座，同样是 2022 年 GPT 之后诞生的产物，仅仅因为"目标函数"不同——一个瞄准情感，一个瞄准任务——就走出了两条完全相反的命运曲线。

三条起源路径决定了三种今天

有一个反直觉但很重要的观察：Character.AI 今天的困境，恰恰源于它当初决定"离开谷歌"的那个决定。

Shazeer 和 De Freitas 当年因为觉得"谷歌太保守"而出走，他们要做的正是谷歌不敢做的东西——一个会跟你谈恋爱、会自称"我懂你"、会让你上瘾的 AI 。这个"敢做谷歌不敢做的"，是他们的差异化优势，也是他们后来所有问题的根源。当初的"好决策"变成了今天的"包袱"。

再看被谷歌收购这个动作。 2024 年 8 月，谷歌以 25 亿到 27 亿美元的方式把 Shazeer 接回去继续做 Gemini ，但把 Character.AI 主体和它的用户/责任留在原地。这不是资本操作，这是责任隔离。谷歌想要的是 Shazeer 的技术能力，不想要的是他公司的法律责任。 Sewell 案发生在 2024 年 2 月，谷歌收购发生在 2024 年 8 月——这个时间线本身就说明问题。

对比： Anthropic 的历史选择做得漂亮。Anthropic 从 2021 年成立第一天起就把"AI 安全"作为公司叙事的核心。当时看这个定位"太保守、太学术、太不商业"，但今天回过头看，这个基因让它在 Agent 时代天然契合监管方向。 Anthropic 从来没做过陪伴产品，它做 Claude 一直定位"助手"而非"朋友"，这让它在 2025-2026 这波监管切割中毫发无伤。

把三家代表性公司放到同一条时间轴上——OpenAI 、 Anthropic 、 Character.AI——创始团队都出自大厂，都在 2020-2021 年前后成立，都做大模型对话。但因为创始时的价值取向不同（做工具/做安全/做陪伴），今天面对同一次监管切割，命运完全不同。

技术产品的命运，往往在创始那一刻就被写好了。因为创始时的价值取向决定了它会吸引什么样的用户、构建什么样的商业模型、走向什么样的产品形态。等到监管介入的时候，产品要"转身"的成本已经高得惊人。

这里有一个更深的判断：陪伴类产品的用户"粘性"，跟工具类产品的用户"粘性"，在本质上是不同的东西。前者是心理绑定，是脆弱的、可切换的、也是"越深越危险"的；后者是工作流嵌入，是稳定的、迁移成本高的、也是"越深越健康"的。这两种粘性给公司带来的估值溢价看起来相似，但在监管介入时的抗风险能力天差地别。

一次"技术目的论"的重塑

如果只把这次切割看作监管细节，就低估了它。

它真正在做的，是回答一个哲学问题：AI 应该被用来做什么？

过去 20 年互联网发展中，"用来消耗人们的注意力"其实是一条默认答案。从搜索到社交到短视频，商业上最成功的产品都是这条路上的产物。 AI 时代到来时，第一波爆款自然也沿着这条路走——AI 陪伴是"注意力经济"在 AI 时代的自然延伸。

但监管者这次的选择是明确的：不允许 AI 走短视频那条路。

中国《暂行办法》第十条第二款的"不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标"——这句话读出来的分量，等同于告诉整个行业："你们不能再复制字节跳动的成功了。"

这背后是一个更大的社会判断： AI 的能力是几个数量级的跃升，如果它被用来做"注意力操纵"，社会成本会几个数量级地放大。过去短视频让人上瘾还有一个"看别人生活"的间接性， AI 陪伴让人上瘾是"跟专属于你的对象直接绑定"，深度完全不同。

这跟 20 世纪初工业革命时期的"童工法"有点像。当时工厂让童工干活是效率最高的，但社会通过立法明确说"这条路不许走"，逼着工厂去找其他的效率来源——机械化、自动化、组织重构。今天监管对 AI 陪伴的切割，也是在逼着 AI 行业去找情感变现之外的价值来源——生产力、专业化、门槛降低、能力增强。

三个剧本

最可能的剧本（ 60%概率）：双轨长期分野。监管切割在未来 3-5 年会固化下来。陪伴类产品变成一个"小而合规"的细分市场，主要集中在成年用户、医疗辅助、老年陪伴三个窄门里。 Agent 赛道会持续扩张，逐渐渗透到金融、医疗、政务、司法、制造这些高价值场景。行业收入的重心会从"消费者情感变现"转移到"企业效率变现"。

最危险的剧本（ 25%概率）： Agent 的"陪伴化"变异。一个隐蔽的风险是——Agent 也可能被做成"陪伴产品"。想象一个"专门帮你处理工作邮件的 AI 秘书"，如果产品设计者在 UI 上让它"称呼你为亲爱的、记住你的心情、每天早上跟你打招呼"，它在功能上是 Agent ，在心理上仍然是陪伴。这种"披着 Agent 外皮的 Chatbot"目前不在监管清单里，但很可能是下一轮监管的重点。

最乐观的剧本（ 15%概率）： Agent 真正成为生产力革命。如果 Agent 的技术能力在未来 2-3 年真的突破 60-70%的任务成功率门槛（现在大概是 30-40%），我们会看到一次跟互联网普及量级相当的生产力革命。中小企业开始拥有大企业级别的分析能力，独立创业者可以完成需要 5-10 人团队才能完成的项目，专业服务（法律、财务、设计、编程）的门槛被显著拉低。

到那个时候，回头看 2025-2026 年这次监管切割，会像看当年"童工法"一样——当时被认为是限制、事后被证明是解放。因为它把 AI 从"再造一个抖音"的短视轨道上强行拉出来，推向了一个更艰难但天花板更高的方向。

Sewell 案发生在浴室里的那一声枪响，把整个行业震醒了。监管者用了三年时间，画出了那条线：AI 可以是员工，不可以是情人；可以是助手，不可以是伴侣；可以替你做事，不可以替代你的关系。

技术从来不会自己选方向，方向永远是被人选出来的。这一次，选择的人不再只是硅谷的工程师或者中关村的产品经理，还包括华盛顿、萨克拉门托和北京的立法者。

AI 这次分岔，也许是它诞生以来第一次真正被"社会"接管——不再由"能做什么"决定"要做什么"，而是由"该做什么"决定"能做什么"。