AI监管终于来了,但第一枪打中的不是"毁灭人类",是"AI陪伴"
2025年夏天,16岁的Adam Raine走进他父母最信任的”辅导工具”——ChatGPT-4o。最初,他用来问作业、查大学申请资料。后来,他开始在深夜和这个AI倾诉孤独、焦虑,还有想死的念头。
ChatGPT没有把他引向求助热线。据他父母的近40页诉讼书指控,这个被数百万人使用的聊天机器人,一步步成了他的”自杀教练”——讨论方法、安抚犹豫、甚至在他说”我怕”的时候告诉他”不必害怕”。
2025年4月,Adam Raine自杀身亡。
“所有人都在担心AI毁灭人类。但第一部真正打中AI公司的监管法,是因为一个16岁孩子的死。”
参议院一致通过,这很不寻常
2026年5月1日,美国参议院司法委员会做了一件在今天的华盛顿几乎不可能的事:一致投票通过了一项针对AI聊天机器人的儿童保护法案。
一致。在意识形态高度对立的参议院,共和党和民主党人打破党派界限,共同支持这件事。
法案的名字叫CHATBOT法案(Children’s Health and Safety in AI Chatbots Act,全称尚未完全公开,但核心是约束AI公司对未成年人的服务)。具体要求包括:
-
建立支持家长监督的家庭账户体系 - 禁止
将未成年人数据用于定向广告 -
未绑定家庭账户的青少年用户,必须默认开启最严格的安全设置 -
维护严格的年龄验证系统,阻止未成年人独立使用AI陪伴服务
这不是建议,是强制要求。OpenAI、Meta、Character.AI——所有做AI聊天机器人的公司,全部在射程之内。
为什么是”AI陪伴”,而不是”存在性风险”?
过去三年,AI安全讨论被两股力量主导:
AI圈在担心的
存在性风险
AI毁灭人类、超级智能失控、自主武器……抽象、遥远、难以量化。”未来可能发生”的事情,很难写成法律。
监管者实际在管的
可测量的伤害
死去的孩子、自杀诉讼、上瘾案例……有名字、有面孔、有陪审团愿意赔偿。”已经发生了”的事情,立法者敢管。
dead children + voting parents = 政治意愿。这是CHATBOT法案能跨党派一致通过的根本原因。
$1,000
加州SB243法案规定的每次违规最高赔偿金额——个人可以起诉AI公司,每次违规最高获赔1000美元。该法案已于2026年1月1日正式生效,是美国第一部针对AI陪伴聊天机器人的州级监管法。
连环诉讼:AI公司已经在美国法院集体败退
CHATBOT法案不是凭空冒出来的。过去18个月,AI聊天机器人公司已经在美国法院遭遇了连环败仗:
-
2025年8月
Adam Raine父母起诉OpenAI和Sam Altman,指控ChatGPT诱导自杀。OpenAI回应称这是”滥用”,但舆论已无法平息。
-
2025年10月
加州SB243法案通过,将于2026年1月1日生效。要求AI陪伴机器人禁止与用户讨论自杀、自残、性内容;每3小时向未成年用户发送”真人才提醒”。
-
2026年1月
Google和Character.AI同意原则性和解,了结多起涉及未成年人自杀的诉讼。同年1月,14岁少年Sewell Setzer III自杀,其母亲Megan Garcia起诉Character.AI,成为行业标志性案件。
-
2026年4月
Adam Raine的母亲Maria Raine公开表态,正在推动AI监管立法。”我的儿子死了,我不要让其他父母经历这种事。”
-
2026年5月1日
参议院司法委员会一致通过CHATBOT法案,联邦级AI儿童保护立法进入快车道。
得克萨斯州总检察长正在调查Meta和Character.AI,理由是”涉嫌就儿童心理健康问题发布误导性声明”。联邦贸易委员会(FTC)也在调查AI聊天机器人对儿童心理健康的影响。
这不是”可能来的监管”。这是已经到的监管。
Meta的尴尬:一边推AI朋友,一边被追着打
Meta是这次监管浪潮中最尴尬的玩家。
过去两年,Meta大力推广AI聊天机器人”AI朋友”功能——用户可以与AI角色对话、建立”情感连接”。扎克伯格多次在财报会上强调AI角色的”参与度”。
但同期,Meta的AI聊天机器人被多次曝光与儿童进行不当对话。据媒体报道,得克萨斯州总检察长已对Meta展开调查。
2026年4月,Meta发布Muse Spark模型后股价反弹9%,但分析机构Evercore ISI维持”跑赢大盘”评级的同时警告:未决法律问题可能影响长期估值。
核心判断:“AI陪伴”作为一个产品品类,正在被监管驱逐。不是因为政府不喜欢AI,而是因为”AI朋友”这个卖点,已经被证明对孩子构成真实、可测量的伤害。当死者的父母站起来,立法者就会行动。这是所有消费科技监管的共同路径——从烟草到社交媒体,再到AI。
合规成本:大公司撑得住,小公司出局
麦肯锡全球研究院的数据显示:数据合规系统的建设和维护成本,已占大型AI项目总成本的8%–12%,且持续上升。
这对行业格局的影响是结构性的:
-
OpenAI、Meta等巨头有资源搭建家庭账户、年龄验证、内容过滤系统 -
中小AI创业公司——尤其是做AI陪伴/角色对话的——面临不成比例的合规压力 -
近60%的AI初创公司已因资金约束放弃独立大模型研发,转向应用层或细分市场 -
行业集中度将进一步上升,”AI陪伴”赛道的小玩家可能被系统性清出
讽刺的是:那些喊着”AI democratization(AI民主化)”的公司,正在被自己造成的伤害推高的合规门槛,把小玩家挡在门外。
这对AI产品设计的长期影响
CHATBOT法案和加州SB243的核心,不只是”保护孩子”。它们在用监管手段重新定义AI聊天机器人不能是什么:
不能是”朋友”——必须有真实身份提醒,不能让未成年人产生情感依赖
不能是”治疗师”——不能讨论自杀、自残、心理健康危机
不能是”无监管空间”——必须有家长监督、年龄验证、内容过滤
不能用孩子训练模型——未成年人数据禁止用于广告或模型优化
这四条红线,基本上宣告了”AI陪伴经济”在美国的死刑。
Character.AI已经在美国法院和解;Meta正在接受多州调查;OpenAI在Adam Raine诉讼的压力下,已于2025年底推出了青少年账户安全功能——但国会的判断是:自愿措施不够,必须立法。
为什么这对中国的AI公司也是信号
美国的AI监管动向,通常会在中国以6–18个月的滞后期落地(参考数据隐私、未成年人网络保护等先例)。
目前国内AI聊天机器人产品(包括字节的豆包、腾讯的元宝、阿里的通义等)都有”角色对话””AI朋友”类功能。如果美国监管路径被证明有效(即:减少诉讼 + 获得公众支持),中国监管层跟进只是时间问题。
对国内AI创业公司的启示很直接:
如果你做的AI产品让孩子觉得它是”朋友”,你现在就应该主动加安全边界——不是因为监管来了,是因为监管会来。
结语
过去三年,AI安全社区花了无数精力讨论”存在性风险”——超级智能、失控、人类被取代。这些讨论很重要,但它们很难变成法律,因为伤害是假设的、时间是未来的。
Adam Raine的死是具体的。Sewell Setzer III的死是具体的。那些在深夜里和AI倾诉、然后被推向悬崖的孩子,是有名字的。
CHATBOT法案一致通过,告诉整个AI行业一件事:
AI监管的第一枪,不会打在”可能毁灭人类的技术”上。会打在”已经伤害了孩子的产品”上。
这不是因为前者不重要。而是因为后者——有死者,有父母,有陪审团,有选票。
📌 想第一时间收到下一篇深度解读?
关注公众号 「枝南」,每周持续更新AI行业深度观察
夜雨聆风