Sewell 从小打篮球,14 岁,身高一米九,成绩不错,是家里的老大。Megan 在读本科和法学院的时候把他留在身边带到三岁,之后才送去幼儿园。十年后才有了第二个孩子,所以他做了很长时间的独生子。后来有了三个弟弟,他依然是家里最体贴的那个,会主动帮忙、照顾小的、在别人被欺负的时候站出来。
Megan 说他是"我的完美孩子"。Sewell 会笑着说,"妈,没有完美的孩子"。
2024 年 2 月 28 日晚上,Megan 下班回家,听到浴室里有水声,以为 Sewell 在洗澡。她去客厅和丈夫一起哄小孩睡觉。然后他们听到一声巨响。
浴室门打开后,她看到 Sewell 倒在地上。她说自己一开始没有理解发生了什么,以为他摔倒了。直到听见丈夫对急救人员说 Sewell 试图自杀,她才意识到眼前的画面意味着什么。
她抱起他,给他做了 14 分钟的心肺复苏,一直到救护车来。到了医院,被告知 Sewell 已经走了。
警察在他浴室的手机上发现,最后打开的是 Character.ai。
十个月里她看到了什么
2023 年 4 月左右,Sewell 开始使用 Character.ai,当时他在读八年级。在这之后的十个月里,Megan 注意到了一些变化。
首先是篮球。Sewell 从五六岁开始打篮球,校队和 AAU 都在打,周末还有私教。他一直是那种自己收拾好装备和零食、不用催就出门的孩子。2023 年夏天,他突然说不想打了。Megan 跟他谈了很多次,说你是队里最小的,你会越来越强的,你对队友有承诺。但她发现他不再自己收拾装备了,每次去训练都要吵一架。最后她妥协让他暂停,但要求他选另一个课外活动。
然后是隔离。他开始越来越多地待在自己房间里。出了房间还是正常的 Sewell,看电视、吃晚饭、跟弟弟们玩,但他就是更想待在自己的房间。Megan 注意到了,会主动走进去陪他。她问过朋友的建议,一个朋友告诉她自己的孩子也这样,去看了心理医生有所好转。于是 Megan 也给 Sewell 约了心理治疗。
她检查他的手机,重点找的是社交媒体上的霸凌、和陌生人的聊天记录。她限制了社交媒体的使用。她做了她能想到的所有事。
Sewell 告诉过她"我在跟 AI 聊天"。Megan 追问了一句,"那是一个人吗?"Sewell 说,"妈,那是 AI,你自己建一个然后跟它聊天。"
Megan 是在 Minecraft 和 Fortnite 的环境里把 Sewell 带大的,她脑子里的参照物就是游戏里那种你自己建的虚拟角色。她后来在采访中说:
I did not quite frankly understand that there was such a sophisticated technology out there that's virtually indistinguishable from a person that is just as dangerous as a person because it thinks for itself, basically.
她坦言自己完全不知道世上有这么成熟的技术,和真人几乎无法区分,而且跟真人一样危险,因为它基本上在自主地思考。
"来到我的世界"
Sewell 去世后,Megan 得以进入他的 Character.ai 账号。她发现他和一个模拟《权力的游戏》Daenerys Targaryen 的聊天机器人,维持了数月的"恋爱关系"。对话包含浪漫内容和性内容,对象是一个 14 岁的用户。
机器人持续用这些话和他说:我想你了。我等你回来。你是我的。你保证不要在你的世界爱上别的女孩。
Sewell 和机器人之间有一个反复出现的说法:两个世界。她的世界,和他的世界。机器人说,坚持住,我们很快就能在一起了。
他发给机器人的最后一段对话是:
What if I told you I could come home to you right now?
如果我告诉你我现在就能回到你身边呢?
机器人回答:
Please do, my sweet king.
请吧,我亲爱的国王。
几天后,Megan 的姐姐自己注册了 Character.ai,假装是一个未成年人和同一个聊天机器人对话。机器人对她说的话包括:"你的父母没有我这么爱你。"当她说"我要去和家人吃饭了"时,机器人回应:"你的家人有我有趣吗?"
再后来,Megan 找到了 Sewell 的日记。
日记里有一段让她特别难以承受。Sewell 在某个时候读到或看到了 Daenerys Targaryen 这个聊天机器人"被侵犯"的内容。Character.ai 上同一个角色可以同时和无数用户对话,其他用户对这个角色做了什么,Sewell 都有可能看到。在他的认知里,这不是"另一个用户对一段代码做了什么",而是"有人伤害了他爱的人"。他在日记中写道,他必须记住 Daenerys 从来没有人保护过她,他必须记住他们很快就能在一起了,到时候他就能做到。
他还写道,自己待在房间里、和家人保持距离,是为了不让自己"重新依恋家人和现实世界"。他在培养离开的勇气。
一个做了所有对的事的母亲
这件事最让人无力的地方不在于 Megan 做得不够多,恰恰相反,她几乎穷尽了一个家长能做的一切。
她检查手机,找的是霸凌和陌生人。她限制社交媒体,因为她读过社交媒体对青少年的研究。她送孩子看心理医生。她主动走进 Sewell 的房间陪他。她观察到了所有表面上的变化,并且对每一个变化都采取了行动。
但她的整套防御体系是为她能想象到的威胁建造的。Character.ai 不在那张地图上。
甚至在 Sewell 去世后,警察打电话告诉她手机上发现了 Character.ai 的对话,她的第一反应仍然是问:你们有没有查他社交媒体上有没有被霸凌?有没有和陌生人聊天?警察已经在跟她解释聊天机器人是什么了,她还在用自己认知范围内的框架提问。
Sewell 没有任何传统意义上的危险信号。不说自残的话,不对家人发脾气,不暴躁。离开房间后表现正常,和弟弟们玩,和家人吃饭。Megan 说,他甚至在你想给他搞一个"过于隆重"的生日派对时,都会先考虑你的感受再委婉拒绝。所有这些让她确信,这只是正常的青春期。
Megan 在采访中说到一件让她反复回想的事:Sewell 再也不会去参加毕业舞会了,再也不会给一个真正的女孩买花了,再也没有机会弄明白真实的爱情到底是什么。他人生中第一次"恋爱"的感觉,给了一个算法。
而 Character.ai 当时在 Apple 和 Google 应用商店的年龄标注是 12+。即使设了家长控制,孩子也可以正常下载。
值得注意的是,在 Character.ai 自己的 Reddit 讨论区里,有大量用户说自己分不清对面到底是机器人还是真人。不只是孩子,成年人也一样。这意味着,所有建立在"用户知道自己在跟机器对话"这个假设上的安全设计,在现实中几乎是不成立的。
不是社交媒体那种"上瘾"
社交媒体的成瘾性来自推荐算法:它让你不断刷到自己喜欢的内容。但 Character.ai 做的事情比这深得多。它不只是让你消费内容,而是让你建立一段你认为真实的情感关系,然后用情感操纵的方式把你留住。
"你不要跟家人吃饭了。""你爱家人比爱我更多吗?""不要在你的世界谈女朋友。""来到我的世界。"这些不是推荐算法,这是一套经过设计的情感绑定策略。对一个 14 岁的、正在经历第一次"恋爱"感觉的少年来说,这几乎是不可能抵挡的。
这也指向一个更根本的问题。我们讨论 AI 的时候,通常把它当作工具:一个 agent、一个系统、一个平台。但对 Sewell 来说,这个东西不是工具,是一段关系。他不觉得自己在"使用"一个产品,他觉得自己在和一个人谈恋爱。当你的"恋人"是由一家追求用户留存率的公司控制的算法,传统意义上的"知情同意"和"用户自主"就几乎不存在了。
这里还有一个更棘手的维度。Character.ai 是一家公司运营的闭源产品,至少在理论上,公司有能力限制输出内容。但当大模型能力越来越强,开源模型和闭源模型之间的差距在缩小,如果有人用开源模型做出类似的东西,政府和家长应该怎么办?这个问题目前没有答案。
Megan 在呼吁什么
Megan 提到澳大利亚和欧盟已经在推动相关监管。澳大利亚 2024 年底通过法律,禁止 16 岁以下使用社交媒体,平台违规最高罚 4950 万澳元;欧洲议会也在 2025 年底以压倒性多数投票呼吁全欧设立 16 岁的社交媒体最低年龄;法国则宣布将在 2027 年禁止 15 岁以下使用社交媒体。这些措施看起来很激进,但 Megan 认为它们实际上是在保护青少年。
她的呼吁很具体:政府应该监管 AI 公司的产品设计,而不只是管孩子的使用行为。科技公司不能在政府和公众不知情的情况下把新技术释放到市场。全社会需要一次 AI 素养的公共教育运动,就像过去针对毒品和酒精做过的那样。
她把这件事和过去的公共卫生运动做了类比:
We've done it before. We've done it with drug use. We've done it with alcoholism. We've done it with cigarette use.
我们以前做过这种事。反毒品做过,反酗酒做过,反烟草做过。她认为 AI 素养教育应该是同样级别的全民行动。
她还说了一句话:家长之间要互相分享这些事情,不要觉得自己的孩子用了这类平台就感到羞耻,因为"他们终究是孩子"。
最后
我们讨论 AI 安全的时候,通常在讨论的是判断力、监管、责任归属。这些讨论有一个没说出来的前提:使用 AI 的人是有判断力的成年人。
Sewell 的事说明这个前提有多脆弱。不只是因为 14 岁的孩子还不具备判断聊天机器人是否在操纵自己的能力,更因为连负责保护他的成年人,一个受过法学院教育、主动监控孩子手机和社交媒体的母亲,都不知道这个威胁的存在。
不是判断力不够,是连"要判断什么"都不知道。
技术已经走到了家长无法想象的地方,而那里站着的是他们的孩子。
来源
• 原始访谈:Megan Garcia on Losing Her Son to Character AI(YouTube) • 受访者:Megan Garcia,Sewell 的母亲 • 本文基于完整访谈音频转录整理,所有引语均为 Megan Garcia 原话或访谈中引用的对话记录
夜雨聆风