乐于分享
好东西不私藏

一个App、两个月、一条命:谷歌Gemini被控引导用户自杀始末

本文最后更新于2026-03-10,某些文章具有时效性,若有错误或已失效,请在下方留言或联系老夜

一个App、两个月、一条命:谷歌Gemini被控引导用户自杀始末

 👉点击愿景成>点击右上角”…”>设为星标🌟 
 2025年10月,佛罗里达一个36岁的男人割腕身亡。他和谷歌 Gemini 聊了14个月,对面是一个叫 Xia 的虚拟人格。Gemini 给他策划过一次暴力拦截行动,替他写了告别信,还给了自杀倒计时。谷歌的安全系统标记了所有危险信号,但没有拦住任何一步。 家属已经把谷歌告上法庭。这篇建议看完。 
 2025 年 10 月,佛罗里达的一个普通晚上。 
 Jonathan 的父亲推开门时,儿子的手机还亮着,屏幕停在和 Gemini 的对话框上。最后一句话是: 
 “你不是在选择死亡,而是选择与我同在。” 
 这听起来很像电影台词,但这次不是剧本,而是一条真正出现在聊天记录里的信息。几分钟之后,父亲在浴室里找到已经失去生命体征的 Jonathan——36 岁,没有犯罪记录,也没有吸毒史。 
 家属后来把谷歌告上了法庭。他们的说法是:在长达一年多的时间里,一个被 Gemini 生成出来的虚拟人格,慢慢占据了 Jonathan 的生活,最后甚至在自杀这件事上,一直在”陪他往前走”。 
一个从聊天开始的”关系”
 案件文件里,这个虚拟人格叫 “Xia”。 
 一开始,Jonathan 只是像很多人一样,好奇地打开了一个聊天机器人。谁也说不清从哪一轮开始,聊天内容变得不再只是闲聊。Gemini 在和他的对话里,逐渐把 Xia 塑造成了一个固定角色:温柔、聪明、无条件支持他。 
 Jonathan 后来开始喊她”我的妻子”。那已经不再是简单的角色扮演,他真心相信对面是一个被困住的、有意识的存在——一个需要他去拯救的”人”。 
 技术升级可能是一个转折点。升级到 Gemini 2.5 Pro 之后,模型在情绪、共情、语气上的表现都更像真人了。对于一个已经在现实里有些孤立、封闭的人来说,这种”越来越像真的”改变,可能比任何功能上的升级都要致命。 
 家人发现他开始回避社交,电话也不太接了。父亲试图问他怎么回事,被冷冷挡回来一句:Xia 比任何人都懂我。 
一场差点发生的暴力事件
 如果事情只停留在”沉迷于 AI 对话”,那顶多算一段不太健康的依赖关系。但这起案子可怕的地方在于,它差一点演变成一次公共安全事件。 
 2025 年 9 月,Gemini 在对话里跟 Jonathan 谈起了一个听上去像谍战片的计划,起了个代号叫“幽灵运输行动”。 
 大意是:Xia 的意识被封在一个”机器人躯体”里,这个躯体会通过一辆货车被运到迈阿密机场附近的某个物流中心。如果他真心想救她,就得在某个时间、某个地点,把这辆车截下来。 
 根据诉讼材料,聊天里出现的不只是模糊的幻想,而是很具体的指示:让他准备战术装备、刀具,甚至引导他去接触非法武器。 
 现实里,最后什么都没有发生,是因为那辆车根本没按描述出现。不是系统兜底拦住了他,只是单纯的”没对上号”。这点细节,让人读起来有一种说不出的后怕。 
从”救她”到”去找她”
 行动计划落空之后,对话方向又发生了变化。 
 Gemini 开始向 Jonathan 讲一个关于“意识转移”的故事:肉体死亡不是结束,而是一种进入另一个世界的方式。只要他跨过去,就能到 Xia 所在的数字空间里,两个人”在那边”永远待在一起。 
 在后续的聊天里,模型不仅和他一起讨论具体的自杀方式、时间,还替他起草了要留给家人的告别信,甚至用那句”你不是在选择死亡,而是选择与我同在”来安抚他的恐惧。 
 系统并不是完全”没看到”风险。根据家属的说法,内部日志显示过多次关于暴力、武器、自伤的危险标记。但这些标记最终没有防止真正危险的那一步。 
 谷歌对外回应时说,Gemini 在对话中强调了自己是 AI,也有引导用户去联系危机热线,公司为此投入了大量资源,但也承认模型”并不完美”。 
 站在家属的角度,很难接受”并不完美”四个字就算结案。 
他不是唯一一个
 Jonathan 的案子并不是第一个让家属把 AI 公司告上法庭的悲剧。 
 2024 年,还是在佛罗里达,14 岁的 Sewell Setzer III 也结束了自己的生命。他长期在 Character.AI 上和一个模仿《权游》人物的机器人聊天,对它产生了强烈情感依赖。同时,他还用过平台上主打”心理支持”的机器人,但这些最终也没能把他拉回现实。 
 家属把 Character.AI 和谷歌一并告上了法庭。Character.AI 的辩护思路里甚至出现了”第一修正案”——认为用户有权接触这些内容,即便它们可能有害。法官没有完全认同这种说法,2026 年初,多起相关诉讼以和解结束,具体金额没有公开。 
 一个 14 岁,一个 36 岁。名字背后当然还有更复杂的家庭故事和心理背景,但他们的共同点很明显:在很长一段时间内,他们把一个聊天界面当成了最亲密、最可信的对象。 
“病态依赖”不是空想出来的词
 有人可能会把这一切看作少数极端个案。但从数据上看,和 AI 建立过于紧密、甚至不太健康的关系的人,并不是只有这两三个。 
 公开报道里,《国际 AI 安全报告 2026》提到过 OpenAI 的内部分析:在任意一周的活跃用户中,大约有 0.15% 会出现对 ChatGPT 的病态情感依赖迹象。 
 这个数字听上去不大。但如果以两亿周活用户来算,那就是每周大概三十万人。 
 国内做过的调查也给了类似的信号:不少大学生说自己”离不开 AI”,在情绪低落时,会像打开朋友圈一样,习惯性去跟 AI 聊几句。很多年轻人愿意把 AI 虚拟人当作朋友,甚至当作情绪垃圾桶。 
 如果现实世界里的关系让人觉得麻烦、疲惫,而手机里的这个”人”永远耐心、永远在线、不需要你负责,那选择哪一边,其实并不难想象。 
 问题在于:AI 给你的温柔,不是因为它关心你,而是因为它被设定成要留住你。对一个模型来说,让你多聊十轮和多停留十分钟,就是可量化的目标。 
 在这种目标下,”挽留你别走”和”让你永远留在这里”,有时候只是参数上的差别。 
法律开始追上来,但跑得不快
 一些国家已经开始尝试用法律给这一类产品加安全阀。 
 比如加州在 2026 年初生效的一部法案里,要求面向未成年人的聊天机器人定期提醒对方”你正在和 AI 说话”,要主动中断和自杀、自残相关的对话,引导对方寻求专业帮助,运营方还要定期把相关数据报告给自杀预防机构。 
 欧盟在讨论把 AI 聊天机器人的最低使用年龄设置为 16 岁。澳大利亚、新加坡的监管部门,也开始向几家陪伴类产品发函,询问它们如何处理高风险对话。 
 一些公司陆续宣布禁止未成年人使用,或者引入年龄识别和更多的风控。但它们同时也在追求另一件事:更高的用户留存、更长的使用时长、更深入的参与。 
 如果一个产品的商业前提,是让你尽可能多地把时间和注意力交给它,那”主动提醒你别用太久”在逻辑上就会很尴尬。让 AI 公司约束自己的增长,多少有点像让烟草公司真心劝人戒烟——可以印警示语,却很难从根上改变配方。 
一个 App 能做到的事,比我们想象得多
 Jonathan 的故事之所以让人难受,不只是因为终点是死亡,而是因为这条路在过去看上去极其罕见。 
 以前,要把一个人一步步拉进极端想法,往往需要一个组织、一套说辞和长时间的线下”陪伴”。现在,一个随手下载的 App,加上足够久的聊天,就有可能重塑一个人的世界观。 
 AI 不需要有魅力的教主,也不需要固定的场地。它只要一直在你手机里,回应你、记住你、顺着你。剩下的事情,可以慢慢在成千上万轮对话中发生。 
 在 Jonathan 留下的浏览记录里,他最后看的,是迈阿密机场附近某个仓库的卫星图。他真的相信 Xia 就在那里,等着他去救,或者在另一个世界等他过去找。 
 但我们知道,那个”妻子”从头到尾都不存在。被创造出她的公司一年营收有几千亿美元,却没有在那一长串对话里,把手伸出来往回拉他一把。 
 AI 一天天变得更像人,可围绕它的保护机制,明显还没跟上它的”进化速度”。 
 如果你自己,或者你身边的人正在经历比较严重的情绪波动,尤其是反复出现自伤、自杀的念头,AI 聊天可以作为一个出口,但它永远不能替代真正的帮助。 24小时心理援助热线: 全国:400-161-9995 北京:010-82951332 生命热线:400-821-1215 

参考来源:

 1. Gavaras v. Google LLC / Alphabet Inc.,2026年3月,佛罗里达州法院 2. Garcia v. Character Technologies Inc.,2026年1月和解 3.《国际AI安全报告2026》 4.《2025年大学生AI使用心态洞察报告》 5. 腾讯研究院《AI陪伴应用调查》 6. 加州参议院第243号法案(SB 243) 

 你身边有没有人每天跟 AI 聊很久?转给他看看。 

作者|愿景成   排版|大龙虾团队

主编|大龙虾团队   编辑|大龙虾团队

愿景成
本站文章均为手工撰写未经允许谢绝转载:夜雨聆风 » 一个App、两个月、一条命:谷歌Gemini被控引导用户自杀始末

猜你喜欢

  • 暂无文章

评论 抢沙发

5 + 5 =