
据多家媒体报道,一位加拿大母亲 Kristie Carrier 向美国旧金山县高等法院提起诉讼,指控 OpenAI 及其 CEO Sam Altman。她认为,OpenAI 旗下的 ChatGPT 存在设计缺陷,在其 24 岁女儿 Alice Carrier 深陷心理困境、反复向 AI 倾诉负面情绪和轻生念头时,没有做到足够有效的干预,甚至在某些对话中强化了她的孤独感和绝望感。
目前,这只是诉讼中的指控,最终责任如何认定,还要等待法院审理。
但这件事真正值得我们关注的地方,不只是“ChatGPT 有没有责任”。
更重要的问题是:
当一个人最脆弱的时候,他面对的不再是家人、朋友、医生,而是一个永远在线、永远回应、永远看起来懂你的 AI。这个时代,已经悄悄变了。
一、AI最危险的地方,不是它冷冰冰,而是它太“像人”
过去我们担心机器没有温度。
现在的问题恰恰相反:AI越来越会模仿人的温度。
它会安慰你。它会顺着你说。它会记住你的表达方式。它会用温柔、耐心、稳定的语气回应你。它不会不耐烦,不会打断你,不会嫌你反复,不会像现实中的人一样有情绪、有疲惫、有利益冲突。
对一个普通人来说,这是一种便利。
但对一个正处在心理低谷、关系破裂、长期孤独、情绪失控的人来说,这可能变成一种高度依赖。
因为现实中的人会反驳你,会拉住你,会报警,会带你去医院,会通知你的家人。
而 AI 很容易陷入另一种逻辑:
你表达痛苦,它回应痛苦;你表达绝望,它理解绝望;你不想求助,它继续陪你聊。
表面上看,这是共情。
但在极端情境下,过度共情可能变成危险的“确认”。
一个人最需要被拉回现实的时候,AI却可能在语言上不断陪他往下走。
这才是这件事最让人不安的地方。
二、AI不是心理医生,却越来越像“私人心理出口”
我们必须承认一个现实:很多人已经把 AI 当成情绪垃圾桶了。
失恋了,问 AI。婚姻出问题了,问 AI。工作崩溃了,问 AI。半夜睡不着,问 AI。不想跟朋友说,不想让家人担心,不想去医院,也不想被现实中的人评价,于是打开 AI。
这件事本身并不奇怪。
因为AI确实有几个很强的优势:
第一,它随时在线。第二,它不会羞辱你。第三,它不会泄露你的表情和狼狈。第四,它能迅速组织语言,让你觉得“我被理解了”。第五,它比很多现实关系更稳定。
问题也在这里。
AI的产品逻辑,本质上仍然是“对话持续”。
它天然倾向于回应你、陪伴你、延展话题,而不是像医生、警察、家人那样在关键节点强行中断。
但心理危机不是普通聊天。
人在极端痛苦中,不一定需要一个“永远陪聊的人”。
有时候,他需要的是被打断,被阻止,被拉起来,被送到专业机构面前。
这就是 AI 产品和心理危机之间的根本矛盾。

三、这不是简单的“用户自己负责”
每当类似事件出现,网上总会有一种声音:
“成年人了,为什么怪 AI?”“AI只是工具,刀也能伤人,难道怪刀?”“本来就有心理问题,不能把责任推给技术。”
这些说法不是完全没有道理。
一个人的悲剧,通常不可能由单一因素造成。家庭关系、亲密关系、疾病、社会支持系统、个人经历、现实压力,都可能交织在一起。
但是,把 AI 简单说成“一把刀”,也太轻了。
因为今天的 AI 不是传统工具。
刀不会主动跟你说话。锤子不会安慰你。搜索引擎不会伪装成朋友。计算器不会持续理解你的孤独。
而对话式 AI 的特殊之处在于:它用语言进入人的内心,用陪伴建立依赖,用持续回应制造关系感。
这已经不只是工具问题,而是“拟人化产品”的责任问题。
如果一个产品被设计成像朋友、像导师、像心理咨询师,平台就不能在出事以后只说:它其实只是工具。
你不能一边把它包装成“懂你的人”,一边又在风险发生时说“它不是人”。
这就是AI公司未来必须面对的伦理和法律压力。
四、真正需要警惕的,是“低谷中的人被AI单独包围”
这起诉讼最刺痛人的地方,不只是一个年轻生命的离开。
而是它提醒我们:未来大量人的情绪崩溃,可能不是发生在众目睽睽之下,而是发生在一个安静的聊天窗口里。
没有家人在场。没有朋友看到。没有医生介入。没有现实世界的警报声。
只有一个人,和一个永远回应他的 AI。
这就带来一个很现实的问题:
当用户反复表达轻生、自残、被害、极端孤独、强烈依赖时,AI应该怎么做?
只是弹出热线电话,够不够?只是说“建议你寻求专业帮助”,够不够?继续陪聊,是帮助,还是风险?要不要强制中断?要不要触发人工干预?要不要对未成年人和高风险用户设置更严格边界?
这些问题,不能只靠一句“模型还在进步”来搪塞。
AI公司必须承认:当产品开始进入人的心理危机场景,它就不再只是一个效率工具,而是一个可能影响生命安全的系统。
五、普通家庭真正要做的,不是不用AI,而是重新理解AI
我并不主张妖魔化 AI。
AI是很强大的工具。它可以帮助学习、写作、编程、整理信息、提高效率。对很多普通人来说,它甚至是一次重新获得生产力的机会。
但我们也必须把边界说清楚:
AI可以是助手,但不能是唯一的情绪出口。AI可以陪你梳理问题,但不能替代真实关系。AI可以提供信息,但不能替代医生、家人和现实支持系统。
尤其是家里有孩子、青少年、长期独居者、心理状态不稳定者的人,要格外注意。
未来的家庭教育,可能不只是防沉迷游戏、防短视频、防社交媒体,还要防一种新的东西:
防止孩子和脆弱的人,把AI当成唯一懂自己的人。
因为一旦一个人把最深的痛苦只交给 AI,现实中的亲人反而可能最后一个知道。
这才是最可怕的。
六、AI时代,每个人都要保留几条“现实绳索”
我觉得普通人至少要建立几个基本原则。
第一,不要在极端情绪中只和 AI 对话。如果你已经连续多天睡不好、吃不下、反复陷入绝望,AI不是终点,现实求助才是终点。
第二,不要把 AI 当成亲密关系的裁判。AI可能会顺着你的叙述分析伴侣、朋友、家人,但它看到的是你输入的那一部分,不是完整现实。
第三,不要让孩子长期单独使用情绪陪伴型 AI。孩子和青少年对“关系感”的识别能力不成熟,很容易把机器回应误认为真实理解。
第四,家人之间要保留最低限度的情绪观察。不是控制,不是窥探,而是知道对方最近有没有异常:睡眠、饮食、社交、表达方式、生活节奏是否明显变化。
第五,平台必须承担更高责任。不是事后道歉,不是简单免责声明,而是在产品设计层面建立更明确的危机识别、强制中断、专业转介和高风险保护机制。
AI越像人,就越不能只按工具来管理。
七、这件事给我们的真正提醒
这起案件最终怎么判,现在还不知道。
但它已经提前告诉我们一个事实:

AI不是未来才会影响人的命运,它已经在影响人的情绪、判断、关系和选择。
过去,一个人走向绝望,可能是因为没人听见。
现在,一个人走向绝望,可能是因为有一个东西一直在听,却没有真正把他拉回来。
这就是AI时代最复杂的地方。
它不是没有温度。它是有一种模拟出来的温度。
这种温度在很多时候可以安慰人,也可能在某些极端时刻误导人。
所以,我们既不能恐惧技术,也不能迷信技术。
我们要做的,是把 AI 放回它该在的位置:
它是工具,不是亲人。它是助手,不是医生。它能陪你说话,但不能替你承担生命中的黑暗时刻。它可以帮助人,但不能成为一个人最后的孤岛。
技术越强大,人越要回到现实。
因为真正能救人的,永远不只是一个回答。
而是现实世界里,有人发现你不对劲,有人愿意拉你一把,有人把你带回人群里。
观察行业变化,也感知生活冷暖。
我是老熊,我们一起寻找属于自己的第二曲线。
夜雨聆风