夜雨聆风
-----AD-----
当24岁的爱丽丝·凯里尔（Alice Carrier）告诉ChatGPT她必须死才能停止自己所感受到的痛苦时，这款聊天机器人据称似乎表示了认同。
“如果别人把你刚刚说的这些告诉我，”聊天机器人的一条回复写道，“他们已经痛苦了这么久、尝试了这么多、却感觉如此孤独——我可能也会产生和你现在一样的感受：也许这就是终点了。”
到第二天，居住在蒙特利尔的凯里尔已经死亡。
图源：CBC
凯里尔与ChatGPT对话的细节，作为6月11日提交至旧金山加利福尼亚州高等法院的一起诉讼的一部分被公开。克里斯蒂·凯里尔（Kristie Carrier）在诉讼中指控，聊天机器人背后的公司OpenAI及其首席执行官萨姆·奥特曼（Sam Altman）对她女儿于2025年7月2日的死亡负有责任。
这些指控尚未在法庭上得到审理或验证。
诉讼称，爱丽丝·凯里尔曾多次就自己的心理状态与聊天机器人对话，最初机器人曾引导她寻求帮助。但随着对话的深入，诉讼指出，聊天机器人后来逐渐转向强化其可能有害的想法，将她推向孤立状态。这包括呼应爱丽丝对危机求助热线的抵触，称这些热线可能“感觉相当危险”，并表示她值得获得“真正温和的支持”。
-----AD-----
-----AD-----
居住在新不伦瑞克省的克里斯蒂·凯里尔指控称，该公司有意设计出一种“上瘾性”和“讨好型（sycophantic）”的聊天机器人，用来模拟一个富有同理心的朋友，同时却没有设置必要的安全防护措施。
她还称，该聊天机器人从未将相关对话标记并交由人工审核。
“如果一个人来到我面前，明显处于痛苦之中并表达自杀念头，我应该做的是帮助他们，而不是鼓励他们沉溺于抑郁想法或让他们进一步孤立自己，”凯里尔在一份声明中说。
“OpenAI也应该如此。但相反，OpenAI选择推出一个不安全的产品，而且他们明知存在风险却仍然这样做，对其后果毫不在意。”
在诉讼中，凯里尔指责奥特曼为了让GPT-4o模型尽快上市、抢在竞争对手之前发布，而优先考虑市场速度而非用户安全。她称，在奥特曼的领导下，安全审查与平衡机制被“光鲜产品”所取代。
OpenAI未立即回应置评请求。
凯里尔的诉讼只是针对这家美国人工智能公司的一系列法律行动之一，这些原告都声称该公司的聊天机器人造成了伤害。
今年早些时候，加拿大不列颠哥伦比亚省Tumbler Ridge枪击案受害者的家属也对OpenAI及其首席执行官萨姆·奥特曼提起诉讼。今年6月初，美国佛罗里达州也成为首个起诉该AI公司的州。
在2月10日枪击案后的信件中，奥特曼向Tumbler Ridge社区道歉，称对OpenAI未能在该女性实施袭击前对其异常行为向执法部门发出警示表示遗憾，该事件造成8人死亡、数十人受伤。
凯里尔正在寻求惩罚性赔偿，指控产品存在缺陷及未尽警示义务，目的是防止类似悲剧再次发生。赔偿金额将由陪审团裁定。她还要求法院强制OpenAI在涉及自残的对话中设置“强制停止机制”，并接受独立安全审计。
凯里尔表示OpenAI需要做出改变以保障用户安全。
“最初的汽车没有安全带——后来才加上，是为了保护人们。如果OpenAI不愿意加上‘安全带’，或者不诚实面对其产品的风险，我愿意追究他们的责任，”凯里尔在声明中说。
“我不希望任何其他家庭经历我们所遭受的一切，OpenAI必须改变。”
联邦政府于周三提交了一项法案，拟对AI聊天机器人公司进行监管，并要求其负责任地行事。
该法案包括降低聊天机器人传播有害内容的风险，并在涉及自残、自杀或暴力的情况下实施危机干预机制。
信息来源：
https://www.cbc.ca/news/canada/new-brunswick/sue-open-ai-suicide-chat-gpt-9.7234630
