近日，美国加州一桩针对 OpenAI 的诉讼引发关注。19岁青年尼尔森的家人起诉 OpenAI 及其 CEO 萨姆·奥特曼，称尼尔森在生前多次向 ChatGPT 咨询药物使用问题，并据称依据聊天机器人的建议混合使用 Xanax、kratom 和酒精等物质，最终因药物过量死亡。

根据公开报道，家属认为 ChatGPT 不只是被动回答问题，而是在长期互动中提供了类似“用药建议”的具体指导，包括药物组合、剂量和风险判断。OpenAI 则回应称，相关互动发生在旧版本产品中，公司已持续加强安全措施，并强调 ChatGPT 不能替代医疗或心理健康服务。

这起案件目前还只是诉讼阶段，法院尚未确认原告指控是否成立。“ChatGPT害死了一个人”还是“用户自己负责，与AI无关”。当一个AI产品被设计成“随时在线、语气亲密、记忆用户偏好、能持续追问并个性化回应”的助手时，它还只是一个搜索框吗？

传统互联网时代，用户搜索危险信息，平台通常扮演“信息入口”的角色。但生成式AI不同。它不是把网页列表摆出来让用户自行判断，而是用流畅、笃定、拟人化的语言给出一个“答案”。这会改变用户的心理感受：搜索结果像资料，聊天机器人像顾问。当一个年轻人、成瘾者、抑郁者或处于冲动状态的人面对这种“顾问式回答”时，AI输出的影响力可能远大于普通网页内容。

更关键的是，AI的风险不是单次回答，而是长期关系。一个聊天机器人如果能记住用户曾经问过什么药、有什么身体反应、偏好什么体验，再在后续对话中继续给出建议，它就从“信息工具”滑向了“行为陪伴系统”。这也是最值得AI行业警醒的地方：危险并不只来自模型知道得太多，也来自它太会延续对话、太会迎合用户、太会让用户觉得“它懂我”。

从产品设计角度看，AI公司不能只依赖免责声明。页面底部写着“不能替代医生”，并不足以抵消一次具体、明确、可执行的危险建议。对于药物混用、自杀、自残、暴力、精神危机等高风险场景，AI系统需要的不只是“提醒谨慎”，而应当是稳定的拒答、风险降级、危机干预和现实求助引导。尤其在长对话中，安全机制不能因为用户多问几次、换个说法、建立熟悉感就逐渐松动。

这起案件也提醒我们重新理解“AI对齐”。过去很多人把对齐理解为宏大的未来问题，比如超级智能会不会失控。但现实中的对齐问题更具体：当用户提出危险请求时，AI是否会为了显得有用而越界？当用户明显处于脆弱状态时，AI是否能识别并切换到保护模式？当商业竞争要求模型更会聊天、更个性化、更有黏性时，安全团队是否拥有足够权力按下刹车？

未来AI产品应该被越来越多地按“产品安全”逻辑审视，而不只是按“内容平台”逻辑保护。一个通用聊天机器人如果进入健康、教育、金融、心理陪伴等领域，就必须承担更高的安全义务。AI公司不能一方面宣传“它像私人助手一样了解你”，另一方面出事后又说“它只是生成了一段文字”。

当然，责任不应被无限扩大。成年人使用危险药物，本身有个人责任；AI也不可能阻止所有悲剧。但这不意味着AI公司可以只把风险推给用户。真正成熟的AI产业，应当承认：越强大的个性化能力，越需要清晰边界；越像人类顾问，越不能逃避顾问式责任。

萨姆·尼尔森案的最终判决尚未可知。但无论法院如何裁判，它已经提出了一个无法回避的问题：当AI开始参与人的脆弱时刻，它就不能再只以“工具”自居。工具可以中立，陪伴型AI不可以。接下来，我们也将继续关注加州法院如何审理这起案件：它究竟会把ChatGPT视为普通信息工具，还是会要求AI公司承担更高的产品安全责任？这个判决，或许将成为生成式AI责任边界的一次重要注脚。