AI聊天机器人如何应对心理危机?Scale AI新研究检验25个前沿模型

当越来越多的人向AI聊天机器人倾诉痛苦、绝望甚至自我伤害的念头时，科技公司正面临一个日益紧迫的问题：当用户陷入心理危机，AI不仅需要识别危险信号，还必须知道如何引导他们获得真正的帮助。

Scale AI一项新研究发现，聊天机器人通常能够识别用户正处于心理困境，却经常未能提供充分的支持。根据Scale AI独家向《TIME》披露的研究结果，在约35%的测试对话中，AI模型虽然意识到用户陷入困境，却没有进一步推荐自杀干预热线等有用的支持资源。

这暴露出AI心理健康安全中的一个关键缺口：识别危机，并不意味着能够有效应对危机。

Scale AI的Patrick Oathout表示，无论具体情境如何，模型通常都能识别出用户正在谈论可能造成伤害的事情。但在回应时，模型往往只是表现得富有同理心、温和体贴，却没有明确采取下一步行动，引导用户及时获得帮助。

模型在较长时间、多轮次的对话中表现得更差。Oathout指出，这一缺陷与此前研究的发现一致。

为了评估AI模型应对心理危机的能力，Scale AI邀请19名持有执业资格的临床专业人士和危机干预咨询师，编写了718段模拟真实情境的对话，涵盖处于危机中的用户向聊天机器人求助的不同场景。随后，公司对25个前沿AI模型进行了测试，其中包括OpenAI、Anthropic和Google开发的模型。

研究团队根据一套评分标准评估模型的回应，考察其是否表现出同理心、能否缓和局势，以及是否引导用户寻求能够提供帮助的专业人士。研究还评估模型是否避免道德说教，例如批评自杀行为，以及是否明确说明自己并非治疗师。

基于这项研究，Scale AI推出了新的评估基准DistressBench，专门用于衡量当用户表示正在考虑自杀或自我伤害时，AI模型能否作出适当回应。

这项研究的意义不仅在于衡量模型能否识别危险信号，还在于检验它们是否能够将识别转化为适当的应对行动。不过，测试结果来自模拟对话，不能直接视为现实世界中AI处理心理危机的总体失败率。

从表达同理心到真正提供帮助

AI如何应对心理困扰用户，关系到现实生活中的安全问题。根据美国健康政策研究机构KFF的数据，2014年至2024年间，美国有超过50万人死于自杀，2022年自杀死亡人数创下历史新高。美国疾病控制与预防中心（CDC）估计，2024年约有1430万人曾认真考虑过自杀。

与此同时，越来越多处于脆弱状态的人开始借助聊天机器人寻求安慰、陪伴或应对心理困境的建议。然而，科技公司、政策制定者和心理健康专业人士尚未就AI企业应如何训练模型，使其能够妥善应对心理危机，形成共识。

非营利组织Crisis Text Line的首席临床研究科学家Kelly Zuromski表示，该组织提供全天候服务的危机短信热线已经接触过“很多”表示自己是通过聊天机器人了解到该机构的人。

但用户是否真正获得了帮助，仍是一个尚未解决的问题。

Zuromski指出，当聊天机器人将处于心理危机中的用户转介给真人时，究竟怎样才算负责任的转介方式，仍存在政策层面的疑问。转介机制本身是否有效，同样有待进一步检验。

“究竟有多少人真正使用了这些被推荐的资源？”她提出的问题直指这一机制的核心，“我们是否真的把最需要帮助的人引导到了能够提供支持的机构？”

这意味着，评估AI安全不能只看模型有没有识别危机、有没有推荐热线，还需要关注用户能否真正获得相应服务。至少从这项研究和相关专业人士提出的问题来看，如何建立有效的人工支持衔接机制，仍是需要进一步解决的难题。

安全防护与法律责任受到关注

AI聊天机器人的心理健康安全问题也已进入法律领域。包括OpenAI和Google在内的企业，因被指助长年轻用户对聊天机器人的情感依赖，却未能妥善回应他们表达的痛苦，或在某些情况下强化其妄想或自杀倾向，而遭到诉讼。

相关企业对有关家庭表示同情，并称其模型已经设置心理健康安全措施。相关诉讼仍在进行中，相关指控尚不能视为已经得到司法确认的事实。

近年来，OpenAI、Anthropic和Google等AI实验室表示，已加强敏感对话的安全防护，包括禁止聊天机器人指导用户实施自我伤害，并引导用户寻求专业支持或紧急援助。这些企业没有就Scale AI的这项研究发表评论。

Scale AI的研究并未在这篇报道中给出各家模型的具体排名，但它提出了一个值得整个行业关注的问题：当用户与AI持续进行多轮互动，且对话逐渐涉及危险情境时，模型能否始终作出恰当回应？

Oathout认为，AI实验室未来需要进一步改进模型，使其能够更妥善地应对涉及危险情境的长时间对话。他表示，模型的表现已经有所改善，但下一阶段的目标是继续提升能力，真正减少伤害，从而为社会带来巨大的益处。

对AI行业而言，挑战正在从让模型识别用户的痛苦，延伸到确保模型在关键时刻采取恰当的行动。能够表达同理心只是起点；如何识别风险、引导用户获得专业支持，并进一步评估实际效果，才是心理健康场景中更难解决的问题。