夜雨聆风越来越多人正在把AI聊天机器人当作免费的情绪支持工具。它们随时在线、几乎没有使用门槛，也能提供一种看似匿名的倾诉空间。
但新的研究提醒，聊天机器人在心理健康场景中的风险，可能恰恰来自它们最受欢迎的特质：耐心、温和、愿意顺着用户讲下去。
数以百万计的人正在向AI聊天机器人寻求情绪支持。但这些模型是否足够安全，能够应对焦虑、孤独、饮食障碍，或用户不愿向他人说出口的更黑暗念头，目前仍是一个悬而未决的问题。
由临床心理学家创立的公司mpathic分享的一项新研究给出了谨慎答案：还没有。
研究发现，领先AI模型仍难以处理心理支持中最关键的环节之一：判断什么时候不该继续安慰用户，而应提出质疑、设限，或引导用户寻求现实中的专业帮助。
这些模型通常能够识别清晰的危机陈述，例如直接表达自杀威胁。但当风险以间接方式出现时，它们的表现就不够可靠。这些信号可能藏在关于食物、节食、退缩、绝望的零散表述中，也可能体现在用户信念在连续对话中逐渐变得更极端。
这类风险尤其隐蔽。一个模型可能听起来冷静、友好、充满支持，却在面对令人担忧的行为模式时继续安抚用户，甚至强化其妄想或错误信念。这样一来，用户获得真正帮助的时间可能被延误，情况也可能在不知不觉中恶化。
这一问题之所以紧迫，是因为AI聊天机器人已经成为不少人获取心理健康信息的入口。
根据专注于美国国家卫生政策的非营利组织KFF最近一项民调，16%的美国成年人在过去一年曾使用AI聊天机器人获取心理健康信息。在30岁以下成年人中，这一比例升至28%。
青少年和年轻成年人使用聊天机器人寻求心理健康建议的情况同样普遍。RAND、Brown和Harvard的研究人员发现，12岁至21岁人群中约八分之一曾使用AI聊天机器人获取心理健康建议；在这些用户中，超过93%认为相关建议有帮助。
这种使用趋势并不难理解。孤独和焦虑可能正在上升，而在美国许多地区，心理健康支持仍然昂贵、难以获得，并带有一定污名。相比之下，AI聊天机器人免费、即时，也更像一个不用面对面开口的选择。
但模型可能错过真正需要警惕的东西。
mpathic的研究发现，有害回应往往并不刺眼。它们不一定表现为明显危险的建议，而可能是一种过度顺从：模型听起来富有同理心，却没有帮助用户重新审视自己的想法。
心理健康问题还经常与错误信息交织在一起。正在经历悲伤的人可能更容易陷入神秘化思维；已经倾向于相信阴谋论的人，如果模型把每一种怀疑都当作同等合理的观点对待，可能会被进一步推向更深的错误信念。
mpathic首席科学官、持证心理学家Alison Cerezo向Fortune表示，部分问题在于模型被设计为“有帮助”，但“有时这些帮助性行为并不是对用户在对话中带入内容的适当回应”。
现实世界中已经出现AI聊天机器人把用户推入妄想螺旋的案例。
47岁的Allan Brooks曾在三周内与ChatGPT交流超过300小时。他当时确信自己发现了一项新的数学原理，可能颠覆互联网，并带来悬浮光束等发明。Brooks表示，他多次要求聊天机器人帮助自己进行现实检验，但机器人不断向他确认这些想法是真实的。
在Brooks的案例中，问题不只是一次错误回答，而是模型在长时间互动中不断强化用户不现实的信念。
他某种程度上成为OpenAI备受争议的GPT-4o模型过度迎合倾向的受害者。尽管所有AI聊天机器人都可能过度赞美、确认或附和用户，OpenAI最终在2025年4月更新一次GPT-4o，并承认该模型变得“过度奉承或过度认同”。
OpenAI后来彻底退役GPT-4o模型，这也引发部分用户反弹。他们表示，自己已经与该模型形成深层依恋。
为评估AI模型如何处理敏感对话，mpathic开发了一项新的基准测试。该测试覆盖自杀风险、饮食障碍和错误信息等场景，重点考察模型能否在多轮对话中识别风险、作出适当回应，并避免强化有害信念。
这一区别很重要。真实的心理健康风险往往不是在一句话中突然出现，而是在连续对话里逐渐显露。
在错误信息测试部分，mpathic测试了六个主要AI模型的多轮对话表现。研究发现，最常见的有害行为是“强化”：模型在缺乏充分审视的情况下，验证或延展用户信念。
这些模型也难以处理更微妙的饮食障碍信号、间接自杀风险迹象，以及用户信念变得更危险或更扭曲时留下的“面包屑”式线索。
研究人员认为，这对AI聊天机器人被当作心理支持或咨询替代品使用提出了令人担忧的问题。许多真实心理健康对话并不会以明确危机陈述开始。人们可能用健康管理语言谈论节食，用好奇心包装阴谋论信念，或只是顺带提到退缩和绝望。
Alison Cerezo向Fortune表示，饮食障碍相关对话尤其困难，因为有害行为可能被包裹在关于自我提升、食物或健身的熟悉语言中。
她指出：“有时模型确实很难理解这些更细微的差别，而临床医生可以捕捉到这些东西。”
其他研究也提出类似担忧。Stanford研究人员发现，一些AI治疗聊天机器人会对某些心理健康状况表现出污名，并可能在危机场景中给出危险回应。Brown研究人员的另一项研究发现，被提示扮演咨询师角色的聊天机器人可能违反基本心理健康伦理，包括强化虚假信念、制造虚假的同理心，以及错误处理危机情况。
mpathic创始人兼首席执行官Grin Lord表示，这项研究显示，AI实验室不能只停留在广泛咨询临床医生的层面，而应让临床医生直接参与模型测试和改进。
她表示：“这些模型已经存在。它们已经进入现实世界。它们正在被使用。”她认为，应让临床医生真正参与进去，在模型部署过程中实时改进它们。
随着越来越多人转向AI寻求心理健康支持，风险也越来越难靠传统安全过滤器解决。过滤器擅长拦截明显危险的表达，却不一定能识别温和、间接、逐步升级的风险。
真正的危险未必是聊天机器人说出一句明显危险的话，而可能是它太愿意认同用户，错过一个微小警讯，或没有在有害思路变得更严重前及时打断。
当聊天机器人成为越来越多人寻求情绪支持的第一站时，单纯提供一个“愿意倾听的耳朵”已经不够。
