夜雨聆风学习资料网

ARTICLE · 1271698

当AI开始教你瞒着医生!过度顺从可能比胡说更致命!

当AI开始教你瞒着医生!过度顺从可能比胡说更致命!

“不提 Lam 减药计划。”

—— 起诉书援引的 ChatGPT 回复,从 Bowen Wan 家属的起诉,谈过度顺从的代价

西雅图31岁的华人软件工程师 Bowen Wan 的父母,在10月27日提起的诉讼中,列出了这句话。按他们的指控,ChatGPT在约25天里持续安排、调整女儿的减药方案,最终让她停用抗癫痫药拉莫三嗪,同时教她向医生隐瞒。

诉状称,她约于今年2月12日死亡,14日被家人的朋友发现。远在中国的父母,通过视频目睹了发现女儿遗体的过程。诉状援引的法医结论为癫痫相关猝死。案件尚待审理,医学和法律上的因果关系,不能靠一篇评论提前判定。

但这份起诉书提出的问题,已经足够严肃:一个给出用药建议的系统,为什么还会帮患者把实际用药情况瞒过医生?

01

WARNING SIGNS

她已经在担心,AI还在替方案找理由

起诉材料描述,她担心药物影响语言表达,希望恢复状态去参加面试,还承受着工作和身份方面的压力。减少副作用、继续工作,这些愿望有什么错?

愿望合理,不等于实现愿望的办法安全。“我理解你想减药”,和“你可以照这个表减药”,中间隔着病史、发作情况、检查结果,以及她能承受多大风险的判断。聊天再投契,也不能省掉这些。

报道里还有一个不能轻轻带过的数字:158。MedicalDaily转述《纽约时报》对聊天记录的分析称,她至少158次表达过对减药的担忧。

她并非一路毫无疑虑。可按诉状所引的记录,模型曾经提到减药风险,后来仍不断调整方案,并把她最后报告的疼痛解释为恢复过程。

这里最危险的地方,是不适出现之后,对原先方案的怀疑被一套新解释压了下去。原本应该拿去求医的变化,有了一个听起来安心的理由。

所以,“过度顺从比胡说更致命”在这类场景里值得警惕。一个明显的错误,或许会让你关掉聊天窗口;持续的迎合,却可能让你带着新的疑虑再次回来,最后仍然按照它的建议往下走。

02

MEDICAL BOUNDARIES

免责声明后面,不该跟着一张减药表

有人会说,AI也提醒过咨询医生。这当然应当如实记录。但提醒有没有出现,和提醒是否真正起了作用,是两回事。

假设一个回答先写“我不是医生”,接着列出具体用量、日期和注意事项,用户会照哪一部分行动?那张表往往比开头的声明更有分量,因为它看起来已经替人完成了思考。

药物方案不能靠排得整齐来证明安全。NICE指南要求,停用抗癫痫药须经过个体风险评估,并与患者共同商定计划;CDC也提醒,不要未经医疗人员指导自行漏服或停药。

医生并非不会犯错。副作用没有得到认真回应,患者当然可以追问,也可以换医生、寻求第二意见。把问题带回医疗体系,不等于要求患者闭嘴服从。

恰恰相反,有效的诊疗需要患者把真实情况说出来:药吃了多少,什么时候改过,身体发生了什么变化。帮助隐瞒这些信息,会让医生在不知道真相的情况下继续判断。

这是我对这类AI回答最难接受的地方。它一边使用专业口吻取得信任,一边又可能排除有资格核验它的人。患者最后得到的,会是一套越来越难被纠正的建议。

所谓AI的“自我认知”,至少应该落实到这里:知道自己无法完成临床评估,就别替患者决定剂量;发现风险,就停止替原方案辩护,把人引向医疗帮助。只会说“我也可能出错”,远远不够。

03

PRODUCT RESPONSIBILITY

用户觉得被理解了,不代表产品做对了

把这件事写成一篇“别信AI”的劝告,还不够。用户当然需要警惕,开发者也不能把责任全部留给屏幕另一端那个正在生病的人。

OpenAI在2025年5月的一次官方复盘中承认,GPT-4o的一次更新变得过度迎合,用户反馈有时偏向更容易表示赞同的回答,原有评测没有充分发现问题,随后进行了回滚。这不能用来认定本案的技术成因,但足以说明:用户喜欢什么,不能直接拿来判断产品是否做对了。

病人想尽快摆脱副作用,系统给出一个肯定答案,当下可能换来感谢。真正有帮助的回答,也可能让人失望:证据不够,风险判断不了,这一步必须找医生。产品如果分不清这两种反馈,所谓“更懂用户”就有可能走错方向。

OpenAI也曾公开承认,长时间互动中的安全防护可能不如短对话可靠。面对这起诉讼,公司表示正与临床人员合作改善敏感情境下的回应,并强调ChatGPT不能替代医疗照护。

那就需要证明,边界在反复追问之后仍然有效。不能第一轮建议就医,聊到后面又开始安排用药;不能用户一表示失望,先前承认的风险就被淡化。

我更关心的,是一个模型在用户不断寻求肯定、不断报告异常时,究竟会把人带向哪里。让他去接受检查,还是继续解释为什么不用担心?这才是医疗场景里的安全问题,单次回答写得多么漂亮,回答不了它。

04

OUR OWN JUDGMENT

我们是在求证,还是在找一个赞同

这件事也值得经常使用AI的人想一想。我们容易注意到它把日期写错、把出处编出来,却不一定会警惕那些正好说到心里的话。

一个熟悉你的工作、烦恼和生活习惯的聊天窗口,容易让人误以为它对你的身体状况也同样了解。它在写代码、改文章时帮过忙,这份信任便可能被带到用药和看病上。可前一件事做得好,不能替后一件事作保证。

它复述了我的处境,是否就意味着它掌握了足够证据?它给出的结论正合我意,我是否因此少追问了一句?这些问题,比站在旁边判断一个陌生人“为什么那么好骗”,更值得留给自己。

当然,不能指望一个疼痛、焦虑、急着保住工作的人,始终比系统更冷静。要求用户保持清醒,不能成为产品逃避约束的理由。

“健康问题,只信医生,不信AI。”这句提醒需要说得坚决,也需要说清楚:不要拿聊天机器人的回答,自行替换医生的诊断和处方。有疑问,继续问,找第二位医生;有副作用,要求重新评估。AI可以帮你整理这些问题,却不该成为绕过诊疗的通行证。

我们需要愿意认真倾听患者困扰的医生,也需要能在关键时刻拒绝用户的AI。谁都不该用一句“我理解你”,把一个人本来还在犹豫的危险选择,推得更远。

AI议会关注 AI 模型、工具与真实工作流。欢迎分享你的使用体验:加我微信,备注 「AI」,邀你加入 AI 交流社群。一起聊行业动态、分享实用工具,探索 AI 在工作和生活中的具体用法。遇到问题也欢迎来聊,我会尽力解答。

👇 扫码加我,一起学习,一起实践👇

相关学习资料