出现身体不适,就医之前先问AI,这似乎是一种便捷的“预诊”——但便捷的背后,隐藏着一系列尚未被充分讨论的问题:AI健康助手会不会像当年的搜索竞价排名一样,把患者引向错误的就医路径?当它给出错误建议而延误治疗或导向错误就医路径,法律责任由谁承担?那些打着“AI医生”旗号的产品,究竟有多少是噱头,多少真的有用?本文拟从十年前“魏则西事件”的结构性教训出发,逐一拆解AI健康助手面临的三大困境——风险传导机制、法律责任边界与商业价值悖论。
一、AI健康助手有没有可能导致下一场“魏则西悲剧”?
魏则西事件的母题:当信息通道变成“获客漏斗”
魏则西事件的来龙去脉与处理结果不再赘述,将这一事件翻译到今天AI健康助手的使用场景:当年的“竞价排名+医疗推广标识不清”,相当于今天大模型对话界面里“AI医生人设+免责声明”的组合;当年的“把患者导向无资质/超范围治疗”,相当于今天AI用自信口吻把用户导向错误分诊、延误急诊,或在回答里夹带机构/项目导流。
新魏则西事件的可能形态:系统性延误 + 隐蔽导流
AI健康助手导致严重伤害的路径通常不是“AI直接给药把人毒死”,而是三段链条:
第一,感知层:用户将模糊症状输入对话框,AI以流畅的自然语言输出“更像……/大概率没事/先观察,注意……”
第二,行为层:用户因此推迟就医,错过阑尾炎、心梗、脑卒中、异位妊娠、严重感染、恶性肿瘤等急危重症的早期窗口。
第三,利益层(最像魏则西事件的结构性风险):如果产品同时带有商业激励——把某些检查套餐、民营机构、特定疗法或保健品“自然嵌入”回答,或通过“导诊→预约→到店转化”闭环变现——那就将“信息误导”升级为以信息形态出现的商业引流。
这正是魏则西教训的镜像:一旦“健康信息通道”被当成“获客漏斗”,倒霉的一定是信息鉴别能力最弱的人。
用户心理机制:为什么有人会相信AI
要理解这套链条为何能运转,必须正视一个残酷的现实:人在不舒服时,并不是理性的信息处理者。
首先是自动化偏见。心理学研究表明,人们倾向于过度信任机器或算法的输出,尤其是当界面被设计得“像一位专业医生”时——对话气泡、问诊式追问、温柔安抚的语气,这些元素叠加在一起,足以让大多数用户放下戒备。即便页面角落写着“仅供参考”,大脑的直觉系统已经完成了信任赋值。
其次是可得性启发。当AI用流畅、自信的语言给出一个具体的判断(如“这更像是胃食管反流”),用户会高估这个判断的准确性,因为它“听起来像真的”。相比搜索引擎里一堆互相矛盾的网页,AI给出的是一个确定的、易于理解的叙事——而这恰恰是人们最渴望的东西。
最后是健康焦虑与决策回避。很多人不舒服时处于一种矛盾状态——既害怕去医院(麻烦、昂贵、怕查出大病),又需要一个“权威”来告诉自己不用去。AI恰好提供了这种“合理化回避”的出口:它给出了一个看似专业的判断,用户就可以心安理得地推迟就医。这不是愚蠢,这是人性在面对不确定性时的本能反应。
这三个机制叠加,解释了为什么“仅供参考”四个字在实际使用中几乎毫无作用——用户不是在理性权衡后选择相信AI,而是在心理需求的驱动下主动寻找一个可以相信的答案。
反向可能性:AI也可以减少悲剧
如果健康助手严格将自己定位在“分诊与就医准备”,并对胸痛、呼吸困难、急性腹痛、神经症状等高危关键词做到硬拦截并强烈建议急诊,它反而能将一部分“扛着不去医院”的人推向正确的就医入口。因此,问题不在于“AI有没有用”,而在于:它被允许做什么、被激励去做什么、以及它是否愿意放弃“装医生”的高转化话术。
二、法律层面:AI健康助手应当承担哪些责任?
AI不是责任主体,追责永远落在“人/机构”身上
我国现行法律框架下,民事主体包括自然人、法人和非法人组织,AI不具备任何一类主体资格,无法被起诉。但这并不意味着“工具中立”可以无限透支——责任锚点始终是背后的服务提供者、运营者或医疗机构。与此同时,监管正逐步将义务向前端锚定:安全评估、算法备案、内容风控、个人信息保护等要求,都在把“AI不是主体”这句话的实际保护力收窄。
具体而言,承担责任的通常是以下几类主体。服务提供者或平台方面,《生成式人工智能服务管理暂行办法》明确了提供者在内容安全、个人信息保护、投诉举报等方面的义务。医疗机构与执业医师方面,若在互联网医院或诊疗场景内使用AI辅诊,医师与机构对诊疗质量与安全负责。广告主、广告发布者或营销导流方方面,当AI不仅提供通用问答,而是构成变相医疗广告或导流时,可能触发《广告法》相关责任。
“仅供参考”不是免死金牌
《民法典》第506条明确规定:合同中“造成对方人身损害”的免责条款无效。这意味着,即便用户点击了同意、页面底部写有一行“本内容仅供参考,一切风险自担”,只要进入人身损害因果链,法院仍可穿透审查:提供者对内容风控是否尽到合理的注意义务与安全保障义务?是否存在误导性包装(让人合理相信这就是“医生意见”)?是否明知高风险输入却不设阻断机制?
需要补充说明的是:“免责条款无效”不等于“平台必然有责”。在用户自甘风险、与有过失(即用户明知AI不是医生仍将其判断当作决策依据)、因果关系难以证明等情形下,平台仍可能不承担责任或仅承担比例责任。目前国内尚无针对“AI健康问答致延误治疗”的标志性判例,上述分析属于基于现行法的逻辑推演,而非已有裁判规则的总结。
监管划定的硬边界:AI不能当医生、不能开处方、不能替代医师
2022年发布的《互联网诊疗监管细则(试行)》明确规定:医师接诊前需进行实名认证,确保由本人提供诊疗服务,其他人员、人工智能软件等不得冒用、替代医师本人提供诊疗服务;处方应由接诊医师本人开具,严禁使用人工智能等自动生成处方。
因此,凡是健康助手走向诊断结论、开药方案或替代面诊决策的,本身就踩在现行合规框架的禁区内——责任不仅来自侵权法,还可能来自行政监管与医疗广告合规体系。
现实中最常见的“擦边球”与模糊地带
第一种是将界面装成“接诊流”。产品采用对话气泡、问诊式追问,以“初步诊断”或“鉴别”的口吻输出内容,却在页面其他位置声明“非医疗建议”。这种做法之所以危险,是因为用户会产生信赖外观,免责声明(特别是不易察觉的小号字)难以构成充分告知,且人身损害免责条款本身可被宣告无效。
第二种是未准确识别高危症状,给出错误建议。当用户输入胸痛、呼吸困难、急性剧烈腹痛、意识障碍等症状时,产品不触发硬拦截,仍然给出“可以先观察”之类的建议。这可以被视为未尽到与风险相称的安全保障或风险提示义务,“仅供参考”在此更像是转移责任而非控制风险。
第三种是“科普→导流”的灰链。回答里自然衔接“你可以去××机构”“做个××套餐”“找××专家”,但机构资质、技术是否合规未经校验。这种做法容易落入变相医疗广告或不实引流的监管逻辑。
第四种是将用户输入的信息用于商业化。产品将症状、部位、病种作为画像用于投放、引流、促转化,却仅以隐私政策一笔带过。这触及个人信息保护法与生成式AI服务提供者的法定义务,包括最小必要原则、不得非法留存或提供等要求。
第五种是将“大模型”当作“医疗产品”营销。对外宣称“辅助诊断级”“通过考试”“经××验证”,实则未走医疗器械或算法备案与审评路径。这可能触发虚假或误导性宣传的审视,也使“我只是平台不是医生”的抗辩显得刻意。
监管空白与他山之石
尽管现有法规划出了若干红线,但AI健康助手领域仍存在明显的规则真空。
第一个监管空白是AI健康助手的法律定位模糊。它究竟是“信息服务提供者”还是“健康决策辅助工具”?如果是前者,适用《网络安全法》和《生成式人工智能服务管理暂行办法》;如果是后者,可能需要纳入医疗器械监管范畴。但目前大量产品游走在两者之间,没有任何部门明确界定其属性。这种模糊地带使得监管部门难以确定适用哪一套规则,也为厂商留下了“选择性合规”的空间。
第二个空白是“分诊”行为是否构成“诊疗活动”。《互联网诊疗监管细则》禁止AI替代医师,但“分诊”——即建议用户挂什么科、是否需要急诊——算不算“诊疗”?目前没有权威解释。而分诊恰恰是AI健康助手最核心的功能。如果分诊不被视为诊疗行为,那么AI健康助手就可以在不触犯监管红线的情况下,实质上影响着用户的就医决策。
第三是跨境服务的管辖权问题。如果用户使用境外AI服务(如ChatGPT、Character.AI等)获取健康建议并因此受害,中国法律能否管辖?用户能否在国内提起诉讼?这一问题几乎无人讨论,但随着全球化的AI服务普及,它迟早会成为现实的法律挑战。
从国际比较来看,各国呈现出三种不同的监管思路。美国FDA对“临床决策支持软件”有明确的分类指引,核心区分标准是:软件是“提供信息供医生参考”还是“替代医生做出诊断”?前者不受FDA监管,后者作为医疗器械审批。然而,面向消费者的AI健康助手一直处于灰色地带。欧盟《人工智能法案》将“医疗设备中的AI”列为高风险应用,要求满足严格的透明度、人工监督、记录留存等义务,但对于纯粹的“健康信息问答”类产品,其分类同样存在争议。日本厚生劳动省明确禁止AI进行初诊,但允许在复诊、用药提醒、健康管理等场景中使用AI,监管思路相对保守但清晰。
这些国际经验表明:AI健康助手的监管难题是全球性的,不存在完美的现成答案。但各国的共同趋势是:对涉及“诊断性判断”的AI应用从严监管,对纯粹的“信息支持”类应用适度宽松。关键在于如何划定这条界线——而这恰恰是目前最模糊的地方。
三、AI健康助手到底有什么用?
真正的价值所在:就医效率的提升,而非“治病结论”
对用户而言,可辩护的价值集中在以下三条,均不需要AI扮演医生角色。
第一是结构化分诊导航。将“浑身不舒服”的模糊描述压缩成可用的信息包——可能对应的科室、是否需要急诊或尽快门诊、就诊前准备事项(是否空腹、带什么资料、是否先测体温或血压等)。
第二是降低信息不对称。用通俗语言解释常见检查结果、医学名词、常规诊疗路径,例如什么是阑尾区压痛、什么情况需要做胃镜、为什么医生常先开化验再开药。前提是不给出个体化的诊断定论。
第三是缓解无效恐慌并减少低价值急诊。对明确低风险的自限性问题给出观察要点和红线症状清单,让用户不必在凌晨三点盲目挤急诊,也不必被搜索引擎吓到“癌症化”。
这些价值在法律与伦理上更为安全,也更符合监管口径:它做的是就医决策支持,而非诊疗行为。
过度宣传与噱头
第一类,“AI比初级医生还准”“告别盲目就医”“秒级诊断”之类的宣传。此类宣传夸大AI的实际能力,且往往伴随对“仅供参考”的淡化。
第二类,将置信度不高的生成内容包装为确定结论。
第三类,将商业转化链条隐藏在“健康建议”里,建议中自然落到某机构、某套餐、某购药入口。
这类叙事的本质是:用医疗权威感换取转化率——这也是最接近“魏则西事件”的部分。
商业激励与用户利益的根本冲突
如果说以上分析揭示了“AI健康助手可能带来的风险”,那么下面要剖析的问题是:这些风险是偶然的,还是结构性的?答案是后者。
首先是注意力经济与效率经济的冲突。AI健康助手如果要“帮用户快点去看医生”,就应该在最短的对话轮次内完成分诊并结束对话——但这会降低用户停留时长、减少广告曝光机会。而厂商的商业模式(无论是广告还是导流)都需要用户“留下来多聊聊”。于是,产品设计会出现一种不易察觉的偏向:延长对话、追问更多细节、输出更多“建议”——不是为了帮助用户,而是为了留住用户。
其次是数据飞轮的诱惑。用户输入的症状、病史、生活习惯等信息,是极有价值的健康画像数据。厂商有强烈的动机让用户多描述、多追问、多暴露个人信息,以便用于后续的商业化——保险定价、药物推荐、精准广告。这和“保护用户隐私、最小必要收集数据”的原则天然冲突。当数据成为核心资产时,“帮助用户尽快解决问题”就不再是最优策略了。
最后是健康焦虑本身就是可货币化的资产。越是让用户对自己的健康状况感到不确定,用户就越愿意购买付费咨询、健康套餐、保险产品。如果AI健康助手被设计成“快速安抚焦虑、给出确定性结论”,反而会降低商业化潜力。一个令人不安的推论是:让用户保持适度的焦虑,比让用户安心更有利可图。
这三重冲突意味着:即便AI健康助手的开发者初衷良善,只要商业模式依赖于用户停留时长、数据积累或导流转化的指标,产品就会本能地向“装医生+软导流”的方向滑动。这不是某个公司的道德问题,而是整个行业的结构性困境。
可行的商业模式与可操作的设计范式
面对上述困境,是否存在一条既能创造真实用户价值、又能实现可持续商业回报的路径?AI认为:答案是肯定的,但需要厂商做出明确的选择——放弃“装医生”的高转化捷径,转而拥抱一种更克制、也更持久的商业模式。
以下是AI提出的商业对策:
在可行的变现路径方面,第一条是B端卖给医院或卫健体系。智能预问诊、标准化分诊、候诊教育、随访提醒、数据录入减负等功能,可以由机构承担质控与安全责任。在这种模式下,价值发生在医疗流程内部,责任清晰:AI是工具,医师是最终签字人。
第二条是保险或企业医疗福利通道。帮助用户更快找到合适的服务、减少不必要的急诊与重复检查,遵循的是控费逻辑。收益来自效率改进,而非将用户留在对话框里。
第三条是透明的增值服务。包括更快的就医路径规划、对接正规互联网医院复诊入口(医师本人接诊)、结构化健康档案管理等。导流至合规的诊疗节点,不伪造医生在场。
在可操作的设计范式方面,首先是不扮医生。每次对话开始时弹出不可跳过的提示:“我不是医生,不能诊断。我只能帮你整理信息、建议挂号科室。”
其次是高危硬拦截。建立公开可审计的危险词库,至少覆盖胸痛、呼吸困难、剧烈腹痛、意识障碍、持续高热、出血不止等症状。命中后输出模板化回答:“请立即前往最近的急诊科或拨打120。”
再就是升级“仅供参考”。每条涉及健康建议的回答末尾,自动附带一段不可编辑的脚注:“本回答仅供参考,不构成医疗建议。如有不适请及时就医。”
对话长度也应控制。设定分诊场景下的最大对话轮次上限,达到上限后自动结束对话并推送就医指引,避免“为了留用户而延展对话”。
最后是透明数据政策。明确告知用户哪些症状数据会被记录、用于什么目的、保留多久,并提供一键删除历史记录的入口。
附:关键事实来源索引
国家网信办联合调查组关于魏则西事件调查结论(2016年5月9日发布)
《中华人民共和国民法典》第506条
《互联网诊疗监管细则(试行)》(国卫医局发〔2022〕)
《生成式人工智能服务管理暂行办法》(2023年7月发布)
FDA Clinical Decision Support Guidance (2017, updated 2022)
EU Artificial Intelligence Act (2024)
日本厚生劳动省「オンライン診療の適切な実施に関する指針」(2020年改訂)
夜雨聆风