乐于分享
好东西不私藏

AI上线踩中的8个坑

AI上线踩中的8个坑
美国healthtech杂志8月份做了一件事情,他们找了8位真正在一线干AI的医疗信息负责人,问了他们三个问题,最成功的案例是什么,最担忧的是什么,策略发生了什么变化。受访者来自杜克大学医疗中心、费城儿童医院、南卡医科大学、杰克逊健康系统、圣拉斐尔山医院等机构,覆盖大型学术医疗中心、县级农村医院和基层医疗系统。
我们来看看大洋彼岸在AI实际使用过程中,都踩了哪些坑?

坑一:AI叠在烂流程上,只会加速混乱

南卡医科大学医疗信息化负责人crystal bro说:“AI叠在烂流程上,等于加速混乱。”
如果院内目前的流程本就存在问题,需要半自动化半人工处理,业务断点明显,那么AI上线后,只会放大这个断点,让更多的患者快速地堵在这个断点上。流程没有梳理清楚,AI上线后带来的结果就是从人工排队变成系统排队。
上AI之前先做一件事情
梳理业务完成的流程图,标出所有需要人工干预的节点。如果人工干预超过5个环节,先改流程,再谈AI。

坑二:推进速度超过验证速度

健康AI联盟(CHAI)运营负责人brenton hill说,他最担心的是组织推进的速度,超过了验证、监控、治疗和临床参与能跟上的速度。
圣拉斐尔山医院的CIO说得更直接,AI绝不能成为大家盲目跟随的黑箱,它需要透明、验证和临床监督。
这一点很危险。医院上AI的政治压力大于技术压力,医院要亮点,厂商要案例,信息科要进度,三方合力之下,验证环节最容易被压缩掉。
给信息科主任的防线
任何AI工具上线前,写一份最小验证清单,准确率由谁推测、测多少例、错了谁负责、下线条件是什么。清单不通过,不进生产环境。

坑三:按次计费,成本悄悄失控

南卡医科大学broj提醒了一个采购时几乎没人问的问题。如果AI按运行次数或交互计费,成本增速可能超过它节省的收益。
国内厂商目前多用项目买断制,但要警惕新趋势,大模型类产品正在转向按调用量收费,门诊场景恰恰是全院调用量最高的地方,一次挂号改约、一次智能导诊都是成本。
合同里要写清楚
要求厂商写明计费上限条款,年度调用超出约定量级时如何封顶或重谈价格。

坑四:没做严肃的临床验证就上线

费城儿童医院(CHOP)的首席健康信息官Dr Bimal Desai透露,他们的门诊AI摘要工具正式上线前,200名临床医生参与验证,花了将近1年。
美国顶级儿童医院对一个门诊工具的态度是200人x1年。对照国内常见的节奏,演示一次、领导拍板、两周上线。差距并不在于技术,在于对验证这件事情的方案上。
Desai的建议是建立专门的AI临床验证小组,由数据分析、信息化、科研人员和临床骨干组成。如果做不到200人,可以重塑验证流程,或者mini版验证。
缩配版验证小组
3-5人,信息科1人、门诊版验办1人、临床科室1-2人、医务或质控1人,目标就一条,在任何AI工具上线前后都要给出验证报告。

坑五:选了管理层想要的场景,没选医生头疼的场景

8位受访者被问最成功的AI用例时,答案高度一致。他们提到了同一个东西,AI智能听写,自动监听医患对话生成病历初稿。杜克大学医疗中心的数据是2500名活跃用户,每周生成不超过3万份病历,在降低职业倦怠、提升病历按时完成率上有明显成效。
CHOP的Desai做了20多年医疗信息化,他说这是第一次看到单个数字化工具产生这么大的影响。
为什么是听写成功,导诊机器人却效果平平呢?因为写病历是医生的痛,而导诊机器人优化的是管理层秩序指标。医生愿意用的工具不需要考核推动,医生不想用的工具考核也推不动。

坑六:没人质疑AI的输出

CHOP的Desai提出一个比技术失效更危险的担忧,自动化偏见。当医生习惯了AI给出的答案,就不再核对,AI出错时错误不会被发现,反而会被放大。
国内已经出现类似的问题。智能分诊建议、AI预问诊生成的病历初稿、辅助生成的检查申请,如果医生默认照单全收,错误会沿着流程沉淀进病历和收费。
立一条使用规矩
所有AI生成内容进入病历前,必须由医生确认并留痕。留痕字段进质控检查表,每季度抽查一次。

坑七:把AI当成就技术项目,低估了文化变革

因格尔赛德的CIO说,问题从来不在技术,难的是文化变革需要时间。
8位受访者的策略转变方向完全一致,从孤立试点转向企业级治理框架,从线上工具再改流程转向先改流程再上工具,从AI替代思维转向人机协作设计。这些转变没有一条是技术问题,全是组织问题。
在国内,AI项目放在信息科当做信息化项目做,存在一定的瓶颈,要做到全院协同,需要医务、门诊、护理、财务都参与,才推得动。
立项时改一个字段
项目名称里去掉信息化三个字,挂到医疗质量或患者体验提升转向下面,牵头人从信息科改成分管院长。

坑八:只算采购账,不算运营账

圣拉斐尔山医院用AI辅助影像识别颅内出血、肺栓塞这类危急情况,农村医院CIO的原话是,几分钟就是生死之差,AI让患者住在哪里不再决定治疗水平。
像这类工具的价值要从运营的角度衡量。听写工具之所以被反复引用,是因为它给出了可衡量的运营数据,倦怠下降,病历按时关闭率上升。8位CIO的策略转向也指向同一件事,追求可衡量的价值。
上线时就定好三个数
试点开始前写下基线值,病历完成市场、候诊市场或人工干预次数任选三个,上线三个月后对比。没有基线,任何AI项目最后都只能靠感觉汇报。
8个坑的解决方案表
序号
结果
诊断
改进方案
1
烂流程上加AI
加速混乱
画出患者全流程图,数人工节点
改点断点再谈上系统
2
速度超过验证
验证被政治压力压缩
起草最小验证清单
清单纳入上线审批流程
3
按次计费
调用量藏在门诊
查现有合同计费方式
新合同加计费封顶条款
4
缺临床验证
两周上线
拟定3-5人验证小组名单
小组出第一份验证报告
5
场景选错
管理层爽和医生爽是两回事
访谈5名医生找日常痛点
选1个痛点场景试点
6
没人质疑AI
错误沉淀进病历
定AI内容确认留痕规矩
留痕进质控抽查表
7
当成技术项目
组织问题被技术掩盖
盘点哪个院级转向可以挂靠
推动分管院长牵头
8
只算采购账
没有基线智能靠感觉汇报
定3个试点基线指标
上线满月出数据对比
写在最后:
AI的使用落地,在医疗信息化领域是一片蓝海,海量的数据和应用场景是AI最理想的实验田,但是医疗是严肃的,稍有不慎,便是人命关天。这些经验,值得我们医信人借鉴,并优化提升,避免发生同样的错误。
我是西贝甲,一个接地气的医疗翻译官。