夜雨聆风
随着人工智能（AI）从特定领域的单一统计工具向具备感知、推理和信息生成能力的自适应、智能体架构演进，医疗领域正迎来一场前所未有的效率与操作变革。
然而，在临床实践中引入这些颠覆性技术的同时，新的安全隐患也悄然而至。特别是在肿瘤学这一容错率极低、治疗窗口狭窄、且需要跨科室长期追踪的复杂领域，AI系统的隐形失灵可能在临床团队毫无察觉的情况下对患者造成致命伤害。
近日，来自得克萨斯大学安德森癌症中心的研究团队在 Journal of Clinical Oncology 杂志发表题为”Sustaining High Reliability Amid Artificial Intelligence Adoption in Oncology“的文章。
研究指出，确保医疗AI的安全与有效不能仅停留在技术层面的验证，而必须在人机交互界面上建立持续的社会技术防御机制。为了解决这一核心挑战，研究者将高可靠性组织原则与经典的瑞士奶酪模型相融合，提出了一个重塑“Capable Human-in-the-Loop”的全新安全框架，以期在AI盛行时代守住肿瘤临床安全的底线。
文章首先深入剖析了医疗AI在实际落地中所面临的三重异质性可靠性挑战，即数据层、算法层与人类层面的系统性脆弱点。在数据层面，研究者指出，数据质量的波动、潜在偏见的引入以及患者群体和临床记录实践的变迁，会引发隐蔽的“数据漂移”，导致AI的实际输出严重偏离预期。例如，目前在医疗机构中普及速度极快的生成式AI临床语音电子病历系统，在面对患者中途切换语言、多主诉陈述或复诊随访等真实临床场景时，生成的摘要质量会显著下降，而系统并不会对医生发出任何可见的质量预警。
在算法层面，开发阶段表现优异的AI模型在真实世界复杂的边缘案例中极易发生“幻觉”或溃败，这种不稳定性在肿瘤临床中往往伴随着极高的生命代价。文章重点解读了一个真实发生的毁灭性临床案例：一款智能病历系统在抓取信息时发生严重误判，将一名仅完成了一线治疗的转移性非小细胞肺癌患者错误地记录为“一、二线治疗均已失败”。后续接诊的肿瘤科医生在未察觉AI错误的情况下，完全信任了这份病历，从而盲目且提前地对患者实施了三线免疫治疗，最终导致该患者并发严重的免疫相关性肺炎，预后极度恶化。这一算法层面的灾难性结果不仅揭示了AI幻觉的隐蔽性，更凸显了本地验证和持续监测的迫切性。
在人类层面，长期暴露于自动化系统中所诱发的“自动化偏见”和“警报疲劳”正成为削弱临床医生警惕性的罪魁祸首。研究者指出，高强度的临床工作量会让医生倾向于不加细审地批准AI生成的草稿，这种对自动化的过度依赖甚至正在引发医生的“技能萎缩”。最新关于AI辅助息肉检测的研究已明确观察到了医生手动推理能力和情境感知能力的下降，这种去技能化现象进一步弱化了人类作为最后一道防线拦截AI错误的能力。当微小的数据漂移引发算法不稳定，再叠加人类因认知过载而产生的盲目信任时，多层面的脆弱性就会发生共振，导致错误在临床工作流中无阻碍地层层放大。
面对多层级漏洞动态对齐的严峻现实，文章创造性地利用瑞士奶酪模型对“Capable Human-in-the-Loop”的内涵进行了重新定义，指出真正能阻断风险的不是普通的“在环人类”，而必须是具备AI与数据素养的“有能力的人类”。借助于高可靠性组织原则，研究者提出了将静态工程验证转化为动态运营防御的具体路径。首先是“专注于失败”，临床团队需敏锐捕捉AI输出不合常理、绕过率上升等微弱的系统退化信号，并建立通畅的上报渠道。其次是“拒绝简化”，要求医生绝不能将AI给出的概率性输出直接等同于确定性的客观事实，必须结合临床逻辑与患者实际背景进行主动质疑，而AI界面也应当直观展示预测的不确定性和数据质量警告，以协助人类进行合理的信任校准。
此外，“对操作的敏感性”和“对弹性的承诺”则要求医疗机构随时评估工作负荷与环境压力对人机交互安全的影响，通过定期开展“AI关闭演习”、失败模式培训及保持独立于自动化的手动临床技能，确保在系统失灵时人类能够无缝接管并迅速恢复。“对专业知识的推崇”则进一步明确了决策的权威归属，强调当AI与临床经验发生冲突时，必须建立清晰的撤销与覆盖触发机制，让权威回归到当下最可靠的判断源头。
总而言之，AI时代下肿瘤医学的高可靠性并不取决于完美的算法，而是取决于人类与AI交互界面上那层充满弹性的、能够随时识别并拦截弱信号的动态防线。
https://ascopubs.org/doi/full/10.1200/JCO-26-00253
