乐于分享
好东西不私藏
当前位置：夜雨聆风 > 技术教程 > 软件教程 > AI 时代下,医疗企业如何应对 AI 医疗设备在临床应用中产生的交互问题

AI 时代下,医疗企业如何应对 AI 医疗设备在临床应用中产生的交互问题

当前时间： 2026-05-06 20:58:35 更新时间： 2026-05-06 分类：软件教程 评论(0)

AI 时代下,医疗企业如何应对 AI 医疗设备在临床应用中产生的交互问题

摘要

人工智能（AI）已迅速应用至医疗设备中，带来了从「提高诊断准确性」到「优化临床工作流程」等诸多益处。

目前，美国食品药品监督管理局（FDA）批准的 AI 医疗设备已超过 1000 种，该技术不再是想象，已然成为了现实。然而，与之而来的问题是，临床医生与 AI 医疗设备的交互过程也存在一些潜在风险。

本文总结了关于这些风险的证据，重点关注「自动化偏差（过度信任）」、「算法厌恶（信任不足）」、「技能退化」、「可解释性缺失」、「问责机制的缺失」以及「工作流程难以整合」等问题，为医疗专业人员、设备开发者和监管机构提供一个整合视角的说明。

医疗设备中的人工智能应用现状

人工智能在医疗设备中的应用现已广泛覆盖各类临床场景，包括放射学和病理学中的「诊断影像分析」、「实时患者情况监测」、「临床决策支持系统（CDSSs）」以及「行政管理系统自动化」。大多数现代 AI 医疗设备以机器学习模型为基础，通过学习大量数据来生成诊断、治疗建议和预后评分。

大型语言模型（LLMs）刚刚开始进入监管审批流程，引入了一类新型的对话式的人机交互界面，这在以往的医疗设备史上带来了前所未有的挑战。

然而，大多数验证研究是在非临床环境（可控）的条件下进行的；而在实际临床环境中，由于患者群体、设备和流程的差异，其表现被证明较差。因此，从测试结果到稳健的临床实践的转化仍然不稳定。

与AI交互时的可能风险

一、自动化偏差与过度信任

自动化偏差可能是临床研究中可能出现的交互风险之一。它指的是：临床医生过度依赖 AI 生成的建议，即使这些建议是错误的，也未经充分的评估。研究表明：当 AI 建议与现有的临床证据或自身判断相矛盾时，临床医生仍可能遵从 AI 的建议。

「自动化偏差：是指人类在使用自动化系统时，会过度依赖其建议或输出结果，即使那是错误的，我们也容易忽略自己的判断或不再质疑。」

一项针对重症监护室（ICU）中的研究发现：随着临床决策复杂性的增加，并且在时间紧迫环境中且临床医生思维带宽有限的条件下，自动化偏差会加剧且极其危险。然而，仅仅提供 AI 的思考过程，并不足以完全改善自动化偏差现象。由此产生的错误分为两类：「作为错误（依据错误的 AI 建议采取行动）」和「不作为错误（因 AI 未标记行动而未能采取行动）」。

「思维带宽描述的是一个人用于处理信息和解决问题的心理资源的量和效果。这包括注意力、记忆、逻辑推理和创造力等各种类型的认知能力。简而言之，思维带宽就像是大脑的工作内存，限制了我们在任何给定时间能够承载和处理的信息量。」

一个导致偏差加剧的因素是，对犯同样错误的人类同事相比，人们对犯错的 AI 系统的信任度会更低，这使得对 AI 的信任既异常脆弱；又可能在对 AI 建立基本信心后，不加批判的过度依赖。

二、算法厌恶与信任不足

在光谱的另一端，算法厌恶描述了临床医生即使在 AI 建议准确的情况下，也倾向于忽视 AI 建议的现象。研究表明，在观察到某个 AI 建议出现的错误后，临床医生往往会不成比例地降低其信任度，并选择远离算法的决策。

临床医生的专业水平起着重要的作用：研究发现，新手临床医生由于错误检测能力有限，往往容易过度依赖；而经验丰富的临床医生则因对自身判断的信心增强，倾向于对 AI 的信任不足。这造成了一个现象：AI 工具可能对新手最有影响力，但却被经验丰富的从业者抵制。

算法厌恶与多种因素相关，包括对非人类判断的不信任、对 AI 的担忧、专业自主权和权威的丧失，以及某些临床任务的主观性。当 AI 工具通过直接预测最终诊断来”挑战”临床权威时，这种竞争感会阻止其采纳 AI 工具的意见。

三、可解释性缺失

许多 AI 系统，尤其是深度学习模型，其运作方式类似于”黑匣子”，它们无法解释生成特定的结果的原因。这种缺乏解释性的情况给临床决策带来了重大挑战。对 AI 建议背后的推理过程不确定的临床医生，很难将其恰当地整合到自己的工作流程中，要么倾向于忽视它（算法厌恶），要么不加批判地接受它（过度信任）。

可解释性人工智能方法（XAI）可以弥补这一不足，其提供「特征重要性图」、「概率评分」、「事实解释」及其他解释性辅助工具。然而，对 XAI 在临床环境中的应用的研究也揭示了复杂的情况。虽然 XAI 在许多情况下增加了感知上的信任，但不恰当地使用解释本身也可能引发过度信任或信任不足，具体取决于解释的呈现方式和用户的认知风格。非专科临床医生，例如使用放射学 AI 的普通内科医生，比专科医生从 XAI 的解释中获益更多，对于专科医生而言，XAI 的解释并未提高其诊断信心。

四、去技能化与技能退化

越来越多的证据指出了去技能化的风险：即由于长期依赖 AI 辅助的工作流程，导致临床技能和独立判断能力的退化。随着 AI 系统持续提供解决方案和建议，临床医生可能较少有机会锻炼自身的诊断推理能力、操作能力和临床判断力，导致随着时间的推移其技能的退化。

一项著名的研究发现，在长期接触 AI 辅助结肠镜检查后，内镜医师在非 AI 环境下的腺瘤检出率显著下降，从 28.4% 降至 22.4%，绝对差异为 6 个百分点。这表明，对 AI 的依赖并非简单地与能力”共存”，AI 会主动抑制能力。

一项针对临床医生的调查发现，57% 的人将“因过度依赖 AI 导致的临床技能退步”列为首要担忧，55% 的人担心“未指正的过度信任会造成后续危害”。特别令人担忧的是，针对早期职业从业者，他们面临着研究人员所称的”一技无成”的风险：即由于在核心临床能力完全形成之前就引入了 AI 工具，导致从一开始就无法发展这些临床基础能力。除诊断技能外，风险还延伸到沟通技能和道德判断技能中，因为临床医生越来越多地与算法输出互动，而非直接与患者互动，从而削弱了伦理敏感性和共情能力。

五、工作流程难以整合与可用性不足

人与 AI 交互失败的原因是不适配的工作流程整合。在研究环境中有用的 AI 工具，在临床环境中往往并非如此，因为它们无法与现有的电子健康档案系统（EHR）、影像归档系统、通信系统（PACS）或临床常规流程顺利适应。放射科医生指出，许多 AI 产品需要额外步骤或以存在于系统外的形式生成警报，无法与其现有临床软件界面集成，导致警报疲劳。

嵌入电子健康档案系统中的脓毒症模块案例研究说明了这一情况。临床医生普遍对该 AI 模块表示不满，这不仅是因为算法问题，还因为该 AI 专注于预测最终的脓毒症判定，造成了临床医生产生了与 AI 竞争而非协作的感受。该 AI 显得迟缓和不准确，导致用户认为其”没用”并增加了额外无意义的工作。

人因工程学原则，早已通过ISO/IEC 62366-1:2015等框架在医疗设备设计中确立，却未能充分应用于 AI 赋能的决策支持工具。现有的监管条例或法规早于医疗 AI 的出现，且往往过于笼统，无法解决人与 AI 交互的认知和情感维度的问题。现有的标准通常基于有限的开发经验和少数专家组的意见，而非基于现实世界的评估数据。

六、公平性、偏见与问责机制缺失

基于非临床环境数据训练的 AI 系统，有可能加剧在性别、种族、民族、城乡等群体间已有的医疗资源分配不均。研究表明，深度学习算法能够高精度地从放射影像中预测种族，这引发了关于将无意识中的歧视性变量引入临床决策的担忧。

在 AI 医疗设备的背景下，如何问责则是一个值得思考的话题。与药品不同（其不良事件的责任相对明确），AI 系统在开发者、制造商、部署机构和个体临床医生之间造成了模糊的责任边界。当 AI 生成的建议导致医疗差错时，确定过错方非常复杂，尤其是在许多系统具有黑匣子特性的情况下。AI 医疗设备的上市后监管和审计追踪仍在发展中，AI 模型的不断迭代更新的特性，也会使监管复杂化。

缓解策略与设计建议

研究文献总结了若干可操作的缓解策略，以提高医疗设备应用中的人与 AI 交互的安全性：

  • 人类的重要性：临床医生必须保持临床决策的最终决定者地位。工作流程应要求在采纳或拒绝 AI 建议时明确理由，以确保责任人并减少自动化偏差。

  • AI 需要提供适当的解释过程：应针对目标临床群体仔细选择和设计可解释性 AI 工具。解释应增强而非替代批判性推理，并在部署前跨不同用户群体进行测试。

  • 可调节性与交互性：赋予临床医生对 AI 输出的有限控制权，例如调整预测的能力，已被发现能显著减少算法厌恶并增加适当的依赖。

  • 决策过程支持：AI 工具应瞄准临床决策过程中的中间步骤，而非最终决策，以减少用户与 AI 竞争的感觉并更好地支持临床决策。

  • 去技能化防护措施：医疗机构应有意识地保留独立技能实践的机会。在培训和评估中设置强制的非 AI 场景、记录临床医生与 AI 输出一致/不一致程度的表格，以及定期的能力评估，均可缓解技能退化。

  • 包容性开发：一项系统性回顾发现，仅有 22% 的 AI 工具开发研究在整个开发阶段让临床医生参与。早期且持续的临床医生参与对于可用性、安全性以及适当的信任至关重要。

  • 监管现代化：必须更新现有框架，以应对 AI 特有的风险，包括自适应算法更新、人与 AI 交互动态和公平性问题。迫切需要关于 AI 医疗设备现实世界人因研究的具体指南。

结论

AI 赋能的医疗设备为医疗行业带来了变革性机遇，但其安全和有效性关键取决于对与 AI 交互动态的理解与管理。过度信任和信任不足均不可取；目前所需要的是临床医生与 AI 工具之间经过良好校准、符合临床环境的适当协作。实现这一目标需要设备开发者、医疗机构、监管机构和医疗教育工作者的共同努力，设计出能够增强而非取代临床专业知识、支持适当信任形成，并保留医疗中不可替代的人性维度的工具。

参考文献

  1. Bipartisan Policy Center. (2025, December 10). FDA Oversight: Understanding the Regulation of Health AI Tools. https://bipartisanpolicy.org/issue-brief/fda-oversight-understanding-the-regulation-of-health-ai-tools/

  2. NPJ Digital Medicine / Nature. (2025, March 19). Examining human-AI interaction in real-world healthcare beyond the laboratory. https://www.nature.com/articles/s41746-025-01559-5

  3. PMC / National Library of Medicine. Navigating regulatory and policy challenges for AI-enabled combination devices. https://pmc.ncbi.nlm.nih.gov/articles/PMC11634576/

  4. PMC / National Library of Medicine. Evaluation and Regulation of Artificial Intelligence Medical Devices for Clinical Decision Support. https://pmc.ncbi.nlm.nih.gov/articles/PMC12339208/

  5. IntuitionLabs. (2025, October 30). AI Medical Devices: 2025 Status, Regulation & Challenges. https://intuitionlabs.ai/articles/ai-medical-devices-regulation-2025

  6. PMC / National Library of Medicine. The Challenges of Regulating Artificial Intelligence in Healthcare. https://pmc.ncbi.nlm.nih.gov/articles/PMC10125205/

  7. JMIR AI. (2024). How Explainable Artificial Intelligence Can Increase or Decrease Clinicians’ Trust in AI Applications in Health Care: Systematic Review. https://ai.jmir.org/2024/1/e53207

  8. PMC / National Library of Medicine. How Explainable Artificial Intelligence Can Increase or Decrease Clinicians’ Trust in AI Applications in Health Care: Systematic Review. https://pmc.ncbi.nlm.nih.gov/articles/PMC11561425/

  9. ScienceDirect. (2024). Exploring the risks of automation bias in healthcare artificial intelligence applications: A Bowtie analysis. https://www.sciencedirect.com/science/article/pii/S2666449624000410

  10. ACM Digital Library. (2024). Rethinking Human-AI Collaboration in Complex Medical Decision Making: A Case Study in Sepsis Diagnosis. CHI 2024. https://dl.acm.org/doi/10.1145/3613904.3642343

  11. National Health Council. (2025, April 9). NHC Submits Comments on FDA Draft Guidance for AI/ML-Enabled Medical Devices. https://nationalhealthcouncil.org/letters-comments/nhc-submits-comments-on-fda-draft-guidance-for-ai-ml-enabled-medical-devices/

  12. Taylor & Francis. (2025). Algorithm appreciation or aversion: the effects of accuracy disclosure on users’ reliance on algorithmic suggestions. https://www.tandfonline.com/doi/full/10.1080/0144929X.2025.2535732

  13. Taylor & Francis. (2025). Investigating appropriate reliance on AI-Based decision support systems: the role of expertise, trust, and self-confidence. https://www.tandfonline.com/doi/full/10.1080/12460125.2025.2593251

  14. Springer Nature Link. (2025). AI-induced Deskilling in Medicine: A Mixed-Method Review and Research Agenda. Artificial Intelligence Review. https://link.springer.com/article/10.1007/s10462-025-11352-1

  15. Frontiers in Medicine. (2026, January 16). Deskilling dilemma: brain over automation. https://www.frontiersin.org/journals/medicine/articles/10.3389/fmed.2026.1765692/full

  16. Wiley / Journal of Experimental Orthopaedics. (2026). From de-skilling to up-skilling: How artificial intelligence will augment the modern physician. https://esskajournals.onlinelibrary.wiley.com/doi/10.1002/jeo2.70677

  17. Cambridge Core / British Journal of Psychiatry. (2026). Artificial intelligence and deskilling in medicine. https://www.cambridge.org/core/journals/the-british-journal-of-psychiatry/article/artificial-intelligence-and-deskilling-in-medicine/641F0B39DC9494C7B9561F63E718EAC6

  18. ScienceDirect. (2025). Artificial intelligence adoption challenges from healthcare providers’ perspectives. https://www.sciencedirect.com/science/article/pii/S092575352500253X

  19. FAS (Federation of American Scientists). (2025, November 4). Making Healthcare AI Human-Centered. https://fas.org/publication/healthcare-ai-tools/

  20. Digital Health Insights. (2025, August 19). As AI rises, has the ‘Great Deskilling’ started to hit healthcare? https://dhinsights.org/news/as-ai-rises-has-the-great-deskilling-started-to-hit-healthcare

  21. arXiv. (2025). Overcoming Algorithm Aversion with Transparency: Can Transparent Predictions Change User Behavior? https://arxiv.org/html/2508.03168v1

  22. ScienceDirect. (2024). Designing interpretable ML system to enhance trust in healthcare: A systematic review. https://www.sciencedirect.com/science/article/abs/pii/S1566253524001908

  23. Springer AI & Society. (2025). Trust in artificial intelligence: a survey experiment to assess trust in algorithmic decision-making. https://link.springer.com/article/10.1007/s00146-025-02237-6

  24. PMC / National Library of Medicine. Artificial intelligence and clinical decision support: clinicians’ perspectives on trust, trustworthiness, and liability. https://pmc.ncbi.nlm.nih.gov/articles/PMC10681355/

  25. ICE Blog. (2025, August 26). Deskilling and Automation Bias: A Cautionary Tale for Health Professions Educators. https://icenet.blog/2025/08/26/deskilling-and-automation-bias-a-cautionary-tale-for-health-professions-educators/