夜雨聆风程序性保障措施
昨天提到医疗机构本身往往没有技术能力对算法进行审查（供应商也不会为了销售产品/服务而同意甲方审代码或反向工程模型），而是通过“采购准入+过程监控+异常处置”等程序性保障措施落实主体责任和注意义务。
具体来说，采购准入环节，通常会：
要求供应商提供医疗器械软件注册/备案及变更资料、软件描述文档、算法研究与风险分析、临床评价或真实世界评价资料、更新与版本管理说明、网络安全与数据合规等材料； 视项目具体情况，进一步提供核心性能指标的临床说明，用以判断医疗AI可作为“辅助参考”，还是“禁止用于独立诊断”。供应商无法提供文件或拒绝提供任何分层数据时，因无法评估对特定患者群体的安全性，原则上不予准入。
合同层面，供应商仅承诺“合法合规”通常无法满足采购合规性要求，难以证明采购单位已尽到审查义务。此时可能会：
要求将以下内容纳入正文及附件：1）算法备案登记证明；2）训练数据来源声明、适用人群与禁忌边界等说明；3）版本变更提前通知、偏差/漂移通报机制；4）第三方检测或审计配合义务；5）缺陷召回；6）因虚假陈述等导致损害时的违约赔偿责任；7）数据返还与系统退出机制等； 设置试用期，例如，在采购单位连续运营某个期间，收集本院患者数据、进行分层统计，对本院场景作进一步评估、验证。
产品部署上线后，还需注意：
过程监测，对使用情况进行定期评估与整改（如需），尤其是涉及漏诊/误诊/延迟诊断事件、出院诊断与AI初判不一致率等情形； 高度注意人工复核与使用边界，尤其是明确禁止“AI单独定案”和不得超范围、超规范使用：
1）明确禁止“AI单独定案”。 AI输出仅为辅助参考意见，最终诊断结论必须由具备资质的医师结合患者完整临床资料独立作出，并在病历中体现医师本人的分析判断过程。对于已知的高风险场景（如重大手术决策前的影像判断、肿瘤良恶性鉴别、急危重症的快速分诊、AI与医师初判存在重大分歧的病例等），应通过制度强制二次阅片、多学科会诊或检验复查，不得以效率为由省略复核环节。同时，为预防医务人员在长期信任AI后逐渐放弃独立判断的倾向，可通过定期抽查AI“采纳率异常高”的病例质量加以防范。
2）不得超范围、超规范使用，即严禁超说明书使用、超注册适用范围使用（产品的实际用途必须与医疗器械注册/备案载明的适用范围严格一致），不得擅自改变阈值或参数配置。如确有必要探索超范围使用，应通过临床研究伦理审查等正规路径开展，并在知情同意中向患者充分披露，而不能以常规诊疗的名义悄悄使用。
一旦出现红旗信号，例如亚组性能异常、供应商重大版本更新、监管警示、同行通报或院内不良事件聚集等情形，应立即采取处置措施（例如降级使用、暂停自动结论、保留样本与日志、要求供应商说明，并采取评估更换或召回等措施）。特别需要注意的是，在红旗信号已经出现后仍继续使用且未加任何防护措施的，在医疗损害责任纠纷中极易被法院认定医疗机构存在过错——因为此时机构对风险已属“明知或应知”，继续使用构成对注意义务的违反。相反，若机构能够证明其建立了完善的监测机制、及时识别风险并采取了审慎的处置措施，即便损害结果最终难以完全避免，也能在很大程度上减轻或免除责任。
此外还需关注留痕与追偿：
保存采购尽调问卷、供应商声明、伦理审查、培训记录、分人群监测报表、复核记录、版本更新日志和不良事件闭环单； 若损害源于供应商虚假保证、隐瞒训练数据缺陷或软件缺陷，医疗机构可主张合同追偿，符合产品责任要件时再向生产者、销售者追偿；但若医院存在超范围使用、未做复核、看到红旗仍沿用或未留痕，仍可能单独或与供应商连带承担相应责任。
总之，医疗AI采购无法仅依托供应商承诺与保证，采购准入、分人群结果监测和强制人工复核才是安全底线。
分别检索医疗AI和算法偏见，案例很少。算法偏见典型案例还是之前看过的何某与上海某公司网络侵权责任纠纷案。该案一审判决写道：
如将算法应用笼统地划入技术服务范畴，按照“技术中立”原则予以规范，将不能合理地评价案涉软件中算法起到的重要作用； - “作为一种自动化决策的路径，算法在当今各类互联网产品中得到广泛应用，在合理使用的前提下，确有利于提高服务效率、优化用户体验。但是，根本上，算法是设计者在社会价值指引下结合自身价值判断设计的，不可能完全排除主体主观因素影响，实践中可能存在算法偏见、算法歧视等情形。”
- “合理评价算法应用，需要综合考量算法设计的目的、实施过程及实施效果。
法院审查后认定，从算法的部署和应用来看，案涉聚类算法与案涉软件规则、功能相结合，非常明显地体现了算法设计者的价值导向，“明显有着知晓甚至鼓励用户创设公众人物或者形象的意图”。（一审民事判决书，北京互联网法院（2020）京0491民初9526号，2021年8月20日裁判）
“医疗AI”关键词相关的案例也有，但不多，具体情况明天看。