乐于分享
好东西不私藏
夜雨聆风 > > 办公文件 > 医学与AI文献第118篇:低训练成本病理大模型多中心适配方案

医学与AI文献第118篇:低训练成本病理大模型多中心适配方案

当前时间： 1970-01-01 08:00:00 分类：办公文件 评论(0)
医学与AI文献第118篇:低训练成本病理大模型多中心适配方案

视频信息更丰富！

已关注
关注
重播 分享 赞

面向数字病理的基于深度特征提示的灵活可扩展联邦学习

文字解读更精炼！

本文是针对病理大模型多中心适配提出的联邦学习方案。

联邦学习的目的是为了综合多中心的训练效果，提出一个适配多中心的大模型，既往多针对模型的参数进行调整。当前文章，则是采用了一个类似软提示微调的方案，对微调内容进行整合，而非骨干模型。

软提示微调的文章可见：医学与AI文献第112篇：病理报告专用模型，高效提取肿瘤部位、分级、分期

大模型多中心适配的微调方案有多种，一般微调参数越多，效果越好，成本也越高。

2026年最新医学多模态AI深度学习班开始招生，详情可私信！

文献学习

一、摘要

医疗机构间的协作学习对于构建稳健且可泛化的数字病理模型至关重要。联邦学习（FL）支持在不集中数据的情况下开展协作，但其应用却受限于高昂的通信成本、模型异质性和隐私问题。本文提出了联邦深度特征提示（FedDFP），这是一种为异构临床环境量身定制的高效联邦学习框架。FedDFP 引入了轻量级、针对客户端的可学习提示词，并将其应用于全切片图像的斑块级嵌入中。仅共享这些紧凑的提示词，FedDFP 相较于标准联邦学习可将通信开销降低 99.9% 以上，同时还能提升分类准确率。在 TCGA-IDH、CAMELYON16 和 CAMELYON17 数据集上的大量实验表明，FedDFP 的性能持续优于标准联邦学习和个性化联邦学习基准模型，相比仅本地训练平均 AUC 提升 0.11–0.13，相较于表现最优的联邦学习方法也能达到 0.10 的提升。FedDFP 的收敛速度还快 2–4 倍，且在多种特征提取器和多实例学习架构下均保持有效，展现出良好的可扩展性、灵活性和隐私感知协作能力。

图1：所提出的用于联邦全切片图像分类的深度特征提示框架概述。FedDFP 框架概述。a 在每个机构内部，全切片图像（WSIs）被切分为图像块，由冻结的特征提取器进行编码，随后在特征空间中由少量深度特征提示词（DFPs）进行调制，最后由可训练的多实例学习（MIL）分类器进行聚合。b 在联邦设置中，每个客户端训练其本地深度特征提示词与本地多实例学习模型，仅将轻量级的、客户端专属的深度特征提示词参数 (P_k) 定期上传至服务器，以聚合为全局提示词 (\widetilde{P})；原始全切片图像、特征提取器和多实例学习分类器均保留在本地。c 在各类联邦学习基准模型中，FedDFP 在通信预算相当或更低的情况下，实现了最高的全局平均准确率，展现出良好的准确率-效率权衡性能。

二、研究背景与现存痛点

  1. 数字病理刚需多中心协作单家医院病理数据量有限，尤其罕见病、基层医院；多中心联合训练可提升WSI肿瘤分类模型泛化能力，但医疗原始切片受法规限制不能集中共享。 行业主流采用联邦学习FL，数据本地留存，仅传输模型更新。
  2. 现有联邦病理方法三大缺陷 （1）客户端异构适配差：不同医院算力、骨干网络（CNN/ViT）、MIL多实例分类器（CLAM/TransMIL/ABMIL）不统一，标准FedAvg要求全局统一模型，无法落地；个性化FL多依赖合成数据、完整分类层交互，算力成本高。 （2）通信成本极高：传统方案每轮传输数十万模型参数，乡村/带宽受限医院训练极慢。 （3）隐私安全隐患：完整梯度/模型参数上传易被梯度反演、成员推理攻击，还原患者病理信息。
  3. 现有提示类联邦方法局限：图像级视觉提示仅适配输入层，无法兼容WSI的MIL流水线，特征适配能力弱。

三、FedDFP 核心框架与工作流程

1. 核心创新：深度特征提示DFP

不在原图输入层加提示，而是在冻结预训练骨干输出的Patch特征嵌入空间添加轻量化可学习提示向量，特征维度与Patch嵌入完全对齐，天然兼容任意CNN/ViT骨干、任意MIL分类器，实现架构无关的跨机构协作。

2. 完整流水线（本地+联邦交互）

  1. 本地预处理：WSI切图块，冻结ResNet50/ViT-S/16离线提取Patch特征，骨干全程不更新；
  2. 特征调制：客户端学习专属轻量化DFP提示，逐Patch特征做逐元素加权融合，生成适配本地病理分布的微调特征；
  3. 本地训练：仅联合优化DFP参数+本地自有MIL分类器，原始切片、特征、MIL权重全程本地存储；
  4. 联邦通信：仅上传极小尺寸DFP提示向量至服务器，其余数据/模型不上传；
  5. 服务器聚合：按各机构数据量加权平均所有客户端DFP，下发全局提示供下一轮本地初始化；
  6. 迭代至收敛，推理时本地MIL+全局DFP完成切片诊断。

3. 关键公式

  • 提示调制特征：（T为提示数量，逐元素相乘）
  • 全局提示聚合：
图2：FedDFP 与联邦学习基线模型在 CAMELYON16 数据集上的性能对比。我们在CAMELYON16数据集上将FedDFP与其他联邦学习基准模型进行了对比。a 所有参与客户端的全局平均分类准确率；b 以测试准确率随通信轮次变化衡量的收敛行为；c 每个客户端的马修斯相关系数（MCC），反映类别不平衡下的均衡分类性能；d 每个客户端的受试者工作特征（ROC）曲线；以及e 客户端平均混淆矩阵。图d、e中的结果为五次独立运行的均值±95%置信区间。

四、核心实验设置

1. 三大病理公开数据集

  1. CAMELYON16：2中心，乳腺转移二分类（正常/肿瘤）；
  2. CAMELYON17：5中心，4分类（阴性/ITC微转移/微小转移/宏观转移），数据高度不平衡；
  3. TCGA-IDH：8中心，胶质瘤IDH突变/野生型二分类，机构间数据分布差异极大。

2. 对比基线

  1. 标准联邦FL：FedHisto、FedDyn、MOON、SCAFFOLD；
  2. 个性化pFL：FedProto、DESA、SGPT、pFedPG；
  3. 轻量化PEFT微调方案：VP视觉提示、Pt-MIL、LoRA、Adaptor；
  4. 异构MIL场景：CLAM、TransMIL、ABMIL随机分配给不同客户端。

3. 训练参数

全局通信轮次100，本地迭代50轮，Adam lr=3e-4；默认单提示T=1降低通信；硬件单张NVIDIA V100。

图5：多个组织病理学数据集的深度特征提示设计的消融分析。在三个基准数据集（a CAMELYON16、b CAMELYON17 和 c TCGA-IDH）上，报告了不同数量的深度特征提示（第1行）和不同提示初始化策略（第2行）下的全局平均分类准确率（平均值±95%置信区间）。对于每个数据集，结果均对所有参与客户端和交叉验证折数取平均，以反映全局联邦学习性能。
图6：与参数高效微调方法的对比以及FedDFP在多个组织病理学数据集上的隐私鲁棒性分析。FedDFP 在三个数据集上的性能与鲁棒性分析：a 为 CAMELYON16、b 为 CAMELYON17、c 为 TCGA-IDH。第一行将 FedDFP 与其他用作深度特征提示词替代方案的参数高效微调（PEFT）方法进行对比，以可训练参数数量为函数展示全局平均准确率，其中标记大小反映对应的置信区间。第二行通过向共享提示词中注入不同幅度的噪声，评估 FedDFP 在差分隐私下的鲁棒性；结果以五次独立运行的均值±95%置信区间呈现。
图7：FedDFP 与个性化联邦学习方法在非独立同分布客户端设置下的对比。FedDFP 与三种数据集（a CAMELYON16、b CAMELYON17 和 c TCGA-IDH）在异构客户端设置下的代表性个性化联邦学习方法对比。对于每个数据集，左图展示了客户端的全局平均准确率，右图则呈现了带有95%置信区间的客户端平均混淆矩阵。

五、核心实验结果（五大优势）

1. 分类性能全面超越所有基线

  • 相比仅本地训练：平均AUC提升0.11~0.13；
  • 相比最优传统联邦方法：AUC最高提升0.10；
  • 全部数据集下全局平均准确率、MCC、AUPRC、ROC均最优，少数类、数据稀缺医院提升最显著，混淆矩阵显示系统性错判大幅减少；
  • 统计检验（Welch t-test）：CAMELYON17、TCGA-IDH上性能提升具备统计学显著差异。

2. 极致通信效率，降低99.9%传输开销

  • 传统FedHisto每轮传输791K参数，FedDFP仅0.4K参数；
  • 单轮数据量：3.16MB → 1.6KB；
  • 收敛速度提升2~4倍：基线需80–100轮，FedDFP仅20–40轮达最优精度，总通信量数量级下降；
  • 本地计算开销极小：单轮本地训练仅增加0.49s，基层GPU可承载。

3. 兼容异构环境，适配多样化医院配置

  1. 骨干网络兼容：ResNet50、ViT-S/16下均稳定涨点，不受特征提取器类型影响；
  2. 异构MIL兼容实验：各医院随机使用CLAM/TransMIL/ABMIL时，FedDFP仍显著优于所有个性化FL基线，实现跨模型联合训练； 原理：提示作用于统一维度的特征嵌入，与下游分类器解耦。

4. 轻量化提示调优消融实验

  1. 提示数量T：仅1个提示即可超过全部基线；增加提示可小幅涨精度，但通信量同步上升，可按需权衡；
  2. 初始化策略：随机初始化效果最优，高斯/零初始化收敛慢、精度更低。

5. 强隐私保障，兼容差分隐私DP

  1. 天然隐私优势：仅传输抽象特征提示，不含原图、Patch、梯度、分类器权重，攻击面极小，抵抗梯度反转、样本推断；
  2. DP噪声鲁棒：在共享提示中注入不同幅度噪声后，模型性能无大幅衰减，兼顾合规与精度，适配医疗数据监管要求。

六、与其他轻量化微调PEFT对比

同等通信参数预算下FedDFP效果最优：

  1. LoRA/Adaptor：修改骨干内部权重，传输参数量大，且适配MIL聚合能力弱；
  2. VP/Pt-MIL：原图输入层提示，无法适配WSI分块特征流水线，特征表达能力弱； FedDFP直接调制任务相关Patch特征，有限参数利用率更高，精度-通信效率权衡最优。

七、研究局限性

  1. 仅支持统一维度的预训练骨干，无法适配完全异构、不兼容特征空间的提取器；
  2. 未测试客户端掉线、恶意对抗客户端场景；
  3. 实验均基于单GPU，未模拟医院混杂CPU/低端GPU异构硬件集群；
  4. 仅在公开肿瘤数据集验证，缺少真实医院私有多中心大队列验证。

八、参考文献

  • 参考文献：Cong, C., Song, Y., Di Ieva, A. et al. Flexible and scalable federated learning with deep feature prompts for digital pathology. npj Digit. Med. 9, 578 (2026). https://doi.org/10.1038/s41746-026-02710-6

  • 原文地址：https://www.nature.com/articles/s41746-026-02710-6

九、代码可用性

  • Github地址：https://github.com/thomascong121/FedDFP