AI驱动的数字孪生心脏及多模态基础模型的研究进展

心血管疾病是全球范围内致死致残的主要原因之一，其精准诊疗高度依赖对电生理信号、医学影像及临床文本等多源异构数据的综合分析。然而，当前心脏人工智能（AI）研究仍面临若干关键问题，限制了其向临床应用的深度推进。

1.1   数据异构性与标注稀缺问题突出：心电图、超声心动图、心脏磁共振（CMR）、计算机断层血管造影（CCTA）等模态在采集方式、时间分辨率、空间分辨率和病理表征上差异显著。传统深度学习方法通常采用全监督范式，依赖大规模、高质量的标注数据。然而，在临床实践中，高质量标注数据获取成本高、专家间一致性有限，尤其对于心脏结构功能量化、瘢痕识别等任务，标注难度更大。

1.2   单一模态信息不足以刻画复杂疾病表型：例如，仅凭心电图无法直接获得心室应力、应变或血流动力学参数；超声心动图虽能动态评估心腔结构和血流，但对心肌组织特征的刻画能力有限；CMR虽能提供高分辨率解剖和组织信息，但检查时间长、费用高，难以普及。单一模态的信息割裂导致对心律失常、心力衰竭、瓣膜病、冠心病及心肌病等复杂疾病的系统性认知不足。

1.3   跨中心泛化能力不足：不同医疗设备、成像参数、患者人群分布差异显著，导致在单中心训练表现良好的模型，迁移至外部中心时性能显著下降。这一缺陷严重制约了AI模型在真实世界多中心临床环境中的可靠应用。

1.4   生物力学建模与数据驱动方法融合不足：传统心脏生物力学建模（如有限元分析、计算流体力学）具有较高的物理可解释性，但计算复杂、参数反演困难，难以实现快速个体化模拟。而纯数据驱动模型虽计算效率高，但缺乏物理约束，可解释性和外推能力弱，难以独立构建高保真数字孪生系统。

1.5   数字孪生工作流碎片化，缺乏统一智能调度：当前心脏数字孪生涉及图像分割、参数反演、仿真、报告生成等多个独立模型，工具调度复杂、缺乏自然语言交互能力，限制了其在临床工作流程中的集成与易用性。

2.1  从任务专用模型向通用基础模型演进：传统心脏AI研究以单一任务为导向（如心律失常分类、心腔分割）。近年来，自监督学习（SSL）和大规模预训练技术的引入，使得模型能够在海量未标注数据上学习通用时空表征，显著提升跨任务迁移能力。代表性工作包括心电图领域的ECG-FM、ECGFounder，超声领域的EchoFM、EchoApex，以及CMR领域的视觉基础模型等。

2.2  多模态跨模态对齐与联合建模：跨模态预训练（如ConVIRT、BiomedCLIP、ECG-CLIP、EchoCLIP、Cardiac-CLIP等）实现了影像、信号与文本在统一表征空间中的对齐。特别是ProbMED通过概率分布建模刻画多对多模态映射不确定性，ECHOPULSE利用心电信号生成超声视频，实现了模态补全与功能信息推断。这些方法打破了传统单一模态信息孤岛，为复杂心脏疾病的综合识别提供了统一表征基础。

2.3  多尺度融合与结构功能量化增强：在心脏磁共振重建中，基于提示的FMs（如PCP-UNet）将对比度和采样模式作为提示输入，提升不同成像条件下的重建稳健性。EchoVLM则将标准视图、结构化测量值、测量相关文本描述及指南导向疾病标签联合预训练，实现了零样本疾病分类与视图识别，显著增强了心脏结构与功能量化的稳定性和泛化能力。

2.4  AI与生物力学机理模型的深度耦合：本文明确提出，AI并非替代传统生物力学模型，而是作为加速器、代理模型和数据同化工具。代表性创新包括

心肌材料参数反演：Chen等利用ResNet18从常规CMR直接预测左室心肌材料参数，平均相对误差低于5%，计算时间显著缩短。

电激活图重建：基于物理信息神经网络（PINN）和Eikonal方程，从稀疏电解剖采点重建左房激活模式，并量化预测不确定性。

冠脉血流动力学快速评估：机器学习代理模型将CT-FFR计算时间从196秒降至2.4秒，条件物理约束图神经网络进一步压缩至亚秒级，且与侵入式FFR高度相关。

2.5   数字孪生工作流中的流程化智能支持：借助大语言模型（LLMs）如Med-PaLM、HuggingGPT、ChatCAD等框架，将分割、定量分析、仿真和报告生成等模块封装为可调用工具，由LLM作为控制器完成自然语言理解、任务分解、模型调度与结果整合。葛均波团队提出的多模态心血管管理系统及Agent Hospital等研究，展示了LLMs在心脏数字孪生工作流中的流程协同与交互增强潜力。

3.1  单模态预训练基础模型：针对六类核心心脏数据模态，分别发展了自监督预训练FMs。

心电图（ECG）：CLOCS、TS-TCC、ASTCL、HeartBEIT、ECGBERT、ST-MEM、Lead-agnostic SSL等方法，通过跨时间、跨导联、跨患者对比学习或掩码建模，学习电生理信号的通用时空表征。ECG-FM和ECGFounder在大规模数据上预训练，下游任务从心律失常识别扩展至LVEF预测、心衰筛查等。

胸部X线（CXR）：MoCo-CXR、MedAug等提升了胸片表征迁移能力；Ueda等基于2.25万张胸片及对应超声数据训练模型，可同时预测LVEF下降、二尖瓣反流、主动脉瓣病变等，AUC显著提高。

超声心动图（Echo）：EchoNet-Dynamic实现左心室分割与逐搏LVEF估计；EchoNet-MR、EchoNet-TR分别用于二尖瓣反流、三尖瓣反流的高通量自动分层。EchoFM、EchoApex、DISCOVR通过大规模自监督预训练，提升了视图分类、结构分割、LVEF估计等下游任务的泛化性能。

CCTA：图卷积网络用于冠脉管腔分割；Lin等国际多中心研究构建DL系统自动定量斑块体积和狭窄严重度，其总斑块体积与未来心肌梗死风险相关。

CMR：深度级联网络用于欠采样重建；ScarNet自动量化心肌瘢痕；Zhang等利用平扫Cine和T1 mapping生成虚拟原生增强图像，替代有钆LGE。Jacob等构建视觉FMs，提升分割、分类与病变检测的数据效率。

核医学成像（SPECT/PET）：DL用于衰减校正和低剂量去噪；Betancur等、Hu等利用机器学习预测阻塞性冠心病及早期冠脉血运重建。

3.2  多模态信息融合技术

跨模态对齐：ConVIRT、BiomedCLIP、PMC-CLIP、MedCLIP实现通用医学图文对齐。ECG-CLIP实现18种心脏疾病的零样本诊断；MERL结合测试时临床知识增强零样本分类。EchoCLIP在超100万超声视频-文本对上训练，支持LVEF、肺动脉压力等指标评估。Cardiac-CLIP将3D心脏CT与结构化报告对齐，用于冠心病风险评估。ProbMED以概率分布建模多对多映射；ECHOPULSE用ECG生成超声视频，实现模态补全。

多尺度融合：PCP-UNet将对比度和采样模式作为提示输入，提升CMR重建稳健性。EchoVLM联合标准视图、测量值、文本描述和疾病标签预训练，实现零样本迁移。

多模态综合评估：EchoPrime基于超1200万超声视频及报告训练，整合多视图信息，在23项基准任务上平均AUC达0.92。ViTa联合3D+T多视图CMR与表格数据，统一完成心脏表型预测、分割及疾病分类。

3.3  面向数字孪生的生物力学建模与智能支持

AI增强生物力学建模：PINN框架用于电激活图重建和参数估计；深度神经网络作为有限元参数反演的代理模型；机器学习加速CFD求解（CT-FFR计算加速80倍以上）；物理约束图神经网络融合形态与边界条件，实现亚秒级FFR预测。Kissas等利用PINN从稀疏4D Flow MRI中恢复速度、压力及Windkessel参数，用于模型校准。

流程化智能支持：LLMs作为控制器，协调分割、仿真、报告生成等工具，提升数字孪生工作流的交互性和协同效率。多智能体框架（如Agent Hospital、AgentClinic）模拟临床环境，支持多轮交互与动态决策。

4.1 ECG领域：ECG-FM在心律失常、LVEF预测等任务上优于以往专用模型；MERL实现零样本ECG分类，无需下游训练样本。

4.2  CXR心功能筛查：Ueda等模型在外部测试中，LVEF<40%、中重度二尖瓣反流、中重度三尖瓣反流的AUC均处于较高水平（原文未列出具体数值，但表述为“均取得较高AUC”）。

4.3  超声心动图：EchoPrime在23项基准任务上优于既往FMs和任务特异模型，17项结构与功能分类任务的平均AUC达0.92。

4.4  CCTA冠心病评估：Lin等DL系统分析速度显著快于人工，总斑块体积和阻塞性狭窄与未来心肌梗死风险相关。

4.5  CMR参数反演：Chen等AI模型预测左室心肌材料参数（Ca和Cb），健康人群平均相对误差<5%，但病理样本误差更高，需进一步验证。

4.6  CT-FFR计算：机器学习代理模型将计算时间从196.3秒降至2.4秒，诊断准确率为83.2%（以侵入式FFR≤0.80为金标准）；条件物理约束图神经网络实现亚秒级推理，与实测FFR相关性较高。

4.7  电激活图重建：PINN框架在稀疏采点条件下优于线性插值和高斯过程回归，并主动推荐新增测点信息量。

这些结果充分表明，多模态FMs在心脏疾病识别、功能量化及生物力学快速求解中的优越性能和临床转化潜力。

5.1 局限性

跨中心泛化能力仍不足：尽管FMs在多中心数据上有所改进，但设备差异、成像协议、人群异质性仍导致性能波动，亟需更鲁棒的域泛化和域自适应方法。

缺失模态补全问题：真实临床数据常缺失某一模态（如无CMR、无侵入式标测）。如何在不完整模态条件下稳定推理，仍是实际应用难点。

不确定性量化薄弱：大多数FMs输出点估计，缺乏对预测置信度的可靠度量。在临床高风险决策中，不确定性量化至关重要。

临床转化验证不足：多数研究仍处于回顾性、离线评估阶段，缺乏前瞻性、实时性、干预性临床试验证据。

5.2  未来发展方向

数据驱动与机理驱动的深度融合：发展可嵌入物理偏微分方程、生物力学本构模型的多模态FMs，提升外推能力和物理一致性。PINN和物理约束图神经网络是重要方向。

面向异构、不完整、动态数据的鲁棒FMs：研发支持模态缺失、噪声标签、动态更新的持续学习与元学习框架。

跨尺度生物力学建模：连接分子、细胞、组织、器官到系统级模型，融合组学、影像与生理参数，构建多尺度心脏数字孪生。

临床可交互数字孪生系统：基于LLMs和多智能体框架，实现自然语言驱动的模型调度、参数设置、仿真交互与决策支持，推动数字孪生心脏嵌入临床工作流。

严格的验证、确认与不确定性量化体系：建立多中心、前瞻性、随机对照试验标准，制定心脏数字孪生的临床验证指南和监管路径。