【AI多模态影像与肝癌诊治】《中华肝脏外科手术学》:基于AI的多模态影像在肝癌诊治中应用及面临挑战

本文作者

作者：唐玥　陈家璐　覃德龙　李宗龙　汤朝晖　全志伟

单位：上海交通大学医学院附属新华医院普通外科

引用本文

唐玥, 陈家璐, 覃德龙, 等. 基于AI 的多模态影像在肝癌诊治中应用及面临挑战[J/OL]. 中华肝脏外科手术学电子杂志, 2026, 15(1): 4-9. DOI: 10.3877/cma.j.issn.2095-3232.2026.01.002.

专家简介

汤朝晖，临床医学博士，上海交通大学医学院附属新华医院普外科主任医师。兼任中国医师协会外科医师分会胆道外科专家工作组副组长，中华医学会外科学分会脾及门静脉高压外科学组委员，国家卫生健康委ERAS 专家委员会、能力建设和继续教育外科学专家委员会委员，海峡两岸医药交流协会肝胆专委会副主任委员、中国抗癌协会肝癌专业委员会委员，国际肝胆胰协会会员及中国分会外科委员。担任《中国普通外科杂志》《腹部外科杂志》副主编，《中华外科杂志》《中华消化外科杂志》《中华肝脏外科手术学电子杂志》《中华转移性肿瘤杂志》等杂志编委，美国芝加哥大学医学中心访问学者。

摘要

肝细胞癌（HCC）是全球范围内高发且致死率较高的恶性肿瘤之一，对人类健康构成重大威胁。近年来，人工智能（AI）和多模态影像技术在肝癌诊断与治疗中的应用取得显著进展。AI技术，特别是深度学习和传统机器学习方法，应用于影像大数据分析，在肝癌的早期筛查、分期及个性化治疗等方面表现出较高的诊断精确性和治疗决策支持能力。同时，多模态影像技术（如CT、MRI、PETCT等）在术前评估、手术规划和术中导航方面提高了诊断效率和手术安全性。本文综述了基于AI的多模态影像技术在HCC诊疗中的最新进展，分析了其在临床实践中的潜在价值及面临的挑战。未来，随着AI模型的进一步优化和MDT深入，AI与多模态影像技术将为HCC患者提供更为精准的治疗方案和更好的预后评估。

肝细胞癌（HCC）是全球范围内常见的致命性恶性肿瘤之一，对人类生命健康构成严重威胁。HCC的发病率在东亚、东南亚和北非地区尤为高，在我国位居恶性肿瘤的第四位，且其致死率高居第三[1,2]。尽管手术切除是治疗HCC的一种有效方法，但患者复发率较高，5年生存率仍然较低，仅为19.6%[3]。因此，早期诊断、精准治疗和个体化管理显得尤为重要。人工智能（artificial intelligence，AI）作为一种模仿人类智能的技术，能够通过机器学习和深度学习等方法，从大量数据中自动提取特征，进行预测和决策。AI在影像学中应用广泛，能够通过自动化的方式分析大量医学影像数据，明显提高疾病的诊断准确率与效率。例如，在肺结节的识别中，AI可以检测到肉眼可能忽视的小结节，明显提高诊断的灵敏度和准确性。AI不仅可以提高识别率，还能帮助医师快速分析并做出诊断决策，极大地减轻了医师的工作负担，提升了诊疗效率。

在影像分析中，多模态影像技术结合了多种成像方法，如CT、MRI、超声、PET-CT等，通过综合各类成像模式的信息，提供更全面、更准确的诊断依据。这些影像技术能够从不同角度对HCC进行分析，帮助医师更加全面地评估病情。基于AI，多模态影像技术能够对病灶进行精确识别、分期评估和早期诊断。近年来，随着医疗科技的发展，HCC治疗领域正不断引入新的技术与方法，尤其是在影像诊断和AI辅助决策方面，带来了明显的改变[4]。在AI和多模态影像技术的推动下，HCC精准诊疗正迎来新机遇。AI算法，特别是深度学习技术，在影像数据分析中展现了巨大的潜力，尤其在病灶自动识别、分期评估和早期诊断等方面，提供了更高的准确性[5]。同时，AI与多模态影像技术的结合有望为HCC的早期识别和定位提供更全面的信息[6]。本研究将系统探讨AI与多模态影像技术在HCC诊疗中的应用进展，并分析其可能的优势及面临的挑战，以期为该领域的进一步发展提供新的视角。

一、概述

多模态影像技术在HCC的诊断中发挥着重要作用，主要包括CT、MRI、超声成像和PET-CT等，每种模式在HCC诊断中具有不同的应用优势。CT可快速定位病灶，对于骨骼和肝脏结构的成像效果良好，适用于早期诊断和分期评估，特别是对于肝脏病变的初步筛查。MRI在软组织成像方面表现突出，能够提供更为细致的肝脏结构信息，帮助医师准确评估肿瘤的分期和范围。而PET-CT则常用于肿瘤的代谢活性评估，能够通过观察肿瘤对放射性药物的吸收情况，帮助判断肿瘤的性质和进展，为HCC的分期和治疗决策提供重要信息。多模态影像技术通过联合多种成像技术，融合不同模态图像的信息，从而实现影像信息的互补、丰富与完善[6]。AI技术，尤其是深度学习和机器学习，已在影像分析中得到广泛应用。基于复杂的神经网络结构的深度学习在HCC病灶识别、边界分割及特征提取方面显示出优异性能[7]。

二、基于AI的多模态影像在HCC诊断中的应用

在HCC的诊断过程中，多模态影像技术的引入和发展起到了重要推动作用，不同模态影像技术如CT、MRI和超声造影等的融合应用明显提高了HCC诊疗中的病灶检出率和诊断准确性[8,9]。当多模态影像技术结合AI时，它可以学习并优化以往数据，提高诊断精度并满足更高的临床需求。Menegotto等[10]结合影像和结构化健康数据，利用基于AI的多模态影像技术开发了HCC的计算机辅助诊断系统。该系统通过融合CT影像、超声数据及患者的临床数据（如血清学标志物和病史信息），并应用深度学习技术训练模型，自动识别并评估影像数据中的肿瘤特征，明显提高了HCC的早期发现率。Zhen等[11]通过MRI和临床数据结合的深度学习模型，研究了肝肿瘤的准确诊断。该研究构建了一个基于MRI影像的深度神经网络，整合了肝肿瘤的形态、血流特征等信息，并与患者的临床数据结合进行训练，从而实现了对不同类型肝肿瘤的准确区分，特别是在识别早期HCC方面，比传统影像学方法具有更高的灵敏度和特异度。Gao等[12]采用了多期增强CT影像与临床数据的深度学习模型，进行恶性肝肿瘤的鉴别诊断。研究者利用CT影像的不同增强阶段数据，包括动脉期、门静脉期和延迟期图像，结合患者的临床信息，开发了一种基于多期CT影像和临床数据的深度学习算法，明显提高了肿瘤的诊断准确性，尤其在鉴别HCC和其他肝肿瘤方面表现优异。此外，Wu等[13]研究了基于多期增强MRI影像和深度学习技术的肝脏成像报告和数据（Liver Imaging Reporting and Data System，LI-RADS）分级系统，旨在通过基于AI的多模态影像技术实现对肝肿瘤的精确分型，特别是LR-3和LR-4/LR-5肿瘤的区分。通过深度学习算法，结合多期MRI数据，AI能够更准确地分类肝肿瘤，优化了传统LI-RADS系统的诊断性能，尤其在早期HCC与良性病变的区分方面表现优异。Xu等[14]通过分析多期CT影像数据，并结合患者的临床信息，提出了一种基于AI的多模态影像技术辅助的LI-RADS分级模型。该模型不仅能提高HCC的检测准确性，还能优化肝脏肿瘤的分级和分类，减少了放射科医师对影像学判断的主观偏差。

对于HCC的影像学诊断，微血管浸润（microvascular invasion，MVI）的判断一直是一个技术难题。MVI通常与肿瘤的恶性程度和预后密切相关，但由于肿瘤与血管的边界不清晰，且病变区域可能存在较大异质性，传统影像学方法很难准确判断MVI的程度。CT和MRI在显示血管浸润方面存在一定局限性，尤其是在低血流或微小血管病变的检测上，观察者之间存在着相当大的差异，即使对于更有经验的放射科医师也是如此[15]。例如，研究表明传统影像学方法在HCC患者血管浸润的诊断中准确率仅为80%左右[16]。随着多模态影像技术的引入，结合CT、MRI和超声等多种影像模态，可以提供更全面的视角，增强了HCC血管浸润诊断的准确性。Deng等[17]则提出了一个双分支多模态影像贡献感知网络（TripNet），将CT与MRI影像数据相结合，结合AI算法，用于预测HCC的MVI。该网络模型能够综合不同影像数据中的多重信息，增强了对HCC的MVI预测能力，尤其在小样本数据集上表现出了优异的性能，明显提高了HCC诊断的准确性和可靠性。

针对一些临床检查的难题，多模态影像技术可以提供更全面的角度，捕捉代表病变的关键特征，从而实现更精准的分割。例如，面对无法用造影剂的患者，整合多模态影像的互补信息、多任务间的相互约束以及多尺度特征提取模块，可以有效捕捉代表病变的关键特征，从而实现更精准的分割[18]。对于常规超声显示不佳的肝肿瘤情况，多模态影像技术可以改善显示情况,选择合适的穿刺点,从而提高穿刺困难病灶的活检准确率[19]。

虽然当前的研究大多集中于单一影像技术与AI的结合，但影像技术与AI的结合确实取得了不错的进展，并表现出巨大的潜力。在此基础上，未来多模态影像技术与AI的结合将成为HCC诊疗的必然趋势。基于AI的多模态影像技术不仅在HCC的诊断和分期中发挥了重要作用，明显提高了诊断准确性，而且在一些临床难题的解决中也表现出了优异的效果。

三、基于AI的多模态影像在HCC治疗中的应用

在HCC的治疗中，AI和多模态影像技术的结合提供了新的临床解决方案。首先针对HCC的手术治疗，AI与多模态影像技术将三维可视化和增强现实等多种方法结合，提升了术前评估、手术规划及术中导航的精准度，从而减少手术时间、降低术中出血量，提高了手术的安全性和准确性[20,21]。尹大龙和施舒鹏[20]研究指出，结合三维可视化、增强现实技术以及AI模型，能够在术前进行精准的肿瘤定位和预测手术风险，帮助制定个性化的手术计划，并在手术过程中提供实时导航，明显提高了手术的安全性和精确性。Sun等[22]整合了临床指标和CT图像，改进的深度学习模型预测经动脉化疗栓塞的反应的准确率约为98.0%。其次，在热消融治疗中，各种影像引导方式具有各自的特点，如分辨率、实时性和经济性方面的差异，但目前在临床当中尚没有一种影像学方法能够完全满足临床引导的实际需求[23]。各种影像学方法各有优劣，超声和MRI引导可以实时引导插入消融针的过程，CT引导排除了肺部气体、肠道气体、心脏等干扰和遮挡因素，可进行全肝病灶的识别和引导，避免了超声引导下不可见盲区[24]。张睿等[25]总结了肝肿瘤热消融治疗穿刺路径规划的算法，提出结合AI技术的多模态影像技术能够进一步提升热消融治疗的精准性，减少治疗误差，并提高成功率。

最后，随着免疫治疗、靶向治疗等全身治疗方式与基因突变等基础研究的深入，聚焦于肿瘤生理与分子层面的分子影像学逐渐兴起，通过18F-氟代脱氧葡萄糖（18F-fluorode-oxyglucose，18F-FDG）PET-CT、双能CT等成像技术分析肿瘤代谢信息，能够对病变的分期、基因突变等情况提供丰富的功能信息。AI联合MRI、近红外荧光、PET-CT等分子影像技术，能更全面地解析肿瘤的性质和特征。Lipkova等[26]认为，AI在肿瘤学中的应用正在向多模态数据集成转变，尤其是在分子影像领域。通过结合18F-FDGPET-CT、双能CT等技术，AI能够为肿瘤代谢信息提供更加全面的解析，提供肿瘤的分期信息，并揭示肿瘤的基因突变等分子特征。尽管在HCC免疫分型方面，AI与MRI组学特征已展现出预测免疫治疗疗效的潜力，但该技术在分子影像领域仍处于初步阶段。

四、基于AI的多模态影像在HCC预后预测中的应用

近年来，AI结合影像学在HCC预后预测中展现出巨大潜力。基于单一影像技术，AI已在生存预测中取得了一定成效。例如，基于CT图像的深度学习模型，在692例患者的对比增强CT图像上应用3D卷积神经网络提取特征，模型在内部测试中达到了C指数0.824，显示出较强的预测能力[27]。Xia等[28]开发了基于CT图像的深度学习模型，结合时空信息与临床变量，明显提高了对患者生存期的预测能力。这一结果表明，CT影像结合AI技术可以有效提高生存期预测的准确性。同时，基于MRI图像的AI模型同样在预后预测中展现出积极成果。一项双中心研究分析了564例手术切除HCC患者的MRI数据，采用3D卷积神经网络预测5年生存期，模型在预测中取得了C指数0.746，优于传统临床模型[29]。

单一影像技术结合AI在HCC预后预测中已经展现出优势，然而，多模态影像技术在HCC预后预测中的巨大潜力尚未完全挖掘。多模态影像技术通过融合不同类型的影像数据（如CT、MRI、超声、PET-CT等），能够综合多维度信息，提供更全面和精准的诊断依据[5]。这一融合使得影像数据的互补性得以发挥，从而提高了HCC预后评估的准确性和可靠性。借助AI算法，这些多模态影像数据不仅能够提升病灶的识别率，还能帮助医师更全面地评估患者的临床情况，为早期干预和精准治疗提供坚实基础。因此，多模态影像技术在HCC预后预测中可能具有更大的应用潜力，未来有望进一步推动该领域的诊疗发展。

五、基于AI的多模态影像面临的挑战

尽管基于AI的多模态影像技术在HCC诊疗中的应用前景广阔，但实际应用中依然面临诸多挑战，主要体现在数据整合与互通、模型的泛化能力与数据偏差、伦理与法律问题、临床验证与适应性等方面。首先，医疗系统内数据孤岛现象严重，不同医院的影像资料难以互通，这使得AI系统的数据覆盖率和全面性受限。未来应加速建立全国统一的影像数据共享平台，实现早期筛查、诊断及随访信息的完整积累和互通。这导致AI模型在不同场景下的泛化能力受到限制，需进一步优化数据预处理及模型适配机制。同时，基于AI的多模态影像技术的实际效果需通过大样本量的多中心临床试验验证，以确保模型在真实世界中的有效性。这也要求临床人员需获得必要的AI技能培训。AI的发展同时也伴随着伦理与法律的挑战，例如隐私保护、数据安全、可解释性、患者信任等方面。综上所述，基于AI的多模态影像在HCC诊疗中的应用，为疾病的诊治与预后推测提供了有力支持。然而，未来的发展需要克服数据互通、模型泛化、伦理问题等多方面挑战。随着基础研究的深入及临床试验的推动，AI与影像学的跨学科融合必将进一步提升HCC诊疗水平，为患者带来更优质的医疗服务。

（参考文献略）

扫码获取PDF全文