
乳腺癌早筛高度依赖钼靶影像,但乳腺组织结构复杂、密度差异大,容易带来假阳性和误判。传统AI方法多只看患侧的CC位和MLO位两张图(图1),而放射科医生在真实诊断中,通常会同时对比患侧与健侧,从双侧对称性中寻找异常。

图1 增强乳腺钼靶示例图 (案例A所示:因为腺体折叠,因血液流动造成的背景增强等原因导致肿块在影像上难以分辨。案例B所示:减影图和低能图提供肿块不同的信息)
本文提出了NaFV-Net:Adversarial Four-view Network,一个面向乳腺钼靶良恶性分类的四视角对抗学习网络。它不仅看患侧,还把健侧图像也纳入模型,让AI像医生一样“左右对照、双视角联判”。NaFV-Net最大的价值在于:它让AI不再“孤立地看病灶”,而是像医生一样结合双侧乳腺、多个视角、病灶位置与组织对称性进行综合判断。这项工作也说明,医学AI的突破不只来自更大的模型,还来自更贴近临床思维的建模方式。让模型学会“看对侧”,也许正是乳腺癌智能筛查迈向更可靠、更精准诊断的重要一步。
研究成果以「NaFV-Net: An Adversarial Four-view Network for Mammogram Classification」为题,已被国际顶尖人工智能会议Proceedings of the 39th AAAI Conference on Artificial Intelligence (AAAI’25) 接受发表。

论文链接:https://ojs.aaai.org/index.php/AAAI/article/view/35041
研究亮点
模型引入了四视角信息融合:同时使用患侧与健侧的CC、MLO视图,而不是只依赖患侧双视图。
作者提出了一个更具医学意义的对抗样本生成方式:不再随机添加噪声,而是利用同一患者健侧乳腺图像,并将患侧病灶区域以软掩码方式融合到健侧对称位置,构造“真实感更强”的对抗训练样本。
模型把病灶分割、对抗样本生成、四视角分类整合成一个完整流程,使模型既能定位病灶,又能判断良恶性。
实验显示NaFV-Net在内部数据集和公开数据集上均超过多个SOTA方法,尤其在AUC、Precision、Recall三项分类指标上取得领先。

双引擎数据底座:从同济真实临床到公开CEM战场

为了验证NaFV-Net的真实临床价值,作者没有只停留在单一数据源上,而是构建了“内部真实临床数据 + 外部公开数据集”的双重验证体系。
首先,模型在来自同济医院的内部数据集上进行训练与验证。该数据集包含479名乳腺癌患者的对比增强乳腺钼靶影像,其中284例为恶性病例,195例为良性病例。更重要的是,每位患者都具备完整的多视角影像信息:包括4张RC图像和4张LE图像。其中,RC图像更擅长显示病灶位置与边界,LE图像则保留了更多病灶纹理和形态信息,两者结合为模型提供了“位置+纹理”的双重信息基础。
在外部验证方面,研究采用了来自埃及的公开CDD-CESM数据集。作者指出,这是目前少见的公开对比增强乳腺钼靶数据集。该数据集中包含乳腺肿块图像、非肿块强化图像,以及对应的医学报告和病理诊断。最终用于外部验证的是具备完整4张RC图像和4张LE图像的病例,其中包括167例阳性病例和92例阴性病例。
在标签设定上,研究沿用了乳腺癌影像分类中的常见做法:将BI-RADS 1、2、3归为正常或良性,将BI-RADS 4、5、6归为恶性。实验中,数据按照7:2:1划分为训练集、验证集和测试集,并采用10折交叉验证评估模型表现,确保结果更加稳定可靠。
这一数据设计的亮点在于:NaFV-Net不是只在“实验室数据”上证明自己,而是同时经受了真实医院数据和公开外部数据的双重考验。内部数据验证模型的临床适配能力,公开数据检验模型的泛化能力,两者共同支撑了其在乳腺良恶性分类任务中的可靠性。

四视角AI引擎启动:NaFV-Net让乳腺影像诊断进入“左右互搏”时代

NaFV-Net的核心思路,是让AI不再只盯着病灶一侧“单点判断”,而是像经验丰富的放射科医生一样,同时观察患侧与健侧、CC位与MLO位,从双侧对称性、多视角结构和病灶局部特征中综合判断乳腺肿块的良恶性。整个模型由三大模块组成:乳腺肿块分割、真实对抗样本生成、四视角分类网络。

图2 NaFV-Net网络的整体架构
首先是乳腺肿块分割模块(图2)。模型先输入四个RC视图图像,通过CNN编码器提取基础特征。RC图像的优势在于能够较清晰地呈现病灶位置和边界,因此非常适合用于病灶定位。随后,模型引入非对称敏感机制,对左右乳腺图像进行比较。由于人体乳腺整体具有一定对称性,而病灶往往会打破这种对称结构,因此模型可以通过“左右差异”更精准地捕捉异常区域。接着,模型利用自注意力和交叉注意力机制,把CC视角和MLO视角中的信息进一步融合,既关注局部病灶,也理解整体乳腺结构,最终输出病灶分割结果。
第二部分是NaFV-Net最具创新性的设计(图3):真实医学语义驱动的对抗样本生成模块。传统对抗学习往往通过随机扰动或人工噪声制造对抗样本,但这类样本缺乏医学解释性。NaFV-Net则直接利用同一患者的健侧乳腺图像:模型先从患侧图像中分割出病灶区域,再通过软掩码将病灶区域融合到健侧对称位置,生成更接近真实临床场景的对抗样本。这样构造出的样本不是“数学噪声”,而是带有真实乳腺组织背景和医学意义的扰动,可以帮助模型降低过度自信,提升鲁棒性。

图3 对抗样本生成并增加位置扰动示例图
第三部分是四视角乳腺良恶性分类网络(图2)。在分类阶段,模型同时输入患侧CC、患侧MLO、健侧CC、健侧MLO四张图像,将它们作为一个完整诊断单元进行学习。特征提取部分基于微调后的DINOv2,同时融合CNN和Transformer的优势:CNN擅长捕捉局部纹理、边缘和形态细节,Transformer则擅长建模长距离关系和全局结构。模型内部设计了MedCB、MedTB和MedCTB等模块,用于逐层提取医学图像特征、融合多频信息,并建立CC与MLO之间、患侧与健侧之间的跨视角联系。
整体来看,NaFV-Net不是简单地“堆模型”,而是把临床诊断逻辑嵌入AI架构:先定位病灶,再生成具备医学意义的对抗样本,最后用四视角信息完成良恶性判别。它让模型既能看清病灶在哪里,也能理解病灶与正常乳腺组织之间的差异,从而实现更精准、更稳健的乳腺癌辅助诊断。

实验结果:内外双战场封神,NaFV-Net用硬指标打穿乳腺AI天花板

在实验设计上,作者从两个维度验证NaFV-Net的实力:一是乳腺良恶性分类能力,二是病灶区域分割能力。也就是说,模型不仅要判断“是不是恶性”,还要知道“病灶在哪里”。这种双任务验证更贴近真实临床场景,也更能体现模型的综合诊断价值。
首先看最核心的乳腺良恶性分类结果。在同济医院内部数据集上,NaFV-Net取得了非常亮眼的表现:AUC达到0.935,Precision达到0.902,Recall达到0.899。这意味着模型不仅整体判别能力强,而且在减少误判、提高检出能力方面都表现稳定。相比Deep MIL、GMIC、PHBreast、BRAIxMVCCL、DCHA-Net等多个代表性方法,NaFV-Net在三项核心指标上全部领先,尤其AUC最高提升幅度可达22.4%。

图4 在内部数据集和公开数据集上:我们的方法在多种指标上都取得了最好的结果
在公开CDD-CESM数据集上,NaFV-Net同样保持领先优势,取得了AUC 0.883、Precision 0.865、Recall 0.848的结果。外部数据集通常更考验模型泛化能力,因为数据来源、成像条件和病例分布都可能不同。NaFV-Net依然超过所有对比模型,说明它不是只在单一医院数据上“刷分”,而是具备更强的跨数据集适应能力。
更值得注意的是,当前多数对比方法仍以单视图或双视图为主,而NaFV-Net通过四视角设计,把患侧与健侧、CC位与MLO位全部纳入判断。这种“全局对照式诊断”让模型能够获得更多组织对称性、病灶形态和多视角结构信息,因此在分类性能上实现了明显突破。
在病灶分割任务上,NaFV-Net同样表现强势。与UNet、UNet++、TransUNet、UNext、SwinUNet、MedSAM等医学图像分割方法相比,NaFV-Net取得了Dice 88.18%和mIoU 79.16%的最佳结果。相比经典UNet,Dice提升约10.7%,mIoU提升约10.0%;即便面对SwinUNet等较新的强基线方法,NaFV-Net仍然保持优势。这说明其非对称敏感机制与注意力模块确实能更精准地锁定乳腺病灶区域。

图5 本方法输出的肿块结果图相较于近些年来其他先进的国内外方法,无论是CC视图还是MLO视图都更符合该病例的真实标签
消融实验进一步揭示了NaFV-Net为什么强。去掉非对称敏感模块后,分割Dice和分类AUC都会下降;去掉注意力模块后,性能下降更加明显,说明模型对左右乳腺差异和跨视角信息的捕捉是关键。分类阶段中,如果只使用患侧CC和MLO两张图,而不引入健侧图像,AUC会下降约5.3%;如果不对健侧位置掩码进行扰动,AUC也会下降约2.0%。这证明“四视角 + 对抗扰动 + 位置掩码”不是锦上添花,而是模型性能提升的核心驱动力。
此外,作者还验证了DINOv2微调的作用。未在乳腺钼靶数据上微调时,模型AUC为91.47%;经过公开乳腺钼靶数据集微调后,AUC提升至93.52%。这说明即使是强大的通用视觉基础模型,也需要经过医学影像领域适配,才能真正释放临床诊断潜力。
文章中的可视化案例也很有说服力:某一病例中,医生初步判断为“更倾向恶性肿瘤改变,BI-RADS 4c”,但后续病理结果显示为良性纤维腺瘤。NaFV-Net不仅给出了正确分类,还能在LE图像上生成热力图并标出病灶区域,帮助医生更精准地理解模型判断依据。这个案例展示了它作为临床辅助诊断工具的潜力:不仅会“给答案”,还能告诉医生“为什么”。


图6 在武汉协和医院的使用视频
总体来看,NaFV-Net在分类、分割、消融和可视化验证中全面占优。它的实验结果传递出一个清晰信号:当AI真正学会像医生一样进行双侧对照、多视角分析和病灶级推理,乳腺影像智能诊断的上限就被重新拉高了。
详细内容请参见
Feng Lu, Yuxiang Hou, Wei Li, Xiangying Yang, Haibo Zheng, Wenxi Luo, Leqing Chen, Yuyang Cao, Xiaofei Liao, Yu Zhang, Fan Yang, Albert Zomaya, Hai Jin, "NaFV-Net: An Adversarial Four-view Network for Mammogram Classification", In Proceedings of the 39th AAAI Conference on Artificial Intelligence (AAAI 2025), February 25-March 4, 2025, Philadelphia, USA, pp. 28213-28221.
https://doi.org/10.1609/aaai.v39i27.35041
往期 · 回顾










夜雨聆风