【学术前沿】智能AI 3D手持式光声技术:利用深度学习增强手持式3D光声和超声重建应用与探索

今天的文章中，超哥为大家介绍一种名为MoGLo-Net的深度学习方法，用于增强手持式3D光声和超声（PAUS）成像的重建能力。传统的PAUS系统通常存在视野狭窄、难以可视化复杂三维结构的限制。虽然3D自由手持技术通过对齐连续的2D图像来实现3D重建，但其面临准确估算扫描运动的挑战。MoGLo-Net通过结合全球-局部自注意机制，改进了运动估算的精度，尤其是在平面外运动（如升降运动）估算方面，避免了依赖外部传感器。该模型通过基于ResNet的编码器、LSTM模块和补丁相关性操作来估算相对运动向量，从而生成高质量的3D图像。实验结果表明，MoGLo-Net在相对误差、累积误差和3D重建的视觉精度上，超越了现有最先进的方法。此外，本研究还扩展了该模型的应用，支持基于B模式、Power Doppler（PD）和光声（PA）数据的血管3D重建，进一步提升了临床血管成像的准确性。MoGLo-Net的创新为无传感器3D超声成像提供了一种高效、便捷的解决方案，具有广泛的临床应用前景。

超声（US）是一种广泛应用的诊断工具，能够帮助医生进行各种医疗操作，如活检和注射，并在动态监测血管系统方面发挥关键作用。光声超声（PAUS）技术将传统的超声与激光脉冲结合，能够提供更加细致的成像，尤其在血管可视化方面具有重要应用。手持式PAUS系统虽然灵活，但其主要挑战在于如何在不依赖笨重外部传感器的情况下，精确跟踪运动。本研究提出了MoGLo-Net模型，以解决这一问题。

3D超声成像的挑战

传统手持PAUS系统的视野较窄，仅能提供2D横截面的图像，限制了复杂3D结构的可视化。尽管3D自由手持技术通过逐帧对齐2D图像可以克服部分限制，但在精确估算扫描运动以进行正确的3D重建时，仍面临较大挑战。尤其是在处理平面外运动时，相邻帧之间的相关性较低，给运动估算带来困难。

基于运动的学习网络（MoGLo-Net）结构概述。可训练的组件通过颜色填充的箭头表示，表示神经网络。矩形或立方体形状分别表示2D图像或3D张量。该模型处理两个B模式序列，并输出相对运动向量的估计值 ∆ˆθi。位于虚线框中的向量或特征图贡献于损失函数，而最终的估计结果有助于将2D图像组装成3D体积。

MoGLo-Net：基于运动的深度学习网络

本研究提出了MoGLo-Net，一个深度学习模型，旨在增强从连续的2D B模式图像中重建3D PAUS图像的能力。该网络结合了全球-局部自注意机制，以更好地跟踪和估算图像帧中的运动。采用长短期记忆（LSTM）模块进一步帮助提取连续帧之间的运动向量，使得模型能够处理复杂的3D重建任务。

PAUS数据采集的实验设置和可视化结果。(a) 超声机与激光系统连接。(b) 和 (c) 传感器设置。

模型概述

MoGLo-Net模型采用基于ResNet的编码器块，并设计了定制的损失函数，确保在不需要外部传感器的情况下能够准确估计运动。该模型的关键组成部分包括：

全球-局部注意机制：这一机制通过增强图像中的全球和局部上下文信息，突出了关键区域，有助于运动估算。
基于补丁的相关性操作：通过提取相邻帧之间的相关性，改进了运动跟踪的精度。
运动估算：利用全球和局部特征，MoGLo-Net能够预测六维的相对运动向量，这有助于构建3D体积。

使用超声B模式采集的两个3D重建案例。每个案例从两个不同的方向视角展示。3D真实图像通过使用真实位置堆叠2D B模式图像构建。不同颜色的轮廓3D图形（没有填充）是使用来自各种深度学习模型的估计位置构建的，用于将它们的轨迹与真实数据进行比较。

实验和结果

该模型通过多个数据集进行了严格的评估，结果表明其在多项指标上优于现有的最先进方法。主要结果包括：

定量结果：MoGLo-Net在相对误差、累积误差、相关性、最终漂移等多个指标上都表现最好。
定性结果：在视觉输出方面，MoGLo-Net生成的3D体积与真实数据非常接近，远超其他模型。
消融实验：通过去除MoGLo-Net的关键组件（如全球-局部注意模块或相关性操作），证明每个部分对整体精度都有显著贡献。

使用PAUS采集的两个3D血管重建案例。每个案例都通过最大振幅投影（mAP）根据深度进行可视化，并展示相应的B模式横截面图像。

扩展应用：超声和光声数据

本研究还扩展了MoGLo-Net的能力，不仅对B模式图像进行运动估算，还结合了Power Doppler（PD）和光声（PA）图像，实现了血管的3D重建。这一扩展提升了血管成像的准确性，为临床诊断和干预提供了更多可能。

(a) 通过对图2中编码特征图沿z轴的相关体积进行平均得到的2D图；(b) 以相同方式从B模式图像中得到的对应2D图。(c) 和 (d) 分别是在缓慢和快速升降运动条件下，全球-局部注意模块的补丁级注意力得分，叠加在相应的B模式图像上。

损失函数与训练

研究强调了损失函数在模型训练中的重要性，主要包括：

基于运动的平均绝对误差（MMAE）：该函数通过加权运动幅度较大的误差，确保快速运动的误差被优先考虑。
相关性损失：这一损失函数不受尺度影响，确保模型在运动估算中的稳定性。
Margin Triplet损失：通过对比学习增强了特征图的相似度，特别在扫描条件变化时，帮助模型更好地收敛。

使用公开开放数据集的两个3D重建案例。3D真实图像通过使用真实位置堆叠2D B模式图像构建。不同颜色的轮廓3D图形（没有填充）是使用来自各种深度学习模型的估计位置构建的，用于将它们的轨迹与真实数据进行比较。

结论

MoGLo-Net为超声成像技术带来了显著进步，提供了一种无传感器的3D重建软件解决方案。该方法不需要额外的跟踪传感器，使得技术更具便携性和成本效益。研究建议进一步改进，如整合组织解剖信息或提升对任意运动的估算能力，以增强该模型的临床应用。

参考文献

Lee, SiYeoul, SeonHo Kim, Minkyung Seo, SeongKyu Park, Salehin Imrus, Kambaluru Ashok, DongEon Lee et al. "Enhancing Free-hand 3D Photoacoustic and Ultrasound Reconstruction using Deep Learning." arXiv preprint arXiv:2502.03505 (2025).

*声明*

　　本公众号注明原创的内容权利属于本服务或本服务权利人所有，未经本服务或本服务权利人授权，任何人不得擅自使用（包括但不限于复制、传播、展示、镜像、上载、下载、转载、摘编等）或许可他人使用上述知识产权的。已经本服务或本服务权利人授权使用作品的，应在授权范围内使用，并注明作者来源。否则，将依法追究其法律责任。

根据我国《著作权法》第22条的第1款关于“合理引用”有如下规定：为了介绍、评论某一作品或者说明某一问题，在作品中可以适当引用他人公开发表的作品；在这种情况下使用他人作品，可以不经著作权人许可，不向其支付报酬，但应当注明作者姓名和作品名称，这被称为合理引用。本文涉及的所有总结性内容均属作者创作成果，引文会标出出处，严禁个人获组织对本公众号文章进行恶意投诉，一经证实将追溯其法律责任。

本文由数字诊疗分会编辑转载，扫描下方二维码查看更多内容~

扫码关注

数字诊疗分会

获取更多精彩资讯