做AI+病理的可以看看北航这篇iScience用五维高光谱光场做结直肠癌分析的新框架 pmc

做AI+病理的可以看看北航这篇iScience用五维高光谱光场做结直肠癌分析的新框架 pmc_PMC12303046

高维病理影像分析是精准医疗时代的新挑战

在精准医疗时代，病理诊断作为结直肠癌诊疗的“金标准”，其分析维度正面临升级。传统数字病理主要依赖二维单张图像，信息维度有限，难以全面解析肿瘤微环境的复杂空间与光谱特征。高光谱光场显微镜能够同时采集多角度、多光谱的五维数据，理论上可提供更丰富的组织信息。然而，如何高效处理这些高维数据并从中提取具有临床价值的洞察，是当前面临的核心挑战。针对这一问题，Ruixuan Cong团队在《iScience》发表研究，旨在利用五维高光谱光场数据，开发一种能够同时实现结直肠癌细胞自动分类与病理报告生成的深度学习方法，以突破传统二维、三维乃至四维分析方法的局限。

【多模态影像+深度学习】病理图像智能分析课题设计

扫码免费获取1V1定制方案设计

一、Highlights

• • 首次将5D高光谱光场显微成像技术应用于结直肠癌病理分析，整合了空间、角度和光谱多维信息。

• • 设计了三重可分离Transformer编码器，通过解耦5D数据并应用自注意力机制，高效提取高光谱光场特征。

• • 引入文本编码器-解码器，将图像特征与语言对齐，实现了细胞自动分类和病理报告生成。

• • 在五种CRC细胞分类任务中，性能超越2D、3D和4D基线方法，精度和F1分数分别提升高达4.88%和4.21%。

• • 构建了完整的三阶段训练流程，证明了高光谱光场显微技术在生物医学诊断和个性化治疗中的巨大潜力。

二、研究方案与思路

（1）数据采集与预处理：搭建高光谱光场显微成像系统，采集H&E染色的结直肠癌全切片图像，并进行暗场校准、白参考校准及标准化预处理，生成5D数据样本。

（2）网络模型设计：提出三重可分离Transformer编码器，将5D高光谱光场数据解耦为低维分量并应用自注意力进行全局交互，以高效提取多维融合特征。

（3）多任务学习框架构建：引入文本编码器-解码器，通过三阶段训练流程对齐图像特征与语言，同时实现细胞分类和病理描述文本的自动生成。

（4）实验验证与对比：在自建数据集上，将所提方法与2D、3D高光谱及4D光场基线方法进行对比，验证其在细胞分类精度和病理报告生成方面的优越性。

多维度成像系统为病理分析提供5D高光谱光场数据

为了获取用于分析的5D高光谱光场数据，Ruixuan Cong团队搭建了一套专门的显微成像系统。该系统整合了三个核心组件：一台常规显微镜用于获取空间信息，一个基于傅里叶光场显微技术的光场目镜用于采集多角度信息，以及一组中心波长不同的窄带滤光片用于获取光谱信息。在数据采集过程中，团队首先对结直肠癌H&E染色全切片图像的局部区域进行聚焦，拍摄无滤光片的纯RGB光场图像。随后固定样本和成像装置，依次更换不同波长的滤光片进行多次采集，以获取覆盖可见光范围从410纳米到730纳米、间隔40纳米的高光谱数据。所有原始数据均经过暗场校准和白平衡校准以消除噪声和非均匀照明的影响。经过预处理，Ruixuan Cong团队从原始观测样本中筛选出光照均匀的5×5个角度视图，并将每个滤光片通道及纯RGB通道视为一个光谱带。最终，每个高光谱光场样本被处理成一个5D数据立方体，其维度为5（角度）×5（角度）×512（空间高度）×512（空间宽度）×10（光谱通道）。这套系统能够从病理切片中捕获同时蕴含多视角几何信息和多波段光谱特征的丰富数据，为后续的深度学习分析提供了独特的数据基础。

定义五类结直肠癌细胞并建立图文配对数据集

为验证所提出的方法，Ruixuan Cong团队构建了一个高质量的图文配对数据集。他们从134名结直肠癌（CRC）患者和67名非CRC个体的H&E染色全切片图像（WSIs）中，提取了总计10,720个图像块。这些图像块被病理专家精确标注为五类关键组织，包括黏膜肌层（MM）、浆膜（SE）、黏膜（MU）、黏膜下层（SM）以及肿瘤组织（TT）。这五类细胞组织对于评估肿瘤免疫微环境（TME）具有关键意义。在数据采集过程中，Ruixuan Cong团队为每个高光谱光场（H-LF）样本生成了中心视角的纯RGB图像，这些图像视觉上最为清晰，便于专家进行标注。随后，由三位医学专家独立审阅这些中心视图，并依据预定义的模板，为每个样本撰写了包含细胞亚类及数量信息的标准化文本描述。这一过程确保了标签的一致性。通过将高维的H-LF观测数据与专家撰写的病理描述文本一一对应，Ruixuan Cong团队成功构建了一个可用于多模态学习的图文配对数据集。该数据集不仅为后续基于深度学习的细胞自动分类任务提供了监督信息，也为实现从高维图像到语义报告的跨模态生成任务奠定了至关重要的数据基础。

HLFTST编码器有效解耦并融合5D H-LF多维度特征

为了从复杂的5D高光谱光场数据中提取有效的病理特征，Ruixuan Cong团队设计了一个名为三重可分离Transformer编码器的核心网络架构。该架构旨在解决直接对高维数据进行建模带来的巨大计算负担和信息冗余问题。其核心思想是将5D H-LF数据解耦为三个不同的低维组合，分阶段进行特征提取。具体而言，网络包含三个级联的特征提取阶段。第一阶段进行光场建模，将H-LF视为多个特定光谱下的4D光场，利用自注意力机制捕获每个光场内部的全局空间-角度关联信息。第二阶段进行高光谱子孔径图像建模，将特征重组为具有不同视角的高光谱子孔径图像模式，以挖掘全局的空间-光谱信息。第三阶段则进行高光谱宏像素图像建模，将特征重新组织为具有不同空间坐标的宏像素图像模式，从而引入全局的角度-光谱交互。这种分而治之的策略，使得网络能够通过Transformer的自注意力机制，高效地实现跨所有维度的全局特征交互，最终从高维数据中提炼出对后续病理分析任务具有强表征能力的特征。这一设计确保了在保留5D H-LF有效信息的同时，显著提升了特征提取的效率和针对性。

5D H-LF数据在细胞分类任务中展现出显著性能优势

为了系统评估5D高光谱光场（H-LF）数据的价值，Ruixuan Cong团队将所提出的HLFTST编码器与文本编码器结合的方法，与三种基于不同维度数据的基线方法进行了对比。这些基线方法分别基于2D单张图像（仅中心视角RGB）、3D高光谱图像（仅中心视角多光谱）和4D光场（多视角RGB）。实验在五种结直肠癌细胞类型（黏膜肌层、浆膜、黏膜、黏膜下层和肿瘤组织）的分类任务上进行。

结果显示，整合了多角度和多光谱互补信息的5D H-LF方法在所有评价指标上均表现最佳。具体而言，与性能最弱的2D单张图像方法相比，5D H-LF方法在五类细胞上的精确度最高提升了4.88%，F1分数最高提升了4.21%。这表明，在传统2D图像中因颜色相似或遮挡而难以区分的细胞，通过多角度信息可以恢复其几何结构，而多光谱信息则能捕捉不同细胞对生物染色反应的细微差异。对比混淆矩阵进一步揭示，5D H-LF方法在大多数类别上取得了最高的分类准确率，特别是对于黏膜肌层和浆膜。值得注意的是，4D光场方法的整体表现优于3D高光谱方法，这提示在结直肠癌细胞分类任务中，多角度信息可能比多光谱信息带来更大的收益。综合来看，5D H-LF数据通过提供更全面、互补的视觉线索，显著提升了细胞分类的精度与鲁棒性。

模型成功实现病理图像特征到语言描述的自动对齐与生成

除了精确的细胞分类，Ruixuan Cong团队还探索了其模型在病理报告自动生成任务上的能力。他们引入了一个文本编码器-解码器模块，通过一个三阶段的训练流程，实现了高光谱光场特征与病理语言描述之间的跨模态对齐。在推理阶段，模型能够直接根据输入的5D H-LF图像，自动生成结构化的病理描述文本。为了评估生成效果，Ruixuan Cong团队将模型输出与病理专家手动撰写的标注进行了对比。结果显示，模型生成的报告不仅包含了正确的细胞类别信息，还能提供关于细胞形态、空间分布和相对数量等更细致的描述。例如，对于某些样本，模型生成的文本会比专家提供的基线描述补充关于“细胞排列紧密”或“局部可见炎性细胞浸润”等细节。这证明了经过对齐训练后，模型所提取的视觉特征能够有效地映射到有临床意义的语义概念上。这一结果标志着该方法超越了单纯的图像分类，初步具备了基于高维影像数据进行语义理解和内容生成的能力。当然，研究也指出当前生成的描述仍存在误差，例如有时会将制片过程中产生的组织碎片误判为病理改变，这表明其在细节准确性上仍有提升空间。但总体而言，这项工作成功展示了将高维成像数据与自然语言处理相结合，为实现自动化、可解释的病理辅助诊断迈出了关键一步。

三阶段训练流程协同优化视觉分析与报告生成能力

为实现细胞分类与病理报告生成的双重目标，Ruixuan Cong团队设计了一套三阶段训练流程，逐步优化模型对高维图像的理解和语言生成能力。第一阶段，团队采用掩码图像建模的自监督学习策略，对专门设计的HLFTST编码器进行预训练。该阶段仅使用大量未配对的H-LF图像数据，通过重建被随机掩码的空间、角度和光谱信息，使编码器学会从复杂的5D数据中提取有效的底层特征。第二阶段，团队引入了在病理领域预训练好的PLIP文本编码器，并利用已构建的图文配对数据集进行对比学习。这一阶段的核心目标是对齐视觉特征与语言特征空间，通过最大化匹配图像-文本对的余弦相似度，使模型能够理解不同细胞类别对应的文本描述，从而为分类任务奠定基础。第三阶段，团队将预训练好的HLFTST编码器与一个Transformer文本解码器结合，并在带有详细病理报告的数据上进行联合微调。这一最终训练使模型不仅能输出精确的细胞分类结果，还能生成连贯、包含具体形态学描述的病理报告文本，实现了从高维图像到语义化分析报告的端到端自动化流程。

高维成像与AI融合为自动化病理诊断开辟新路径

Ruixuan Cong团队的研究表明，基于5D高光谱光场显微成像与深度学习的方法，在结直肠癌病理分析中能够超越传统的2D、3D或4D成像方法。该方法不仅将五种关键细胞类型的分类精度最高提升了4.88%，还能自动生成包含细胞形态与分布细节的病理描述文本。这项工作证明了高维计算成像技术与人工智能的深度融合，为提升病理诊断的客观性与自动化水平提供了强有力的新工具。未来，这一技术框架有望扩展至其他肿瘤类型或不同染色方法的分析中，为精准医疗时代的个性化诊疗决策提供更高效、更丰富的辅助信息。

【多模态影像+深度学习】病理图像智能分析课题设计

扫码免费获取1V1定制方案设计