乐于分享
好东西不私藏

AI+科研周报|图像与显微 AI|三维基础模型、细胞形态和显微分割

AI+科研周报|图像与显微 AI|三维基础模型、细胞形态和显微分割

2026.04.20-2026.04.26:从 OCTCube-M 到 YeastSAM,看 AI 如何进入科研图像流程

本期覆盖时间:2026.04.20-2026.04.26

封面图:AI 生成|图像与显微 AI 主题配图

导读

本期周一栏目聚焦“图像与显微 AI”。这一方向和医学影像、显微图像、细胞形态、组织三维结构都直接相关,也很适合训练科研判断力:一篇文章不只看模型指标,还要看它有没有改变数据获取、标注、分析和解释的流程。

这一周的主线很清楚:AI 正在从二维分类任务,进一步进入三维体数据、多模态图像、细胞形态空间和显微图像工具链。换句话说,图像 AI 不再只是“给一张图打标签”,而是在学习组织结构、细胞状态、亚细胞空间和跨模态关系。

本期按 7 篇文章展开:前四篇作为主文,分别对应三维 OCT 基础模型、细胞形态与空间蛋白组、白质束分区流程标准化、酵母细胞显微图像分割;后三篇作为延伸精读,补上 AFM 智能化、头颅 CT 基础模型和 fMRI 通用表征学习。

本期速览

先用一张图看本期 7 篇文章的结构:数据从二维走向三维/四维,任务从分类走向表征、分割和分区,科研价值从“模型指标”走向“工作流稳定”。

本期正式解读如下。

01|OCTCube-M:医学影像基础模型进入三维和多模态阶段

研究背景:OCT 是眼科中非常重要的三维影像技术,但不少模型仍把三维数据拆成二维切片,或者只服务单一诊断任务。这样会浪费体数据中的空间结构,也限制了 OCT 与其他眼底成像模态的联合分析。

方法亮点:作者提出 OCTCube-M,将三维 OCT 与二维 en face 图像放入统一框架,并使用多模态对比学习整合 OCT、红外图像、眼底自发荧光等模态。框架下包含 OCTCube、OCTCube-IR 和 OCTCube-EF 三类模型。

主要结论:研究显示,三维 OCT 中的空间结构可以被基础模型有效利用,并能迁移到多类视网膜疾病相关任务。它的价值不只是做分类,而是为 OCT 数据建立一个更通用的三维图像表征底座。

启发与迁移:对口腔和基础医学研究来说,值得关注的是“体数据优先”的建模思路。CBCT、组织透明化三维成像、连续切片重建、类器官三维显微图像,都可以借鉴这种把空间结构作为核心信息源的路线。

▍文献信息英文标题:A three-dimensional multi-modal foundation model for optical coherence tomography期刊/平台:Nature Biomedical Engineering第一作者:Zixuan Liu通讯作者:Miao Zhang;Aaron Y. Lee;Sheng Wang单位:华盛顿大学 Paul G. Allen 计算机科学与工程学院;华盛顿大学眼科系;Genentech;圣路易斯华盛顿大学眼科与视觉科学系等DOI:10.1038/s41551-026-01662-2                                                                                          公开资源:代码、Notebook、Docker 与模型说明:https://github.com/ZucksLiu/OCTCubeM;预印本:https://arxiv.org/abs/2408.11227来源链接:https://pubmed.ncbi.nlm.nih.gov/42032038/

02|细胞形态不是配图,而是分子表型入口

研究背景:显微图像中的细胞形态,过去常被当作代表性图片或分割后的附属特征。但细胞形状、细胞核形态和细胞器分布,可能与信号通路、蛋白定位和细胞状态存在系统性关系。

方法亮点:这项研究分析 Human Protein Atlas 中超过 100 万个单细胞、11998 个蛋白和 11 个细胞系的图像空间蛋白组数据。作者把细胞和细胞核形态组织成连续的 shapespace,再观察蛋白丰度、细胞器拓扑和通路层面的变化。

主要结论:研究提示,细胞形态可以解码相当一部分分子表型信息。不同形态状态下,蛋白表达、亚细胞定位和细胞器结构会出现系统性差异,使“形态学图像”成为连接细胞状态和分子机制的入口。

启发与迁移:这篇文章很适合你的长期方向。口腔基础、干细胞、骨改建、牙周炎症和细胞力学研究中,显微图像经常被用来展示结果;下一步可以把细胞面积、核形态、骨架纹理、细胞突起和空间位置系统化,再和蛋白、转录组或功能实验读数连接起来。

▍文献信息英文标题:Cell shapes decode molecular phenotypes in image-based spatial proteomics期刊/平台:Cell Systems第一作者:Trang Le通讯作者:Emma Lundberg单位:斯坦福大学生物工程系;KTH Royal Institute of Technology / SciLifeLab;Allen Institute for Cell Science 等DOI:10.1016/j.cels.2026.101589                                                                                          公开资源:Human Protein Atlas:https://www.proteinatlas.org/;论文入口:https://doi.org/10.1016/j.cels.2026.101589;代码未见独立公开入口来源链接:https://pubmed.ncbi.nlm.nih.gov/42013840/

03|BundleParc:医学图像 AI 的价值,也可以在中间流程

研究背景:脑白质束分析常依赖 tractography,但 tractography 容易受算法、参数、时间点和数据质量影响。对于纵向研究和跨样本比较,这种不一致会影响后续微结构指标分析。

方法亮点:BundleParc 绕开传统 tractography 步骤,直接从 fODF 体数据映射到白质束分区标签图。它关心的不只是分割准确率,而是让 bundle parcellation 在不同对象和不同时间点之间更一致。

主要结论:研究提出了一条 tractography-free 的白质束分区路线,为 tractometry 和脑白质微结构研究提供更稳定的前处理可能。它说明医学图像 AI 不一定总是做终点诊断,也可以改造科研分析链条中的关键中间步骤。

启发与迁移:这类方法的迁移价值在于“流程标准化”。显微图像中的细胞分割、组织区域划分、三维结构配准、连续时间点追踪和跨样本定量,也都面临类似问题:中间步骤不稳定,后面的统计和解释就会受影响。

▍文献信息英文标题:BundleParc: Consistent white matter bundle parcellation without tractography期刊/平台:Medical Image Analysis第一作者:Antoine Théberge通讯作者:Antoine Théberge单位:Université de Sherbrooke VITAL/SCIL;Roche Innovation Center Basel;Murdoch Children’s Research Institute 等DOI:10.1016/j.media.2026.104087                                                                                          公开资源:代码:https://github.com/scil-vital/BundleParc;模型权重:https://zenodo.org/records/15579498;预印本:https://arxiv.org/html/2507.09253v2来源链接:https://pubmed.ncbi.nlm.nih.gov/42035559/

04|YeastSAM:显微图像分割要解决的,不只是“把细胞圈出来”

研究背景:细胞分割是显微图像定量分析的入口。对出芽酵母来说,难点在于不对称分裂和母细胞-芽体形态,分裂中的细胞很容易被误判成两个独立细胞,进而影响后续单细胞定量。

方法亮点:作者基于 Segment Anything Model 构建 YeastSAM,面向酵母 DIC 图像优化分割,并提供 GUI、mask 生成、图像配准、outline 转换和 mother-bud pair separation 等工具。它不是只有模型,而是把分割结果接到后续 FISH-Quant 和空间分析流程里。

主要结论:YeastSAM 在分裂细胞分割上相较既有方法取得更高准确度。作者还展示它可以与单分子 RNA 成像和细胞器成像结合,用于构建细胞空间图谱,支持基因表达空间调控的定量分析。

启发与迁移:这篇文章对显微图像工作流很有参考价值。很多口腔基础、骨、干细胞和细胞力学实验,最后都会遇到类似问题:不是没有图,而是缺少稳定、可批量、能接后续定量分析的分割入口。YeastSAM 的价值在于把“分割模型”变成“可接下游分析的工具链”。

▍文献信息英文标题:YeastSAM: A Deep Learning Model for Accurate Segmentation of Yeast Cells期刊/平台:Molecular Biology of the Cell第一作者:Yonghao Zhao通讯作者:Yonghao Zhao;Zhouyuan Zhu(项目文档提供联系邮箱)单位:Brown University 分子生物学、细胞生物学与生物化学系;Brown University RNA Center 等DOI:10.1091/mbc.E25-09-0454                                                                                          公开资源:代码:https://github.com/YonghaoZhao722/YeastSAM;文档:https://yeastsamdoc.readthedocs.io/en/latest/;数据:https://zenodo.org/records/17204942;模型权重:https://github.com/YonghaoZhao722/YeastSAM/releases来源链接:https://pubmed.ncbi.nlm.nih.gov/42024490/

延伸阅读|三篇也值得按精读方式保存

05|AI-AFM:显微仪器智能化正在进入生物纳米尺度

研究背景:AFM 可以进行无标记纳米尺度成像和纳米力学表征,但长期受限于通量低、操作者依赖强、力曲线解释不稳定等问题。对于细胞力学和 mechanophenotyping 来说,这些限制会直接影响实验规模和结果一致性。

方法亮点:这篇综述系统梳理 AI 如何进入 AFM 的多个环节,包括超分辨成像、tip deconvolution、图像去噪、分割、力曲线分析、探针控制、多模态数据整合和自动化发现。它的重点不是单个模型,而是 AI 如何改变仪器使用方式。

主要结论:AI 正在把 AFM 从依赖人工经验的单点仪器,推向更可扩展、更自适应的生物纳米成像平台。未来真正有价值的方向,可能是闭环采集、自动质量控制、力学表型批量读出,以及和光学显微、分子读数的联合分析。

启发与迁移:这篇文章和细胞力学方向很接近。对于口腔基础、牙周炎症微环境、骨/干细胞力学和基质感知研究,可以重点学习“力曲线清洗-特征提取-表型分类-自动质控”的链条,而不是只把 AI 当成最后一步分类器。

▍文献信息英文标题:AI in Atomic Force Microscopy: Advancing Biological Nanoscale Imaging and Autonomous Discovery期刊/平台:ACS Nano第一作者:Seungmin Lee通讯作者:Hakho Lee单位:韩国大学 KU-KIST 融合科学技术研究生院;韩国大学先进机械设计技术研究所;韩国大学生物技术与生物信息学系;马萨诸塞州总医院/哈佛医学院系统生物学中心与放射科等DOI:10.1021/acsnano.6c02895                                                                                          公开资源:综述文章,不适用代码复现;文章页:https://pubs.acs.org/doi/10.1021/acsnano.6c02895                                                                                          来源链接:https://pubmed.ncbi.nlm.nih.gov/42024823/

06|FM-HCT:头颅 CT 也开始走向三维基础模型

研究背景:头颅 CT 是神经急诊和常规诊断中的高频影像,但疾病类型多、标注成本高,很多少见病变难以积累足够高质量标签。传统模型如果只依赖小规模标注数据,很难获得稳定泛化能力。

方法亮点:作者提出 FM-HCT,用 361663 例非增强三维头颅 CT 进行自监督预训练,再迁移到多种下游疾病检测任务。它的关键不是把 CT 切成二维图片,而是直接利用三维体数据学习更通用的影像表征。

主要结论:研究显示,大规模未标注三维 CT 可以训练出对多疾病检测有帮助的基础模型。和从零训练的模型以及既有三维 CT 基础模型相比,预训练模型在多个下游任务中表现更稳,说明“未标注体数据”本身具有很高的科研资产价值。

启发与迁移:对口腔与颌面影像来说,最值得迁移的不是头颅 CT 的具体疾病标签,而是“未标注三维影像预训练+少量标注下游任务”的路线。CBCT、颌骨结构、牙槽骨变化、种植相关解剖评估和三维组织重建,都可以沿着这个思路设计长期数据资产。

▍文献信息英文标题:3D foundation model for generalizable disease detection in head computed tomography期刊/平台:Nature Biomedical Engineering第一作者:Weicheng Zhu;Haoxu Huang(共同第一作者)通讯作者:Haoxu Huang;Narges Razavian单位:纽约大学数据科学中心;纽约大学 Grossman 医学院放射科、神经内科、人口健康系;Siemens Healthineers 等DOI:10.1038/s41551-026-01668-w                                                                                          公开资源:论文页:https://www.nature.com/articles/s41551-026-01668-w;预印本:https://arxiv.org/abs/2502.02779;代码未见作者独立公开入口来源链接:https://pubmed.ncbi.nlm.nih.gov/42020556/

07|NeuroSTORM:fMRI 基础模型开始直接学习四维时空表征

研究背景:fMRI 是研究脑功能和神经疾病的重要工具,但传统分析流程往往依赖复杂预处理、脑区划分和任务特定模型。不同中心、不同任务和不同疾病之间的可重复性与可迁移性,一直是神经影像研究中的难点。

方法亮点:NeuroSTORM 直接从四维 fMRI 体数据学习空间-时间表征,在超过 50000 名参与者的 2865 万帧 fMRI 数据上进行预训练,并通过轻量任务适配迁移到人口学预测、表型预测、疾病诊断、重识别和状态分类等任务。

主要结论:研究显示,直接面向四维体数据的基础模型可以在多个下游任务中获得更稳定的迁移表现。它把 fMRI 分析从“为每个任务单独搭流程”,推进到“先建立通用时空表征,再适配具体任务”的路线。

启发与迁移:这篇文章离口腔方向不近,但对科研训练很有价值。它提醒我们:面对高维动态数据时,应该尽量保留原始结构和时间信息。未来做活细胞成像、时间序列显微图像、组织发育过程或力学刺激响应时,这种“四维数据先表征,再下游分析”的思路会越来越重要。

▍文献信息英文标题:Towards a general-purpose foundation model for functional MRI analysis期刊/平台:Nature Biomedical Engineering第一作者:Cheng Wang通讯作者:Hongbin Han;Xiang Li;Yixuan Yuan单位:香港中文大学电子工程系;延世大学医学院;佐治亚大学;北京大学医学部;悉尼大学;耶鲁大学医学院;马萨诸塞州总医院;哈佛大学 Kempner Institute 等DOI:10.1038/s41551-026-01666-y                                                                                          公开资源:项目主页:https://cuhk-aim-group.github.io/NeuroSTORM/;代码:https://github.com/CUHK-AIM-Group/NeuroSTORM;预印本:https://arxiv.org/abs/2506.11167来源链接:https://pubmed.ncbi.nlm.nih.gov/42026120/

本期小结

本期周一栏目更清楚了:不要做“所有图像 AI 新闻”,而是每周抓几条真正值得训练判断力的主线。

第一,三维和四维基础模型会持续成为医学影像 AI 的核心方向。OCT、CT、fMRI 这类数据不能只当二维图片处理。

第二,显微图像正在从“展示现象”变成“计算表型”。细胞形态、亚细胞结构、空间位置和分子读数之间的连接,会越来越重要。

第三,图像 AI 的科研价值经常发生在中间流程:分割、配准、分区、重建、去噪、标注和数据组织。能稳定这些步骤的工具,比单纯报一个预测 AUC 更值得长期跟踪。

下一篇预告

周日工作流文章可以从“有公开代码和数据、输入输出清楚”的工具里选。本期更适合从 YeastSAM 开始:输入是显微图像,输出是细胞 mask 和后续分析入口,最容易拆成一个最小可运行工作流。