乐于分享
好东西不私藏

从文献读出医学影像 AI 变了:从“看片”到读懂一次就诊

从文献读出医学影像 AI 变了:从“看片”到读懂一次就诊
过去几年,医学影像 AI 最常见的宣传语是:AI 能不能看出肺结节?能不能识别脑出血?能不能辅助乳腺癌筛查?
但最近翻看 Radiology、Radiology: Artificial Intelligence、AJNR、Korean Journal of Radiology、Nature Medicine 等期刊,会发现一个很明显的变化:医学影像 AI 的关注点正在从单图像、单病种、单应用,转向多任务、多模态、基础模型和临床工作流协作
过去的影像 AI 像一个“专项质检员”,只盯着一类片子、一个问题;现在的影像 AI 更像一个“影像科副驾驶”,不仅看图,还要读报告、读病史、理解医生的问题。

一、第一代影像 AI:只看图,只做一件事

早期医学影像 AI 的逻辑很直接。
输入一张图像,输出一个结果。
比如:
胸片里有没有肺炎?
CT 上有没有肺结节?
头颅 CT 有没有出血?
乳腺钼靶有没有可疑病灶?
MRI 上肿瘤边界在哪里?
这类模型通常是single image + single task。也就是一类图像对应一个任务。
它们的优点是目标清晰、容易验证、容易进入临床流程。比如某个 AI 工具只负责筛查肺结节,医生只需要判断它有没有漏掉可疑结节。
但问题也很明显:真实临床不是这么工作的。
医生看片时,绝不会只看一张图。医生会同时考虑患者年龄、症状、病史、既往影像、检查目的、实验室指标,甚至还要结合临床医生写下来的问题。
同一张胸片,如果患者是发热咳嗽,医生会重点看感染;如果患者是肿瘤术后复查,医生会重点看转移;如果患者是 ICU 病人,医生还会关注管路位置、肺水肿、气胸等急危重问题。
这就是早期单图像 AI 的天然短板:它能看见图像,但不一定理解“这张图为什么被拍”。

二、第二阶段:从单病种走向多任务

最近几年,期刊里的关键词开始变成:foundation model、generalist model、multi-task、segmentation、report generation。
所谓 foundation model,可以理解为“基础模型”或“大底座模型”。它不是从零开始为某一个病种训练,而是先在大量影像和文本数据上学习通用表征,再迁移到不同任务上。Radiology 2025 年关于影像基础模型的综述指出,这类模型的目标之一,就是让模型能适配多种下游任务,而不是每个任务都重新训练一个小模型。
这背后的变化很重要。
以前的影像 AI 是:

一个模型 = 一个病种 = 一个应用。

现在越来越像:

一个模型 = 多种影像 = 多个任务 = 多个临床场景。

比如同一个模型体系可能同时服务于:
影像分割:把器官、肿瘤、血管圈出来。
病灶检出:提示哪里可能异常。
分类诊断:判断良恶性、分型或风险等级。
报告生成:根据影像自动生成初步描述。
影像问答:医生或学生可以问“这个区域是什么异常?”
随访比较:对比患者前后两次检查是否进展。
这意味着影像 AI 的角色正在从“识别器”变成“工作流组件”。
它不再只回答“有没有”,还要回答“在哪里、是什么、严重吗、和上次比变了吗、报告该怎么写”。

三、第三阶段:多模态来了,AI 不只看图,还看文字

最近最热的变化,是multimodal AI,多模态 AI
在放射影像场景里,多模态通常指 AI 同时处理:
医学图像:X 光、CT、MRI、超声、PET、病理图像;
文本信息:放射报告、检查申请单、临床病史、医生问题;
结构化数据:年龄、性别、检验结果、生命体征、电子病历信息。
Korean Journal of Radiology 2025 年的综述把这个趋势讲得很清楚:多模态大语言模型正在成为放射科 AI 的重要方向,它们把大语言模型与不同模态的临床数据结合起来,范围从 2D 胸片到 3D CT/MRI,并可用于初步报告生成、视觉问答和交互式诊断支持。
这就是医学影像 AI 从“看片”到“读懂病例”的关键一步。
举个小白能理解的例子:
过去 AI 的输入是:

这是一张胸片,请判断有没有异常。

现在多模态 AI 的输入可能是:

这是一张胸片。患者 72 岁,男性,发热 3 天,咳嗽,血氧下降,既往有慢阻肺。请结合影像和临床信息,判断最需要关注的问题,并生成一版初步报告。

这两种任务难度完全不同。
第一种是图像识别。
第二种已经接近临床推理。
医学影像本来就是多模态工作。片子只是其中一部分,报告、病史、检查目的、临床问题同样重要。所以现在影像 AI 的发展方向,越来越接近真实医生的工作方式。

四、报告生成成为热门入口:AI 开始写“初稿”

多模态 AI 最容易落地的一个方向,是放射报告生成
因为放射科医生每天不仅要看片,还要写大量结构化或半结构化报告。报告质量影响后续诊疗,也占用大量时间。
Nature Medicine 2025 年发表的 Flamingo-CXR 研究,就是一个典型例子。研究团队训练了一个基于视觉-语言基础模型的胸片报告生成系统,并邀请美国和印度的放射科医生进行专家评估。研究显示,在部分场景中,AI 生成报告可以达到与人工报告相当或被认为更优的水平;更关键的是,研究还测试了“AI 先写、医生再改”的协作模式。
这说明一个现实趋势:

影像 AI 不一定先替代医生,而是先进入“医生写报告前的草稿阶段”。

这很像现在很多人写文章、写邮件时使用 AI:不是完全交给 AI,而是让 AI 先出一版初稿,人再审核、修改、定稿。
在影像科里,这种模式可能变成:
AI 先读取影像;
生成初步 findings;
提示关键异常;
医生核对图像和临床信息;
医生修改并签发最终报告。
这比“AI 独立诊断”更现实,也更容易被临床接受。

五、从“单模态准确率”到“临床协作能力”

过去评价影像 AI,经常看 AUC、敏感度、特异度、Dice 系数。
这些指标仍然重要,但已经不够了。
因为多模态 AI 要解决的问题更复杂。它不只是判断图像有没有异常,还要解释、生成文本、与医生交互、结合病史,并且输出可以进入临床流程的内容。
所以最近期刊讨论越来越强调几个新问题:
第一,AI 生成的报告是否临床可靠?
第二,AI 的回答有没有幻觉?
第三,AI 说某处异常,能不能对应到图像上的具体区域?
第四,不同医院、不同设备、不同人群上是否还能稳定?
第五,医生与 AI 协作后,效率和质量是否真的提高?
这也是为什么很多论文开始强调 human evaluation、clinician-AI collaboration、clinical workflow integration,而不是只展示模型分数。
Radiology 相关综述也指出,基础模型虽然可能减少标注压力、改善泛化能力,但仍然存在透明度、可解释性、偏倚和持续验证等问题。

六、多模态越强,风险也越新

多模态 AI 很有想象力,但风险也更复杂。
最典型的是“幻觉”。
普通大语言模型会编内容,医学影像多模态模型也可能出现类似问题:它可能把不存在的异常写进报告,也可能遗漏真实异常,还可能给出看似专业但无法对应图像证据的解释。
Korean Journal of Radiology 的综述也明确提到,多模态大模型在医学影像中面临高质量多模态数据稀缺、幻觉、透明度不足和计算成本高等挑战。
还有一个更有噱头、也更值得警惕的方向:AI 生成的假影像。
2026 年 Reuters 报道了一项发表在 Radiology 的研究:AI 生成的假 X 光片可以欺骗放射科医生,甚至也能欺骗部分 AI 系统。17 名来自 12 家医院的放射科医生评估 264 张 X 光图像,其中一半为 AI 生成;在不知道研究目的时,只有 41% 能主动识别假图像。
这件事说明,影像 AI 的未来不只是“更聪明”,还必须“更可信”。
医学影像 AI 不仅要会诊断,还要能证明:
图像是真的;
结果有依据;
报告可追溯;
模型经过临床验证;
责任边界清楚。

七、未来最值得关注的 4 个方向

第一,影像基础模型。
这类模型会成为医学影像 AI 的底座。它们不只服务一个病种,而是作为 CT、MRI、X 光、超声等多场景任务的基础能力。Diagnostic and Interventional Radiology 2025 年的综述也指出,具有多模态能力的基础模型可用于报告生成和诊断决策支持等复杂放射学应用。
第二,图像 + 文本联合输入。
未来的影像 AI 不会只吃图像。它会把图像、报告、病史、申请单、诊断问题一起作为输入。这才接近真实临床。
第三,医生-AI 协作式报告。
AI 不一定直接给最终诊断,而是生成初稿、指出风险、提供结构化描述,医生负责审核和签发。这可能是更现实的落地路径。
第四,安全验证和监管。
越是强大的模型,越需要验证。尤其在医疗领域,模型不能只在论文数据集上表现好,还要在真实医院、真实设备、真实患者群体中稳定可靠。

结语:医学影像 AI 的主线变了

医学影像 AI 的故事,已经从“AI 能不能看出某个病”进入了下一阶段。
新的问题是:
AI 能不能同时理解图像和文字?
能不能结合病史给出更合理的判断?
能不能帮助医生更快写出高质量报告?
能不能在真实医院流程中安全、稳定、可追溯地工作?
所以,最近 radiology 期刊中最值得关注的变化,不是某一个模型又刷高了几个百分点,而是整个范式正在变化:

从单图像,到多模态;从单应用,到多任务;从模型演示,到临床协作;从“AI 看病”,到“AI 辅助医生完成一次影像诊疗”。

这也许才是医学影像 AI 真正进入临床前夜的信号。