乳腺癌诊疗有了全能型AI助手:阿里达摩院联合华西医院发布BreastGPT

乳腺癌是中国女性发病率最高的恶性肿瘤，尤其在 45-65 岁的围绝经期和绝经后女性中最为常见。一个乳腺癌患者从发现异常到完成治疗，通常要经历一条漫长的"迷宫"：

初筛（乳腺 X 光/超声）→ 疑似病灶进一步影像检查 → 穿刺活检病理确认 → 分子分型 → 制定个体化治疗方案。

这条链条上，每一步都涉及不同科室、不同类型的影像数据和截然不同的判断逻辑。一个经验丰富的乳腺外科医生，需要花十几年才能在各个环节都得心应手。

那么，AI 能不能像一位"全科乳腺专家"一样，贯穿整个乳腺癌诊疗流程？

阿里达摩院（DAMO Academy）联合浙江大学、湖畔实验室、四川大学华西医院、中国医科大学的研究团队，在 arXiv 上发布了BreastGPT——一个覆盖乳腺癌全诊疗流程的多模态大语言模型，给出了令人振奋的答案。

为什么现有医学 AI 做不到"全流程"？

现有医学大模型（如 Med-PaLM、LLaVA-Med 等）虽然在特定任务（如胸部 X 光片判读）上表现不错，但存在两个根本限制：

第一，"单打独斗"型训练。现有模型通常只在单一影像模态（如乳腺 X 光 mammography）或单一任务类型上评估，无法在不同检查手段之间建立连贯的推理逻辑。而真实的乳腺癌诊疗需要同时看 X 光片、超声、MRI 甚至病理切片——这些图像的分辨率和判读逻辑完全不同。

第二，数据"割裂"问题。每个科室的数据是隔离的，没有一个统一的基准来评估 AI 在"从筛查到诊断再到治疗"整个链条上的表现。

研究团队首先构建了一个名为 BreastStage 的大规模乳腺影像指令语料库：

• 数据来源：17 个子数据集

• 影像模态：覆盖 5 种——乳腺 X 光（mammography）、超声（ultrasound）、MRI、病理切片（pathology）等

• 任务模板：136 种不同类型的临床问答任务

• 总规模：186 万条指令-回答对（instruction-following pairs）

• 评测基准：从中划分出 BreastStage-Bench，用于标准化评估模型在乳腺癌全流程中的推理能力

这套数据的设计核心理念叫"工作流对齐"（workflow-aligned）：从筛查到诊断再到治疗计划，每一步都按照真实的临床路径组织数据。

这听起来技术性很强，但核心逻辑很直观：

• 双分支视觉编码器：一个分支处理常规放射影像（如乳腺 X 光，几百 KB 大小），另一个分支处理千兆像素级别的病理切片（gigapixel pathology，一个切片可达数 GB）。两个分支共享对"病灶特征"的理解，但各自处理不同尺度的图像

• 概念保持 Token 压缩：病理切片太大，直接输入 AI 会"撑爆"显存。传统做法是粗暴降采样（丢失细节），BreastGPT 的做法是"先理解再压缩"——保留有临床意义的结构和细胞形态，丢弃无用的背景像素

在 BreastStage-Bench 基准测试中，BreastGPT 在两个维度的表现：

• 封闭式问题（如"这个病灶的 BI-RADS 分级是？"）：准确率 75.66%

• 开放式问题（如"根据影像和病理结果，建议的下一步检查是什么？"）：评分 89.92%

两项指标均超过了通用大模型（如 GPT-4V）和现有医学专用模型。

具体来说，无论是在筛查阶段判断乳腺 X 光片中是否存在可疑钙化，还是在诊断阶段综合 MRI 和病理报告推断分子亚型，或是在治疗计划阶段评估新辅助化疗的疗效——BreastGPT 都在跨阶段、跨模态的推理任务上展现出明显优势。

BreastGPT 展现的是一种新的可能性：AI 不再只是"看图说话"的工具，而是可以成为贯穿乳腺癌诊疗全程的"智能协作者"。

在基层医院场景中，一位全科医生可能一年也看不了几个乳腺癌病例，但如果有一个 BreastGPT 这样的 AI 助手，它看过 186 万条训练数据中的成千上万例病例，可以帮助医生在关键节点做出更精准的判断：

• 在筛查阶段，提示哪些细微钙化值得进一步关注（减少漏诊）

• 在诊断阶段，结合多种影像和病理结果，辅助分子分型判断

• 在治疗决策阶段，提供基于大数据的疗效预测参考

当然需要明确：BreastGPT 目前仍是研究阶段的模型，它的输出不能替代临床医生的专业判断。所有诊疗决策仍需由具备执业资质的临床医生做出。

最后，结合临床指南，给关注乳腺健康的中老年女性及家属几点提醒：

• 40 岁以上女性：建议每年一次乳腺超声检查，每 1-2 年一次乳腺 X 光（钼靶）检查

• 有乳腺癌家族史的女性：筛查可能需要提前到 30-35 岁开始，具体咨询专科医生

• AI 辅助筛查 ≠ 替代医生：目前 AI 在乳腺影像中的作用是"辅助"而非"决策"，最终诊断仍需医生确认

• 自检和体检不可偏废：AI 看的是影像，你感受的是身体。出现乳房肿块、乳头溢液、皮肤橘皮样改变等，及时就医

重要提示：本文介绍的 AI 模型仍处于研究阶段，不可替代临床诊断和治疗决策。乳腺癌的筛查、诊断和治疗应在正规医疗机构的专科医生指导下进行。

原文地址：https://arxiv.org/abs/2606.04911