夜雨聆风当 ChatGPT、Claude、DeepSeek、Gemini、Kimi 等 8 个 AI 助手被问到"少样本医学分割该用哪个方案"时，给出了 8 种完全不同的答案。中国人民大学团队因此打造了一个统一的"裁判"——FAME，用 7 个解剖部位、9 种成像模态、14 类 ROI、近 1.5 万测试样本，对 23 个方法给出了三点硬核结论。
论文：Benchmarking Foundation and Large Language Models for Few-Shot Medical Image Segmentation
arXiv：2607.27856（eess.IV）· v1 2026-07
机构：中国人民大学（Jinghong Liu、Yuchuan Deng、Fanping Liu、Meng Huang、Xirong Li）
摘要
少样本医学图像分割（FS-MIS） 的目标是：只给少数几张带标注的"支持图"，就让模型在新图像上分割出目标 ROI（解剖结构或病灶）。
尽管进展迅速，现有 FS-MIS 方案横跨多种范式，却在不一致的设置下被评估，谁强谁弱无从判断。本文提出 FAME，一个统一评测基准，覆盖专用模型（specialists）、SAM 类、CLIP 类、MLLM 类四大方案，在零样本与十样本两种设置下评估，并额外测试目标缺失识别与协变量/语义偏移下的泛化。
评测揭示了三点发现：
1. 有效的少样本分割取决于模型如何利用支持图——直接的视觉适配普遍优于提示式策略； 2. 增加支持样本只有在模型能有效利用它们时才提升性能； 3. 语义迁移远比成像域适配困难，且强定位能力并不必然意味着可靠的目标缺失识别。
一、为什么需要 FAME：一个基准，两个痛点
1.1 三类范式并存，却无法横向比较
少样本医学分割的方案大致分三类：
• 专用分割模型（specialists）：PANet、UniverSeg、Tyche、U-Net 等，基于原型匹配、支撑-查询交互； • 基础模型适配：SAM 系列把支持图转成空间提示（SAM-MPA、ProtoSAM、FoB-SAM），CLIP 系列做视觉-语言语义引导（SCLIP、MaskCLIP、ProxyCLIP）； • MLLM 方案：把分割能力接进多模态大模型（LISA、GLaMM、MedPLIB、Text4Seg、STAMP、F-LMM、LENS）。
麻烦在于：每个方法用的支持图数量、成像模态、目标 ROI、评测协议都不一样，横向比较无从谈起。
1.2 8 个 AI 助手，8 种答案
作者做了一个有趣的实验：问 8 个公开 AI 助手（ChatGPT、Claude、DeepSeek、豆包、Gemini、GLM、Kimi、Qwen）"对一个少样本医学分割任务该用什么方案"。
结果五花八门——MedSAM+LoRA、U-Net 全参训练、SAM+接口、LISA+LoRA……连 AI 自己都说不清"到底该选谁"。这正好点出现状：缺乏一个公平、全面的裁判。
1.3 既有基准的盲区
已有基准（如 UniMedDB、MeCoVQA-S）要么只评测单类方法，要么**只看阳性样本的分割精度，忽略了"目标缺失时正确拒绝"**的能力——而临床中"这里没有病灶、不用切"和"把病灶切准"同等重要。
二、FAME 基准设计：14,958 个样本的"体检表"
FAME 包含 14,958 个测试样本，跨越 7 个解剖部位（脑、乳腺、结肠、视网膜、肺、皮肤、甲状腺）、9 种成像模态（MRI、超声、结肠镜、组织病理、眼底彩照、OCT、CT、皮肤镜等）、14 类 ROI，外加 950 张支持样本。数据来自 19 个公开医学分割数据集。
两种评估模式：
• 零样本（zero-shot）：只给（图像 + 文本 ROI 描述），直接预测掩码，检验模型预训练习得的识别与分割能力； • 少样本（few-shot）：每任务用 5 个互不相交的 10-shot 支持集分别适配并评估取平均，降低支持集选取的方差。
关键设计：FAME 只固定标注预算（每任务 10 对标注），让每个方法用自己的方式使用它——有的更新参数、有的零参数更新。这是方法固有属性，而非需要拉平的对象，更贴近临床实操选择。
质控：严格剔除无效标注与掩码错配，内容级去重；支持集与测试集严格不重叠，测试标注在适配过程中绝不可见。
评测不仅看分割精度（Dice），还看目标缺失识别（负样本上的图像级特异性 Specificity）：ROI 缺失的图像中被正确预测为空掩码的比例。
三、四大方法家族如何被适配（23 个方法）
| SAM 类 | ||
| CLIP 类 | ||
| MLLM 类 | ||
| 专用模型 |
三种适配策略贯穿其中：LoRA（低秩适配）、FPT（从零全参数训练）、Interface（冻结主干、只训分割接口）。
四、三大核心发现
发现一：直接视觉适配 > 提示式策略
有效少样本分割取决于模型如何利用支持掩码。把支持信息直接并入视觉表征/掩码生成，胜过间接的提示或语义适配。
• SAM 家族内部差距悬殊：MedSAM3（平均 Dice 0.683）远超 SAM-MPA（0.274）和 MedSAM-MPA（0.143）——把支持图转成空间提示会丢失精细定位线索，而稠密表征适配让支持掩码直接引导像素级预测； • CLIP 家族中 LoRA 一致优于 CoOp：SCLIP 0.354→0.460、ProxyCLIP 0.438→0.465、MaskCLIP 0.442→0.488——适配视觉特征比只调文本语义更有效。
发现二：样本加了，不代表会变强
随支持样本数量 K 从 1 增到 10：
• 利用能力强的模型持续受益：MedSAM3 0.574 → 0.683，GLaMM 0.278 → 0.480； • 利用能力弱的模型收益有限甚至为负：Text4Seg 0.127 → 0.092（不升反降）。
结论：少样本分割的瓶颈不在支持样本的数量，而在模型能否把支持掩码有效转化为像素级预测。
发现三：会切图 ≠ 会拒绝
语义迁移远比成像域适配困难，且分割精度不意味着可靠的目标缺失识别：
• MedSAM3 是分割最强的（平均 Dice 0.519），特异性却只有 0.067； • 反向例子：STAMP-7B/2B 特异性高达 0.837/0.807（远超 MedSAM3），但平均 Dice 仅 0.256/0.257。
这两个能力在 FAME 中是解耦的——能准确切出病灶的模型，未必能可靠地判断"这里没有病灶"。
五、OOD 泛化：语义偏移是最大的坑
FAME 设计了两种分布偏移（OOD）测试：
• 协变量偏移（covariate shift）：ROI 概念不变、换数据源（如 BUSI→BUID、ISIC 2018→PH2），考验对采集协议/图像外观的鲁棒性； • 语义偏移（semantic shift）：适配与测试的 ROI 概念不同（如 BraTS→ISLES 2022、BUSI→TN3K），无目标支持图，靠提示给出新概念。
结果触目惊心：
• 语义偏移明显更伤：MedSAM3 从协变量 0.677 暴跌到语义 0.362；CLIP 变体从 0.5 以上跌到 0.16 以下； • 最优的域内适配在换目标后会"反噬"：协变量偏移下 LoRA 在每个 CLIP 骨干上都赢过 CoOp（如 ProxyCLIP 0.583 vs 0.542）；语义偏移下 CoOp 反超 LoRA（如 MaskCLIP 0.155 vs 0.077）——把视觉编码器调到源域，只在目标不变时有效。
六、数据一览：谁最强？
10-shot 模式下的全局最强是 MedSAM3，平均 Dice 0.683，逐部位：脑 0.554、乳腺 0.780、结肠 0.828、视网膜 0.308、肺 0.698、皮肤 0.903、甲状腺 0.705。
各类别代表（平均 Dice）：
• MLLM：GLaMM-7B 0.480、MedPLIB-7B-LoRA 0.445、READ-7B 0.398、LISA-7B 0.372； • CLIP：MaskCLIP-LoRA 0.488、ProxyCLIP-LoRA 0.465、SCLIP-LoRA 0.460； • 专用模型：Tyche 0.432、UniverSeg 0.431、U-Net（FPT）0.374； • SAM：SAM-MPA 0.274、MedSAM-MPA 0.143。
两个有意思的观察：
• 掩码表征比语言模型规模更重要：直接"视觉到掩码"的 GLaMM/MedPLIB 优于轻量插件式方案；Text4Seg 因中间掩码走离散语言 token（瓶颈）而垫底； • 更大的语言模型并不稳定带来提升：STAMP-2B 胜过 STAMP-7B，F-LMM-MiniGemini-2B 也胜过其 7B 版。
七、结论与展望
FAME 的三点结论：
1. 有效的少样本分割取决于如何利用标注支持图——直接的支撑驱动视觉适配普遍优于提示/语义适配； 2. 增加支持样本仅在模型能有效利用时才提升性能； 3. 分布偏移下的语义迁移仍是主要挑战，且分割精度不必然意味着可靠的目标缺失识别。
作者展望：未来的 FS-MIS 方法应更好地利用支持样本，实现"准且稳"的分割——既切得准，也懂得拒绝。
局限：FAME 仅评测了开源 MLLM 至 8B 参数量级，更大模型与更优适配机制留待后续研究。
一句话总结：FAME 用一个统一、严格、贴近临床的基准，终结了少样本医学分割"各说各话"的局面——直接视觉适配胜过提示工程、样本加了不会自动变强、"会切图不等于会拒绝"，这三点对任何做医疗 AI 的人都值得一读。