ARTICLE · 1076458
让AI做皮肤疾病识别?很多时候、AI也在瞎猜!
皮肤出现问题
拍个照，上传！
今天告诉大家
藏在照片后面的信息、患者的背景
也许才会是精准诊断的核心关键
别100%相信AI
它看皮肤病，也会遇到同样的麻烦
～望闻问切～
才是好医生的真本事
近日，澳大利亚莫纳什大学等机构的研究团队在《IEEE Transactions on Medical Imaging》发表了一篇论文，提出了一套让AI更懂皮肤病的新方法。
简单来说：他们先给AI配了几个“皮肤科同事”，帮它把图片说明写靠谱；再教AI像医生一样抓重点、辨相似。
结果，AI看皮肤病的准确率明显上去了。
研究使用的 Derm1M 数据集，包含 403,563 组皮肤图片和文字，来源包括论文、教材和网络资料。
研究者先让已有模型比较图片和文字是否匹配，筛出 183,934 组匹配度较低的资料，交给新系统重新处理。注意，这只是按预设阈值筛出的待处理数据，不能据此说其中每一组原文都写错了。
接下来的工作，像是给这批图片安排了一支“教研组”。
图 7：四组案例对比原始说明（Origin）、初稿（Initial）和核验后的说明（Verified）。图中内容是论文中的训练数据示例。
第一步，皮肤科基础模型根据图片提出 5 个候选病名，供后续系统参考。
然后，描述智能体观察图片，写出皮疹的形态和初步判断；总结智能体从外部检索的疾病资料中整理“疾病卡片”，写明典型表现、常见部位和鉴别要点；核验智能体再把图片、初稿和疾病卡片放在一起检查，修改对不上的描述。
这不是三个 AI 投票选病名，而是有人写、有人查资料、有人核对。
处理后，133,930 组图片获得了带有经核验疾病标签的新描述。另有 50,004 组，核验智能体没有给出明确诊断，研究者保留了描述智能体的初稿。这里的“无法明确诊断”发生在训练数据制作阶段，并不是模型进入门诊后会主动向患者说“我不知道”。
研究还有一个细节：只让描述智能体改写文字，平均分类准确率并未提高；加入皮肤科基础模型给出的候选病名后，成绩才明显上升。随后再加入核验和外部疾病资料，成绩进一步提高。多智能体的价值，来自具体分工和可核对的知识，而不只是 AI 数量变多。
一段皮肤病描述，可能同时写着“红色斑块”“表面脱屑”“长在手肘”等信息。如果只把整段文字和整张图片粗略配对，模型可能抓不到哪块画面对应哪条特征。
研究者于是设计了 O-MAKE 训练方法：把描述拆成不同知识片段，让图片整体和局部区域分别与文字对应起来；再利用疾病分类体系，帮助模型理解相近疾病之间的关系。
简单说，既把教材写清楚，也教 AI 找到每一句讲解对应的图像线索。
图 2：左侧是三个智能体处理图片说明的流程，右侧是 O-MAKE 将图像与不同知识片段对应起来的训练流程。
在 5 个皮肤病分类数据集上，这套方法的零样本平均准确率达到 54.4%。零样本的意思是：模型没有再用这些测试集的标注病例进行针对性微调。使用相同增强训练数据重新训练的对照方法中，表现最好的 KEP 为 48.6%，两者相差 5.8 个百分点。
在两组少见类别较多的长尾分类测试中，平均准确率为 50.8%；在图片找文字、文字找图片的检索测试中，平均检索指标为 45.3%。这些数字分属不同任务，不能放在一起当成同一种“诊断准确率”。
更值得注意的是，研究把“改教材”和“改学习方法”分别做了对照实验，两个环节都显示出贡献。它提供的启发是：医疗 AI 的训练数据质量，和模型结构一样值得认真检查。
论文测试的是已有数据集上的图片分类与检索，没有报告真实门诊的前瞻性试验，也没有证明 AI 能独立给患者下诊断。即使在这些基准测试里，54.4% 也不是一个可以直接让人放心看病的数字；不同医院、拍摄条件和人群中的表现，还需要单独验证。
所以，这篇论文讲的并不是“皮肤病 AI 已经会看病”。它回答的是更靠前的一道题：怎样让 AI 在学习阶段，少读含糊的说明，多学到有依据的皮肤病知识。
教材校对好了，考试成绩才能向前走了一步。
当然，这项技术距离真正临床应用还有距离。研究团队也指出，未来需要进一步提高知识库质量，减少AI生成内容可能带来的偏差。
但至少，我们离“拍张照片就能初步判断皮肤问题”的那一天，又近了一步！
也许有一天，你半夜搜皮疹
跳出来的不再是吓人的绝症词条
而是一个温和的提示：
“别慌，先拍张清楚的照片，
让AI和医生一起看看。”
AI负责查资料、理线索
医生负责拍板
你负责别自己吓自己
参考文献：Li X, Yan S, Liu Y, et al. Multi-Aspect Knowledge-Enhanced Dermatological Vision-Language Pretraining with Multi-Agent Data Generation. IEEE Transactions on Medical Imaging. 2026. DOI:10.1109/TMI.2026.3723004
如有疑问，联系企业微信
更多内容 关注我们