夜雨聆风点击蓝字
关注我们
关注并星标
从此不迷路
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
https://pmc.ncbi.nlm.nih.gov/articles/PMC12477449/pdf/fpls-16-1666374.pdf
计算机视觉研究院专栏
Column of Computer Vision Institute
PART/1
痛点
在 AI 技术落地之前，椰枣病害检测经历了三代方案，各有明显短板：
- 人工目视检查
：依赖农技专家，巡检效率低，早期细微病斑极易漏检，规模化果园难以普及； - 传统机器学习
：需要人工提取叶片颜色、纹理等特征，田间环境稍有变化，模型识别能力就大幅下降； - 卷积神经网络（CNN）
：识别精度有所提升，但需要上万张精细标注图片，且对重叠病症、微小病斑处理能力不足。
而本次研究提出的混合 AI 框架，补齐了上述所有短板，同时引入零样本分割技术，大幅降低数据制作成本。
PART/2
全新五阶框架：精准还原甲骨每一处细节
整套框架由四大功能模块协同工作，各司其职，形成端到端的病害分析体系，兼顾精度、速度与实用性。
【Transformer 模型整体流程图】
Swin Transformer：病害精准分类作为分层视觉模型，它既能捕捉叶片局部微小病斑，又能把握整张叶片的全局特征，可精准区分黑斑病、枯萎病、叶斑病、各类缺素症以及虫害等 8 类病害，同时识别健康植株。
YOLOv12：实时病灶定位依托单阶段检测架构，推理速度快、占用资源少，单张图片检测仅需 45ms，适合果园现场实时巡检，快速框选出叶片上的患病区域。
Grounding DINO + SAM2.1：零样本像素级分割这是本研究最大创新点！仅通过 “褐色病斑”“失绿区域” 等文字描述，就能完成病害区域分割，无需逐像素人工标注，不仅降低研发成本，还能识别罕见病害与早期隐蔽病灶。
ViT + 回归头：病害严重度量化突破简单分类的局限，模型输出连续的病害分值，并自动划分为轻度、中度、重度三个等级，帮助农户根据病情轻重，制定差异化防治方案，避免农药滥用。
PART/3
实验
实测数据集：完全还原田间真实场景
为保证模型落地能力，研究团队深入沙特阿拉伯 10 座椰枣农场开展数据采集，数据集兼顾实验室标准环境与野外复杂环境，模拟灰尘、阴影、叶片交错等真实干扰因素。
【数据集划分、预处理与增强详情表】
整套数据集共计13459 张椰枣叶片图像，涵盖 3 类生理缺素病、4 类真菌病、1 类虫害以及健康样本。按照 7:1:2 比例划分为训练集、验证集、测试集；同时通过翻转、旋转、饱和度调整等数据增强手段，进一步提升模型泛化能力。
【数据集各类别样本分布图】
数据整体分布均衡，单类别样本数量在 1600~2500 张之间，有效避免了类别失衡导致的识别偏差。
PART/4
性能实测
研究在 NVIDIA RTX 4090 硬件下完成测试，整套模型单张图像平均推理耗时仅 120ms，可直接适配无人机、便携式终端等田间设备。多项核心指标全面领先 MobileNetV2、ResNet、传统混合 CNN 等经典模型。
【不同模型性能对比表】
核心性能数据一览
分类准确率：98.91% 精确率：98.85% | 召回率：96.8% | F1 分数：96.4% 目标检测 mAP@0.5：97.82% 病灶分割 IoU：92.14% | 戴斯系数：93.05%
【各模型指标柱状对比图】
对比数据清晰可见，本框架在分类、检测、分割三大任务中均拉开差距。
【Grounding DINO+SAM 分割效果图】
结合上图 Grounding DINO+SAM 分割效果图可以直观看到，模型能精准勾勒出病害像素边界，对重叠症状、微小病灶的识别效果尤为突出。
【 模型综合指标统计表】
PART/5
价值与展望
1. 落地价值
这套智能诊断系统可实现椰枣病害早发现、早治理，大幅减少人工巡检成本与农药使用量，遏制病害大面积传播，保障椰枣产量与品质。同时零样本特性让该方案可快速迁移到果树、粮食作物等其他植保场景，通用性极强。
2. 现存局限性
一方面，当不同病害视觉特征高度相似、症状重叠时，模型易出现判断模糊；另一方面，当前仅依靠叶片图像分析，未结合温湿度、土壤等环境数据，对超早期病害的识别仍有提升空间。
3. 未来优化规划
科研团队提出四大优化方向：引入可解释 AI 技术，让模型判断逻辑更透明；扩充不同产区、稀有病害数据；融合遥感、环境传感器等多源数据；开发手机 APP、无人机搭载系统，让智能植保工具走进偏远农田。
PART/6
总结
Swin-YOLO-SAM 混合 Transformer 框架，将 Swin Transformer、YOLOv12、SAM2.1 等前沿技术有机融合，破解了传统作物检测精度低、标注成本高、复杂场景适应性差三大难题。
它不仅为椰枣产业打造了一套成熟的智能化植保方案，也为全球精准农业、智慧农业发展提供了可复制的技术范式。随着后续迭代优化，AI 植保技术必将在更多田间地头落地生根。
END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
ABOUT
计算机视觉研究院
🔗
YOLO-TLA：一种基于 YOLOv5 的高效轻量级小目标检测模型 ViT-YOLO：基于Transformer的用于目标检测的YOLO算法 SSMA-YOLO：一种轻量级的 YOLO 模型，具备增强的特征提取与融合能力，适用于无人机航拍的船舶图像检测 LUD-YOLO：一种用于无人机的新型轻量级目标检测网络 Gold-YOLO：基于聚合与分配机制的高效目标检测器 Drone-YOLO：一种有效的无人机图像目标检测 「无人机+AI」“空中城管” 无人机+AI：光伏巡检自动化解决方案 无人机视角下多类别船舶检测及数量统计 机场项目：解决飞行物空间大小/纵横比、速度、遮挡等问题引起的实时目标检测问题 2PCNet：昼夜无监督域自适应目标检测（附原代码） YOLO-S：小目标检测的轻量级、精确的类YOLO网络 大改Yolo框架 | 能源消耗极低的目标检测新框架（附论文下载） 改进的检测算法：用于高分辨率光学遥感图像目标检测
