夜雨聆风点击蓝字
关注我们
关注并星标
从此不迷路
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
https://pmc.ncbi.nlm.nih.gov/articles/PMC12962485/pdf/pone.0342054.pdf
计算机视觉研究院专栏
Column of Computer Vision Institute
本文提出FID‑YOLO模型，通过融合可见光与红外多光谱信息，重构 YOLOv8 检测架构，在夜间、雾霾、遮挡等极端场景下实现更稳、更准、更鲁棒的行人检测，相关成果发表于PLOS ONE。
PART/1
痛点
痛点直击：传统检测为何 “扛不住” 复杂环境？
当前行人检测面临三大致命问题：
- 光照恶劣：黑夜 / 低光下可见光图像失效，边缘模糊、特征丢失
- 遮挡干扰：行人互挡、物体遮挡，极易漏检误检
- 尺度多变：远距离小目标分辨率低，传统模型难以捕捉
单一光源（仅可见光 / 仅红外）信息不足，传统 YOLO 在复杂场景下精度跳水，无法满足自动驾驶与安防的高安全要求。
PART/2
技术突破
技术突破：FID‑YOLO 三大创新模块重构检测架构
团队以 YOLOv8 为基座，打造 **“融合 + 特征 + 检测”** 三位一体 pipeline，彻底解决多光谱信息利用不足的问题。
1. EPIAFusion 光照感知融合模块
替换原通道注意力为CSAM 通道 + 空间联合注意力 白天侧重可见光纹理，夜晚强化红外热目标 用Huber 损失替代 L1 损失，训练更稳、边缘更清晰 生成 “信息互补融合图”，保留细节同时抑制噪声
2. CFAE 级联特征聚合模块
融入RepVGG 结构重参数化，推理更快、开销更低 搭配Channel Shuffle 通道洗牌，跨尺度信息高效交互 强化遮挡行人特征提取，大幅降低漏检
3. SAFDH 尺度自适应检测头
设计共享归一化卷积 SNC，统一分类与回归特征空间 引入动态可变形卷积 DyDCNv2，精准对齐行人几何边界 小目标检测能力显著提升，适配不同距离行人
PART/3
效果
效果碾压：多数据集验证，精度全面领先
团队在M3FD、LLVIP、WiderPerson三大权威数据集开展对比实验，结果亮眼：
📊 M3FD 数据集
FID‑YOLO‑n mAP@0.5 达 0.801，超越 YOLOv8‑n/s、YOLO‑MIF 等模型 参数量比 YOLOv8‑s 少27.7%，实现精度与速度平衡 
【P‑R 曲线与训练曲线全面优于基线】
📊 LLVIP 低光数据集
融合模式下mAP@0.5 高达 0.980，F1=0.93 相比可见光 YOLOv8：mAP 提升4.5%，小目标检测大幅增强 
【低光场景优势肉眼可见】
📊 WiderPerson 密集人群
跨数据集泛化性优异，mAP 从 0.714→0.727 仅可见光下依然领先，证明特征提取普适性强
🔬 消融实验
三大模块缺一不可，组合使用实现最大增益：EPIAFusion→CFAE→SAFDH，逐级拉升精度。
PART/4
实验结果
可视化对比：复杂场景一验真假
【检测效果对比】
YOLOv8 在黑夜 / 遮挡下大量漏检、误检 FID‑YOLO 置信度更高、框选更准、无重复检测特征热力图： 
模型精准聚焦行人，不被背景干扰
PART/5
总结
未来方向：更轻、更快、更通用
本次研究仍有优化空间，团队下一步将聚焦：
- 极致轻量化：适配车载、嵌入式等低算力设备
- 自适应融合：应对红外质量差、模态未对齐场景
- 更快推理速度：满足实时检测需求
总结
FID‑YOLO 凭借多光谱信息融合 + 三大创新模块，成功攻克复杂环境行人检测痛点，在黑夜、雾霾、遮挡、小目标场景表现突出，精度、速度、泛化性全面均衡。
它不仅是一篇学术创新，更为智能驾驶、智慧安防、机器人提供了可落地的高效检测方案。
END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
ABOUT
计算机视觉研究院
🔗
YOLO-TLA：一种基于 YOLOv5 的高效轻量级小目标检测模型 ViT-YOLO：基于Transformer的用于目标检测的YOLO算法 SSMA-YOLO：一种轻量级的 YOLO 模型，具备增强的特征提取与融合能力，适用于无人机航拍的船舶图像检测 LUD-YOLO：一种用于无人机的新型轻量级目标检测网络 Gold-YOLO：基于聚合与分配机制的高效目标检测器 Drone-YOLO：一种有效的无人机图像目标检测 「无人机+AI」“空中城管” 无人机+AI：光伏巡检自动化解决方案 无人机视角下多类别船舶检测及数量统计 机场项目：解决飞行物空间大小/纵横比、速度、遮挡等问题引起的实时目标检测问题 2PCNet：昼夜无监督域自适应目标检测（附原代码） YOLO-S：小目标检测的轻量级、精确的类YOLO网络 大改Yolo框架 | 能源消耗极低的目标检测新框架（附论文下载） 改进的检测算法：用于高分辨率光学遥感图像目标检测
