乐于分享
好东西不私藏
夜雨聆风 > > 办公文件 > 黑夜 / 雾霾 / 遮挡全不怕,AI 行人检测再升级

黑夜 / 雾霾 / 遮挡全不怕,AI 行人检测再升级

当前时间： 2026-08-17 17:43:13 分类：办公文件 评论(0)
黑夜 / 雾霾 / 遮挡全不怕,AI 行人检测再升级

点击蓝字

关注我们

关注并星标

从此不迷路

计算机视觉研究院

公众号ID｜计算机视觉研究院

学习群｜扫码在主页获取加入方式

https://pmc.ncbi.nlm.nih.gov/articles/PMC12962485/pdf/pone.0342054.pdf

计算机视觉研究院专栏

Column of Computer Vision Institute

本文提出FID‑YOLO模型，通过融合可见光与红外多光谱信息，重构 YOLOv8 检测架构，在夜间、雾霾、遮挡等极端场景下实现更稳、更准、更鲁棒的行人检测，相关成果发表于PLOS ONE。

PART/1

痛点   

痛点直击：传统检测为何 “扛不住” 复杂环境？

当前行人检测面临三大致命问题：

  1. 光照恶劣：黑夜 / 低光下可见光图像失效，边缘模糊、特征丢失
  2. 遮挡干扰：行人互挡、物体遮挡，极易漏检误检
  3. 尺度多变：远距离小目标分辨率低，传统模型难以捕捉

单一光源（仅可见光 / 仅红外）信息不足，传统 YOLO 在复杂场景下精度跳水，无法满足自动驾驶与安防的高安全要求。

PART/2

技术突破   

技术突破：FID‑YOLO 三大创新模块重构检测架构

团队以 YOLOv8 为基座，打造 **“融合 + 特征 + 检测”** 三位一体 pipeline，彻底解决多光谱信息利用不足的问题。

1. EPIAFusion 光照感知融合模块

  • 替换原通道注意力为CSAM 通道 + 空间联合注意力
  • 白天侧重可见光纹理，夜晚强化红外热目标
  • 用Huber 损失替代 L1 损失，训练更稳、边缘更清晰
  • 生成 “信息互补融合图”，保留细节同时抑制噪声

2. CFAE 级联特征聚合模块

  • 融入RepVGG 结构重参数化，推理更快、开销更低
  • 搭配Channel Shuffle 通道洗牌，跨尺度信息高效交互
  • 强化遮挡行人特征提取，大幅降低漏检

3. SAFDH 尺度自适应检测头

  • 设计共享归一化卷积 SNC，统一分类与回归特征空间
  • 引入动态可变形卷积 DyDCNv2，精准对齐行人几何边界
  • 小目标检测能力显著提升，适配不同距离行人

PART/3

效果    

效果碾压：多数据集验证，精度全面领先

团队在M3FD、LLVIP、WiderPerson三大权威数据集开展对比实验，结果亮眼：

📊 M3FD 数据集

  • FID‑YOLO‑n mAP@0.5 达 0.801，超越 YOLOv8‑n/s、YOLO‑MIF 等模型
  • 参数量比 YOLOv8‑s 少27.7%，实现精度与速度平衡
  • 【P‑R 曲线与训练曲线全面优于基线】

📊 LLVIP 低光数据集

  • 融合模式下mAP@0.5 高达 0.980，F1=0.93
  • 相比可见光 YOLOv8：mAP 提升4.5%，小目标检测大幅增强
  • 【低光场景优势肉眼可见】

📊 WiderPerson 密集人群

  • 跨数据集泛化性优异，mAP 从 0.714→0.727
  • 仅可见光下依然领先，证明特征提取普适性强

🔬 消融实验

三大模块缺一不可，组合使用实现最大增益：EPIAFusion→CFAE→SAFDH，逐级拉升精度。

PART/4

实验结果   

可视化对比：复杂场景一验真假

【检测效果对比】

  • YOLOv8 在黑夜 / 遮挡下大量漏检、误检
  • FID‑YOLO 置信度更高、框选更准、无重复检测特征热力图：
  • 模型精准聚焦行人，不被背景干扰

PART/5

总结   

未来方向：更轻、更快、更通用

本次研究仍有优化空间，团队下一步将聚焦：

  1. 极致轻量化：适配车载、嵌入式等低算力设备
  2. 自适应融合：应对红外质量差、模态未对齐场景
  3. 更快推理速度：满足实时检测需求

总结

FID‑YOLO 凭借多光谱信息融合 + 三大创新模块，成功攻克复杂环境行人检测痛点，在黑夜、雾霾、遮挡、小目标场景表现突出，精度、速度、泛化性全面均衡。

它不仅是一篇学术创新，更为智能驾驶、智慧安防、机器人提供了可落地的高效检测方案。

有相关需求的你可以联系我们！

END

转载请联系本公众号获得授权

计算机视觉研究院学习群等你加入！

ABOUT

计算机视觉研究院

计算机视觉研究院主要涉及深度学习领域，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
往期推荐 

🔗