夜雨聆风学习资料网

ARTICLE · 1277895

BEVFormer 源码精读:纯视觉方案在 nuScene

BEVFormer 源码精读:纯视觉方案在 nuScene

BEVFormer 源码精读:纯视觉方案在 nuScene

2022 年 ECCV 出了个 BEVFormer,纯摄像头的自动驾驶感知一下追平了激光雷达。

它在 nuScenes 测试集拿了 56.9% 的 NDS,比之前最好的纯视觉方案高了整整 9 个点。要知道,激光雷达天生测距更准,纯视觉能追平,对想降本的量产车来说是个大信号。

核心是用 Transformer 把多路摄像头画面拼成一张鸟瞰图。空间上,每个网格去问各路摄像头“这块地上有什么”;时间上,把上一帧的图按自车位姿对齐再融进来。单帧根本没法可靠测速,速度全靠时序对齐。

官方仓库放出的基线是 51.7% NDS,满配那个 56.9 别一上来就硬磕。nuScenes 数据集约 400GB,base 配置在 8 张 A100 上得跑好几天。单卡建议从 tiny 的 FP16 版本入手,显存只要 6500MB 左右,先跑通流程再谈精度。

最容易看错的一点:BEV 查询不是从图像里生成的。它是一组训练前就初始化好的位置嵌入,图像特征是被它“拉”进鸟瞰图的。

原文BEVFormer 源码精读:纯视觉方案在 nuScenes 上追平激光雷达,ECCV 2022 的 BEV 感知框架
上海,4小时前,

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料