Sci Data数据集分享 | 给AI最好的“食材”—城市花园毫米级分辨率无人机影像,含人工标注
这个数据集有点小众,但是当最近看到一个创业团队的创业项目后,突然觉得类似的数据集大有可为。这个创业项目的核心思路是—— 精确绘制城市热岛,然后提供定制化降温方案 ,那么城市花园的研究就有点契合这个创业思路。
同时这个数据集也可以 用作实验课的数据素材 ,用作图像分类教学与练习,不局限于遥感或GIS专业,也包括计算机视觉。今天就来分享一个最近刚发表的城市花园RGB数据集( 含8种人工标注信息 )。
文章标题: A drone imagery dataset for semantic segmentation of urban garden ground covers in biodiversity studies
期刊名称: scientific data
第一作者: Yasamin Afrasiabian, 慕尼黑工业大学
文章链接: 阅读原文
给AI最好的“食材”—在毫米级影像上进行像素级标记
图像识别与分类的破圈伊始,是 对猫的识别 。到现在底层的逻辑都没有质的变化,AI需要你告诉它这是猫。同样,对于一幅高分辨率正射影像,非监督分类可以分类出图像边界,但是, 是花是草还是裸土,也需要你去告诉它 。
这个数据集的 无人机RGB影像的 空间分辨率达到3.2至7.9毫米的,一切看似清晰,但城市花园的微生境极其复杂,枯叶与木屑、泥土与石块在色彩和纹理上极易混淆。如果直接将原图喂给AI,它看到的只是一团杂乱的色块。为此,研究团队针对8种地表覆盖物(草 (grass)、草本植物 (herb)、落叶/枯枝落叶 (litter)、裸土 (soil)、石头 (stone)、稻草 (straw)、木材 (wood) 和木屑 (woodchip)), 进行了极度耗时的人工像素级掩码标记,紧贴物体的真实边缘勾勒出精确的多边形。
之前我们聊过, 高端的食材,只需要简单的烹饪 。今天的AI的“食材”是这些高质量的“像素级标准答案”,深度学习模型在这个极高难度的微观场景下,最终跑出了高达93.2%的准确率。这再次证明了AI界的一个硬核真理: 算法的上限,永远是由高质量的标注数据决定的。
▍ 最左侧是“无人机原图”,中间是专家手工绘制的“像素级彩色标签(标准答案)”,右侧是“AI模型的预测结果”。
采集平台: 使用配备了高分辨率 RGB 相机和 RTK(实时动态定位)系统的 DJI Phantom 4 RTK 无人机获取。
采集时间与地点:2021年(7月、8月)和2022年(5月、7月、10月),覆盖了德国慕尼黑的5个城市社区花园。
空间分辨率:极高分辨率,达到3.2至7.9毫米/像素 (mm/px)。
数据规模与维度:采集了2,521张原始无人机RGB图像,拼接生成了24幅全景正射影像,每幅影像的大小在1,890万到1.464亿像素之间。
精细化像素级标注:包含 8 种地表覆盖类别的全像素级手工标注:草 (grass)、草本植物 (herb)、落叶/枯枝落叶 (litter)、裸土 (soil)、石头 (stone)、稻草 (straw)、木材 (wood) 和 木屑 (woodchip)。
开源格式:所有正射影像和对应的标签掩码 (Masks) 均以标准的 GeoTIFF 格式提供,并配套详细的元数据 CSV 文件(包含飞行高度、时间、重叠率等日志)。
数据地址: zenodo.org/records/18757882
▍ 来自德国慕尼黑五个城市社区花园的正射影像示例。
最后,表达一下对作者和团队的Respect!他们能够对数据完全公开,并共享详细的标注信息,仿佛看到了科研无国界的幻境。