[论文解读] Overhead Detection: Beyond 8-bits and RGB

Eliza Mace, Keith Manville+4 more|arXiv (Cornell University)|Aug 7, 2018

CCD and CMOS Imaging Sensors参考文献 3被引用 7

一句话总结

本文在SpaceNet数据集上使用R-FCN检测器评估了更高比特深度（13位）和多光谱数据对卫星图像中目标检测的影响。通过利用13位动态范围，建筑物检测准确率提升了32%以上，而额外光谱波段带来的增益微乎其微，并建立了在不同建筑物尺寸和场景密度下的性能基线。

ABSTRACT

This study uses the challenging and publicly available SpaceNet dataset to establish a performance baseline for a state-of-the-art object detector in satellite imagery. Specifically, we examine how various features of the data affect building detection accuracy with respect to the Intersection over Union metric. We demonstrate that the performance of the R-FCN detection algorithm on imagery with a 1.5 meter ground sample distance and three spectral bands increases by over 32% by using 13-bit data, as opposed to 8-bit data at the same spatial and spectral resolution. We also establish accuracy trends with respect to building size and scene density. Finally, we propose and evaluate multiple methods for integrating additional spectral information into off-the-shelf deep learning architectures. Interestingly, our methods are robust to the choice of spectral bands and we note no significant performance improvement when adding additional bands.

研究动机与目标

• 通过SpaceNet数据集建立最先进的目标检测器在卫星图像中的性能基线。
• 研究更高的比特深度（13位对比8位）和额外光谱波段对检测准确率的影响。
• 评估现成深度学习模型在扩展处理多光谱和高动态范围卫星数据时的鲁棒性。
• 分析在航拍图像中不同建筑物尺寸和场景密度下的检测性能。
• 为目标检测任务中的空间分辨率、光谱分辨率和动态范围分辨率提供全面的权衡分析。

提出的方法

• 使用ImageNet预训练权重，对R-FCN目标检测架构进行微调，以适应卫星图像。
• 通过修改输入卷积层的架构，将标准的3波段RGB输入扩展为支持8波段多光谱数据。
• 应用动态范围缩放技术，将13位数据转换为8位以进行对比，同时在训练期间保留高动态范围信息。
• 使用交并比（IoU）指标，结合不同的置信度和IoU阈值，评估检测性能。
• 采用在线难例挖掘（OHEM）以提高在困难负样本上的训练效率和检测准确率。
• 对不同数据配置（8位/13位、3波段/8波段，以及不同的地面采样距离（GSD））进行消融研究。

实验结果

研究问题

• RQ1 将比特深度从8位提高到13位，对卫星图像中目标检测准确率有何影响？
• RQ2 在使用现成深度学习模型时，增加多光谱波段（超出RGB）对建筑物检测性能有何影响？
• RQ3 建筑物尺寸和场景密度如何影响航拍图像中的检测性能？
• RQ4 标准目标检测架构能否有效适应处理高动态范围和多光谱卫星数据？
• RQ5 在卫星图像目标检测中，空间分辨率、光谱分辨率和动态范围之间存在哪些权衡？

主要发现

• 在相同的1.5米GSD、3波段图像上，使用13位数据相比8位数据，检测准确率提升了32%以上，表明高动态范围具有显著优势。
• 将波段数从3个增加到8个（即增加8个多光谱波段）并未在RGB仅数据的基础上带来显著性能提升，表明在此设置下模型性能不受光谱信息限制。
• R-FCN检测器在高密度场景中表现不佳，与地面检测器的研究结果一致，表明其在处理密集物体布局方面存在局限性。
• 即使在超参数优化后，极小的建筑物对检测器仍构成挑战，表明需要对网络架构或锚框尺度进行调整。
• 当使用13位数据时，高分辨率（HR）与低分辨率（LR）图像之间的性能差距得到缓解，表明比特深度可在一定程度上补偿空间分辨率的降低。
• 将多光谱数据集成到现成模型中的方法在不同光谱波段组合下均表现稳健，未观察到显著的性能差异。