[论文解读] PENet: Object Detection using Points Estimation in Aerial Images

Ziyang Tang, Xiang Liu+2 more|arXiv (Cornell University)|Jan 22, 2020

Robotics and Sensor-Based Localization参考文献 37被引用 15

一句话总结

PENet 提出了一种新颖的无锚点目标检测框架，用于航空影像，通过端到端的粗到精流程解决小目标检测挑战：CPEN 使用非极大值合并（NMM）估计聚类中心，以处理密集的小目标；FPEN 通过分层损失函数优化定位，以应对类别相似性问题。该方法在 visDrone 和 UAVDT 数据集上分别实现了 8.7% 和 20.3% 的 mAP 提升，达到当前最优性能。

ABSTRACT

Aerial imagery has been increasingly adopted in mission-critical tasks, such as traffic surveillance, smart cities, and disaster assistance. However, identifying objects from aerial images faces the following challenges: 1) objects of interests are often too small and too dense relative to the images; 2) objects of interests are often in different relative sizes; and 3) the number of objects in each category is imbalanced. A novel network structure, Points Estimated Network (PENet), is proposed in this work to answer these challenges. PENet uses a Mask Resampling Module (MRM) to augment the imbalanced datasets, a coarse anchor-free detector (CPEN) to effectively predict the center points of the small object clusters, and a fine anchor-free detector FPEN to locate the precise positions of the small objects. An adaptive merge algorithm Non-maximum Merge (NMM) is implemented in CPEN to address the issue of detecting dense small objects, and a hierarchical loss is defined in FPEN to further improve the classification accuracy. Our extensive experiments on aerial datasets visDrone and UAVDT showed that PENet achieved higher precision results than existing state-of-the-art approaches. Our best model achieved 8.7% improvement on visDrone and 20.3% on UAVDT.

研究动机与目标

• 解决高分辨率航空影像中目标小、密集且类别不平衡的检测挑战。
• 通过适配航空影像特征，克服现有基于自然图像数据集训练的 CNN 检测器的局限性。
• 通过数据增强和专用检测模块，提升小目标和稀有类别目标的检测精度。
• 缓解类别相似性问题（CSP），即视觉上相似的类别（如行人与人）难以区分。
• 构建模块化、可扩展的框架，可无缝集成到现有基于 CNN 的检测器中，以提升在航空基准测试上的性能。

提出的方法

• 引入掩码重采样模块（MRM），通过道路地图和实例图像块合成对象实例，以增强类别不平衡的数据集。
• 采用粗粒度无锚点检测器（CPEN），利用非极大值合并（NMM）生成高质量的聚类图像块，以应对密集小目标。
• 应用细粒度无锚点检测器（FPEN），通过分层损失函数优化定位，提升分类精度。
• 在 FPEN 中使用分层损失函数，通过建模类别间关系来缓解类别相似性问题（CSP），提升泛化能力。
• 融合来自原始高分辨率图像和聚类图像块的 FPEN 预测结果，以增强对小目标和大目标的检测能力。
• 实施粗到精的检测流程：CPEN 首先检测聚类区域，随后 FPEN 在这些聚类区域内精炼目标位置。

实验结果

研究问题

• RQ1 当高分辨率航空影像中的目标小、密集且类别不平衡时，如何提升目标检测性能？
• RQ2 在具有可变目标尺寸和视角的航空影像中，基于关键点的检测方法是否能优于基于锚点的方法？
• RQ3 通过 MRM 实现的数据增强在提升稀有或代表性不足目标类别的检测性能方面，效果如何？
• RQ4 非极大值合并（NMM）算法在不产生过分割的前提下，对密集小目标聚类的有效性如何？
• RQ5 在存在类别相似性问题（CSP）的情况下，如区分行人与人等相似类别，分层损失函数是否能有效提升检测精度？

主要发现

• 与当前最优方法相比，PENet 在 UAVDT 数据集上实现了 20.3% 的 mAP 提升，在 visDrone 数据集上实现了 8.7% 的 mAP 提升。
• 仅使用 CPEN 模块，与基线 CenterNet 相比，在 visDrone 上 mAP 提升 15.1%，在 UAVDT 上提升 38.1%，证明了基于聚类检测的有效性。
• 引入 MRM 后，mAP 在 UAVDT 上最高提升 4.7%，在 visDrone 上提升 4.4%，证实了数据增强对稀有目标类别的价值。
• FPEN 中的分层损失使 visDrone 上的 mAP 提升 7.4%，尤其在小目标和模糊类别（如自行车和三轮车）上增益最大。
• 消融实验证实，MRM、CPEN 和带分层损失的 FPEN 各自独立且显著地贡献于整体性能提升。
• 模型具备良好的跨数据集泛化能力：分层损失支持在多个航空数据集上联合训练，提升模型鲁棒性与泛化能力。