[论文解读] Oriented Feature Alignment for Fine-grained Object Recognition in High-Resolution Satellite Imagery

Qi Ming, Junjie Song+1 more|arXiv (Cornell University)|Oct 13, 2021

Advanced Neural Network Applications参考文献 12被引用 8

一句话总结

该论文提出 OFA-Net，一种用于高分辨率卫星影像中细粒度定向目标识别的无锚点方法，通过级联的旋转框精炼与定向特征对齐，提升定位精度与纹理特征提取能力。该方法在高分竞赛中取得 46.51% mAP，在 ISPRS 基准上达到 43.73% mAP，展现出遥感领域细粒度识别的最先进性能。

ABSTRACT

Oriented object detection in remote sensing images has made great progress in recent years. However, most of the current methods only focus on detecting targets, and cannot distinguish fine-grained objects well in complex scenes. In this technical report, we analyzed the key issues of fine-grained object recognition, and use an oriented feature alignment network (OFA-Net) to achieve high-performance fine-grained oriented object recognition in optical remote sensing images. OFA-Net achieves accurate object localization through a rotated bounding boxes refinement module. On this basis, the boundary-constrained rotation feature alignment module is applied to achieve local feature extraction, which is beneficial to fine-grained object classification. The single model of our method achieved mAP of 46.51\% in the GaoFen competition and won 3rd place in the ISPRS benchmark with the mAP of 43.73\%.

研究动机与目标

• 解决在高分辨率卫星影像中区分细粒度目标的挑战，特别是当目标在高空视觉相似且缺乏纹理时。
• 克服现有检测器仅关注通用目标检测但因外观相似与长尾实例分布而在细粒度分类中表现不佳的局限性。
• 将细粒度识别解耦为定位与分类子任务，通过专用模块提升准确率。
• 通过重采样与数据增强缓解类别不平衡，提升模型在稀有类别上的泛化能力。

提出的方法

• 使用旋转锚点精炼模块（RARM）与精确检测模块（ADM）的级联结构，通过多阶段回归精炼旋转边界框，提升定位精度。
• 引入基于 AlignConv 的定向特征对齐分支，在旋转提议区域内提取纹理特征，通过聚焦于与目标相关的区域，增强细粒度分类能力。
• 实施类别平衡采样与数据增强（如随机裁剪、翻转、光学畸变）以应对长尾分布并提升鲁棒性。
• 第一阶段使用低 IoU 阈值（0.4）选择正样本以最大化召回率，第二阶段使用高 IoU 阈值以提升定位精度。
• 利用在 DOTA 和细粒度飞机数据集上预训练的模型提供先验知识，加速收敛。
• 通过数据增强将数据集扩大一倍，结合多尺度训练与测试，进一步提升性能。

实验结果

研究问题

• RQ1 旋转框精炼在细粒度遥感目标检测中如何提升定位精度？
• RQ2 定向特征对齐在区分视觉相似目标时，能在多大程度上增强纹理特征提取？
• RQ3 类别平衡采样与数据增强是否能显著提升在长尾遥感数据集上的识别性能？
• RQ4 在细粒度识别任务中，检测置信度阈值与 mAP 之间存在何种最优权衡？
• RQ5 在相关数据集（如 DOTA、高分飞机数据）上进行预训练，对提升细粒度类别泛化能力有多有效？

主要发现

• 单模型 OFA-Net 在高分细粒度飞机识别挑战赛中取得 46.51% mAP，位列 213 支队伍中的第 3 名。
• 在 ISPRS 基准上，该方法达到 43.73% mAP，展现出在多样化遥感数据集上的强大性能。
• 第一阶段使用低 IoU 阈值（0.4）选择正样本可提升召回率，第二阶段使用高 IoU 阈值则增强定位精度，最终在最佳配置下实现 41.36% mAP。
• 降低检测置信度阈值可提升 mAP，表明在此场景下更高召回率比更高精度更有利于 mAP。
• 数据增强与重采样策略使训练集扩大一倍，结合多尺度训练后，mAP 提升 2.84%（从 40.8882% 提升至 43.7304%）。
• 在 DOTA 和高分飞机数据上进行预训练显著加速收敛，并在相似类别上提升性能，仅用一个训练周期的微调即可达到从零训练六周期的效果。