[论文解读] OrientedFormer: An End-to-End Transformer-Based Oriented Object Detector in Remote Sensing Images

Jiaqi Zhao, Zeyu Ding+5 more|arXiv (Cornell University)|Sep 29, 2024

Remote-Sensing Image Classification被引用 4

一句话总结

OrientedFormer 提出了一种基于 Transformer 的端到端检测器，用于遥感图像中的定向目标检测，通过引入高斯位置编码、Wasserstein 自注意力机制和定向交叉注意力机制，解决了角度编码、几何关系建模和特征错位问题。在 DIOR-R 和 DOTA-v1.0 数据集上，分别实现了 +1.16 和 +1.21 的 AP50 提升，同时将训练周期从 3× 降低至 1×。

ABSTRACT

Oriented object detection in remote sensing images is a challenging task due to objects being distributed in multi-orientation. Recently, end-to-end transformer-based methods have achieved success by eliminating the need for post-processing operators compared to traditional CNN-based methods. However, directly extending transformers to oriented object detection presents three main issues: 1) objects rotate arbitrarily, necessitating the encoding of angles along with position and size; 2) the geometric relations of oriented objects are lacking in self-attention, due to the absence of interaction between content and positional queries; and 3) oriented objects cause misalignment, mainly between values and positional queries in cross-attention, making accurate classification and localization difficult. In this paper, we propose an end-to-end transformer-based oriented object detector, consisting of three dedicated modules to address these issues. First, Gaussian positional encoding is proposed to encode the angle, position, and size of oriented boxes using Gaussian distributions. Second, Wasserstein self-attention is proposed to introduce geometric relations and facilitate interaction between content and positional queries by utilizing Gaussian Wasserstein distance scores. Third, oriented cross-attention is proposed to align values and positional queries by rotating sampling points around the positional query according to their angles. Experiments on six datasets DIOR-R, a series of DOTA, HRSC2016 and ICDAR2015 show the effectiveness of our approach. Compared with previous end-to-end detectors, the OrientedFormer gains 1.16 and 1.21 AP$_{50}$ on DIOR-R and DOTA-v1.0 respectively, while reducing training epochs from 3$ imes$ to 1$ imes$. The codes are available at https://github.com/wokaikaixinxin/OrientedFormer.

研究动机与目标

• 为解决由于多方向性、密集排列和尺度变化导致的遥感图像中任意方向目标检测困难的问题，包括定位与分类的挑战。
• 克服将 Transformer 扩展至定向目标检测时的三大关键局限：角度编码不足、自注意力机制中缺乏几何关系建模，以及交叉注意力中的特征错位。
• 设计一种端到端框架，消除 NMS 等后处理操作，实现一对一标签分配，从而提升训练效率与检测精度。
• 在保持与基于 CNN 的检测器相当性能的同时，将训练周期从 3× 降低至 1×，提升实际部署的可行性。

提出的方法

• 引入高斯位置编码，利用二维高斯分布联合表示定向边界框的位置、尺寸与方向（角度）。
• Wasserstein 自注意力机制通过计算高斯 Wasserstein 距离得分，将内容查询之间的几何关系融入自注意力计算，实现内容查询与位置查询的交互。
• 定向交叉注意力机制根据目标角度对采样点进行旋转，使特征值与位置查询对齐，从而减少特征聚合过程中的错位问题。
• 模型采用标准的 Transformer 编码器-解码器架构，包含可学习查询，其中位置查询表示目标中心，采样点根据角度旋转以进行注意力计算。
• 将上述组件整合为统一的端到端框架，避免依赖人工设计的后处理操作（如 NMS）。
• 在六个数据集上进行实验：DIOR-R、DOTA-v1.0、DOTA-v1.5、HRSC2016 和 ICDAR2015，消融实验验证了各组件的贡献。

(a)

实验结果

研究问题

• RQ1 基于 Transformer 的检测器能否在遥感图像中同时有效编码目标的角度、位置与尺寸？
• RQ2 能否在自注意力机制中有效建模目标查询之间的几何关系，从而提升检测性能？
• RQ3 通过根据目标方向旋转采样点，能否有效缓解交叉注意力中的特征错位问题？
• RQ4 所提出的端到端框架是否在检测精度与训练效率方面优于先前方法？
• RQ5 该模型能否在光照条件差、极端天气等多样化的遥感数据集上实现良好泛化能力？

主要发现

• 在 DIOR-R 数据集上，OrientedFormer 相较于先前的端到端检测器实现了 1.16 的 AP50 提升，证明其具有更优的检测精度。
• 在 DOTA-v1.0 数据集上，模型相比先前的端到端方法将 AP50 提升了 1.21 分，证实其具备强大的泛化能力。
• 模型在保持或提升性能的前提下，将训练周期从 3× 降低至 1×，显著提升了训练效率。
• 消融实验表明，高斯位置编码、Wasserstein 自注意力与定向交叉注意力三个组件均对性能提升有显著贡献。
• 可视化结果表明，学习到的位置查询准确聚焦于目标中心，采样点能有效与定向边界框对齐，验证了机制设计的正确性。
• 模型在小目标、高长宽比及低光照等复杂场景下表现稳健，但对极小目标或与背景相似的目标仍存在部分次优结果。

(b)