[论文解读] Task-wise Sampling Convolutions for Arbitrary-Oriented Object Detection in Aerial Images

Zhanchao Huang, Wei Li+3 more|arXiv (Cornell University)|Sep 6, 2022

Advanced Neural Network Applications参考文献 64被引用 5

一句话总结

该论文提出了一种名为任务自适应采样卷积（TS-Conv）的新方法，用于在航空影像中进行任意方向目标检测，通过从方向敏感区域自适应采样特定任务的特征，解决了定位与分类任务之间特征敏感度不一致（IFS）的问题。TS-Conv采用基于任务感知得分的动态标签分配策略，在多个数据集上实现了最先进性能，其中在DIOR-R数据集上mAP50:95提升高达+3.94，在SSDD+数据集上提升高达+19.78。

ABSTRACT

Arbitrary-oriented object detection (AOOD) has been widely applied to locate and classify objects with diverse orientations in remote sensing images. However, the inconsistent features for the localization and classification tasks in AOOD models may lead to ambiguity and low-quality object predictions, which constrains the detection performance. In this article, an AOOD method called task-wise sampling convolutions (TS-Conv) is proposed. TS-Conv adaptively samples task-wise features from respective sensitive regions and maps these features together in alignment to guide a dynamic label assignment for better predictions. Specifically, sampling positions of the localization convolution in TS-Conv are supervised by the oriented bounding box (OBB) prediction associated with spatial coordinates, while sampling positions and convolutional kernel of the classification convolution are designed to be adaptively adjusted according to different orientations for improving the orientation robustness of features. Furthermore, a dynamic task-consistent-aware label assignment (DTLA) strategy is developed to select optimal candidate positions and assign labels dynamically according to ranked task-aware scores obtained from TS-Conv. Extensive experiments on several public datasets covering multiple scenes, multimodal images, and multiple categories of objects demonstrate the effectiveness, scalability, and superior performance of the proposed TS-Conv.

研究动机与目标

• 解决在多样化目标方向下，任意方向目标检测（AOOD）中定位与分类任务之间特征敏感度不一致（IFS）的问题。
• 克服现有方法中固定感受野与共享采样偏移的局限性，这些方法无法有效捕捉特定任务与方向感知的特征。
• 设计一种动态、任务感知的标签分配策略，基于TS-Conv学习到的任务感知得分，选择最优候选位置。
• 确保在轻量化模型与多模态数据（如RGB、SAR、红外）上具备可扩展性与鲁棒性，且不增加推理成本。
• 提升密集、多方向遥感场景中的检测精度，尤其针对船等极端长宽比物体，减少误检。

提出的方法

• 设计任务自适应采样卷积（TS-Conv），使定位与分类分支解耦，并采用独立的自适应采样策略。
• 对于定位任务，采样位置由定向边界框（OBB）预测的空间坐标监督，以对齐方向敏感区域。
• 对于分类任务，采样位置与卷积核根据目标方向自适应调整，以增强在不同角度下的特征鲁棒性。
• 引入一种动态任务感知标签分配（DTLA）机制，利用TS-Conv输出的任务感知得分对候选位置进行排序，并据此分配标签。
• 使用可变形卷积，结合任务特定与方向感知的采样偏移，捕捉空间与方向敏感性，同时摆脱固定卷积核的限制。
• 将TS-Conv集成到无锚点检测框架中，在保持高效性的同时提升特征对齐与预测质量。

实验结果

研究问题

• RQ1 在多样化目标方向下，如何缓解任意方向目标检测中定位与分类任务之间的特征敏感度不一致（IFS）问题？
• RQ2 特定任务与方向感知的特征采样是否能提升在密集、多方向航空影像中目标检测的精度与鲁棒性？
• RQ3 与静态或共享采样策略相比，动态任务感知标签分配在多大程度上提升了预测质量？
• RQ4 TS-Conv在不同数据模态（如RGB、SAR、红外）及轻量化架构上表现如何，且是否在不增加推理成本的前提下保持性能？
• RQ5 显式的方向感知采样对减少误检与提升标准基准测试中的mAP有何影响？

主要发现

• 在DIOR-R数据集上，TS-Conv相较于基线方法GGHL，mAP50:95提升3.94个百分点，达到41.38 mAP50:95。
• 在SSDD+ SAR数据集上，TS-Conv相较于基线GGHL，mAP75提升19.78个百分点，达到41.96 mAP75。
• 在HRSC2016数据集上，TS-Conv达到80.81 mAP50:95，较基线GGHL提升2.27个百分点。
• 该方法展现出强大的泛化能力，在包括RGB、红外、SAR与全色影像在内的多个数据集上均达到最先进性能。
• TS-Conv保持了高效率与可扩展性，在不增加推理成本的前提下，显著提升了MobileNetV2等轻量化模型的性能。
• 可视化结果表明，TS-Conv有效减少了误检，并生成了更精确的定向边界框，尤其在极端长宽比的船只目标上表现突出。