[论文解读] Point2RBox: Combine Knowledge from Synthetic Visual Patterns for End-to-end Oriented Object Detection with Single Point Supervision

Yi Yu, Xue Yang+5 more|arXiv (Cornell University)|Nov 23, 2023

Advanced Neural Network Applications被引用 5

一句话总结

Point2RBox 提出了一种端到端的、单点监督的定向目标检测方法，通过结合合成视觉模式与转换自监督学习，实现无需边界框或掩码标注的旋转框（RBoxes）回归。该方法在 DOTA/DIOR/HRSC 数据集上分别取得了 41.05%/27.62%/80.01% AP 的最先进性能，采用轻量化、单阶段范式。

ABSTRACT

With the rapidly increasing demand for oriented object detection (OOD), recent research involving weakly-supervised detectors for learning rotated box (RBox) from the horizontal box (HBox) has attracted more and more attention. In this paper, we explore a more challenging yet label-efficient setting, namely single point-supervised OOD, and present our approach called Point2RBox. Specifically, we propose to leverage two principles: 1) Synthetic pattern knowledge combination: By sampling around each labeled point on the image, we spread the object feature to synthetic visual patterns with known boxes to provide the knowledge for box regression. 2) Transform self-supervision: With a transformed input image (e.g. scaled/rotated), the output RBoxes are trained to follow the same transformation so that the network can perceive the relative size/rotation between objects. The detector is further enhanced by a few devised techniques to cope with peripheral issues, e.g. the anchor/layer assignment as the size of the object is not available in our point supervision setting. To our best knowledge, Point2RBox is the first end-to-end solution for point-supervised OOD. In particular, our method uses a lightweight paradigm, yet it achieves a competitive performance among point-supervised alternatives, 41.05%/27.62%/80.01% on DOTA/DIOR/HRSC datasets.

研究动机与目标

• 解决仅使用单点标注而非边界框或掩码进行定向目标检测器训练的监督最小化挑战。
• 克服两阶段流水线（如 Point-to-HBox-to-RBox）在速度和精度方面均不理想的问题。
• 开发一种新颖的端到端框架，直接从点监督回归 RBoxes，降低标注成本与复杂性。
• 通过结合图像变换与合成模式知识的自监督学习，提升模型泛化能力与鲁棒性。

提出的方法

• 合成模式知识组合：在每个点标注周围生成合成视觉模式（矩形、圆形、纹理形状或草图式图案），为 RBox 回归提供隐式的尺寸与方向提示。
• 转换自监督：对输入图像应用几何变换（旋转、翻转、缩放），并强制预测的 RBoxes 遵循相同的变换，使网络学习相对尺寸与旋转不变性。
• 使用多个相同尺寸的锚框，根据分类得分进行分配，以在点监督中缺少尺寸信息的情况下提升定位精度。
• 将合成模式知识与真实点标注联合监督分类与回归任务，实现统一的端到端训练。
• 设计轻量化、无 FPN 的检测器架构（如 YOLOF-A1），以保持效率并兼容基于点的监督方式。
• 在训练中应用噪声增强，以提升对标注不准确的鲁棒性，尤其针对边界模糊的物体。

实验结果

研究问题

• RQ1 仅使用单点标注而无需边界框或掩码标注，单点监督检测器是否能在定向目标检测中实现具有竞争力的性能？
• RQ2 当仅提供单个点时，合成视觉模式在推断物体尺寸与方向方面有多高效？
• RQ3 转换自监督在多大程度上提升了模型感知物体间相对尺度与旋转的能力？
• RQ4 与两阶段流水线（如 Point-to-HBox-to-RBox）相比，该方法在精度与推理速度方面表现如何？
• RQ5 该方法在具有不同物体形状与边界模糊性的多样化数据集上是否具备良好的泛化能力？

主要发现

• 使用 ResNeSt-CSPNeXt-l 主干网络，Point2RBox 在 DOTA 上达到 41.05% AP，在 DIOR 上达到 27.62%，在 HRSC 上达到 80.01% AP，显著优于最先进两阶段流水线（P2BNet + H2RBox-v2）。
• 使用 ResNet50 主干网络时，Point2RBox 在 DOTA 上达到 40.27% AP，在 DIOR 上达到 27.34%，在 HRSC 上达到 79.40% AP，展现出在极小监督下的强大性能。
• 在使用旋转与翻转时，转换自监督模块在所有数据集上平均提升 4.29% 性能；加入缩放后，性能进一步提升 1.82%。
• 在合成模式中加入曲线纹理，使 HRSC 上的性能从 75.01% 提升至 78.77%，表明更丰富的模式设计具有显著优势。
• 使用草图式合成模式相比基础形状，使 DOTA 上的性能提升 7.35%，表明语义边界对齐具有重要价值。
• 模型对标注噪声表现出鲁棒性：在 10% 噪声下，DIOR 上性能提升至 30.82%；在 20% 噪声下，平均仅下降 1.03%，表明对真实世界标注错误具有较强抗性。