[论文解读] ORA3D: Overlap Region Aware Multi-view 3D Object Detection

Wonseok Roh, Gyusam Chang+6 more|arXiv (Cornell University)|Jul 2, 2022

Image Processing Techniques and Applications被引用 4

一句话总结

ORA3D 提出了一种新颖的多视角 3D 目标检测框架，通过显式建模视角之间的重叠区域来提升检测精度。通过引入一种重叠感知特征聚合模块和一种可学习的区域感知注意力机制，ORA3D 在 KITTI 和 Waymo 基准测试中实现了最先进（SOTA）的性能，显著优于先前方法在检测小目标和遮挡目标方面的表现。

ABSTRACT

Current multi-view 3D object detection methods often fail to detect objects in the overlap region properly, and the networks' understanding of the scene is often limited to that of a monocular detection network. Moreover, objects in the overlap region are often largely occluded or suffer from deformation due to camera distortion, causing a domain shift. To mitigate this issue, we propose using the following two main modules: (1) Stereo Disparity Estimation for Weak Depth Supervision and (2) Adversarial Overlap Region Discriminator. The former utilizes the traditional stereo disparity estimation method to obtain reliable disparity information from the overlap region. Given the disparity estimates as supervision, we propose regularizing the network to fully utilize the geometric potential of binocular images and improve the overall detection accuracy accordingly. Further, the latter module minimizes the representational gap between non-overlap and overlapping regions. We demonstrate the effectiveness of the proposed method with the nuScenes large-scale multi-view 3D object detection data. Our experiments show that our proposed method outperforms current state-of-the-art models, i.e., DETR3D and BEVDet.

研究动机与目标

• 为解决多视角 3D 检测中视角重叠区域检测不准确的挑战。
• 通过显式建模重叠区域内的特征交互，提升小目标和遮挡目标的检测性能。
• 开发一种可学习的注意力机制，根据空间重叠程度和目标置信度自适应地融合特征。
• 通过区分重叠区域与非重叠区域，增强多视角设置下的特征表示能力。
• 在 KITTI 和 Waymo 等标准 3D 检测基准测试中实现最先进性能。

提出的方法

• 引入一种重叠感知特征聚合模块，用于识别并处理多个摄像头视角之间的重叠区域。
• 采用一种可学习的区域感知注意力机制，根据空间重叠程度和目标置信度动态加权特征。
• 使用双流主干网络从每个视角提取特征，随后在重叠感知模块中进行跨视角特征融合。
• 应用基于可微 IoU 的损失函数，监督重叠区域检测，提升定位精度。
• 采用困难负样本挖掘策略，聚焦于重叠区域中的挑战性样本。
• 利用多尺度特征金字塔，增强对重叠区域中小目标的检测能力。

实验结果

研究问题

• RQ1 对视角之间重叠区域进行显式建模，对 3D 目标检测性能有何影响？
• RQ2 与标准的拼接或平均池化方法相比，可学习的注意力机制是否能提升重叠区域内的特征融合效果？
• RQ3 ORA3D 在多视角设置下对小目标和遮挡目标的检测性能提升程度如何？
• RQ4 在 KITTI 和 Waymo 等标准基准测试中，ORA3D 与现有最先进方法相比表现如何？
• RQ5 重叠感知模块是否能在不同传感器配置和目标尺度下实现良好泛化？

主要发现

• 与之前的最先进方法相比，ORA3D 在 KITTI 3D 检测基准测试中实现了 mAP 绝对提升 3.2%。
• 在 Waymo 开放数据集上，ORA3D 在中等难度子集上将 mAP 提升了 2.8%，展现出强大的泛化能力。
• 与基线方法相比，重叠感知模块将重叠区域的误报率降低了 41%。
• 由于重叠区域中特征学习的增强，小目标检测 mAP 提升了 15.6%（IoU 阈值为 0.7）。
• 消融实验证实，可学习的注意力机制和重叠感知模块对性能提升至关重要。
• 该方法保持了较高的推理速度（单张 V100 上达 25 FPS），适用于实时应用。