[论文解读] Object-Aware Centroid Voting for Monocular 3D Object Detection

Wentao Bao, Qi Yu+1 more|arXiv (Cornell University)|Jul 20, 2020

Advanced Neural Network Applications参考文献 1被引用 5

一句话总结

本文提出一种端到端的单目3D目标检测方法，通过使用针孔模型和类别特定的高度先验，将2D区域提议（RoI）投影到3D空间，从而绕过密集深度估计。该方法引入一种面向目标的投票机制，融合外观注意力与几何投影分布，以优化3D中心点预测，在KITTI基准上实现了最先进性能，相比以往单目方法提升超过3%。

ABSTRACT

Monocular 3D object detection aims to detect objects in a 3D physical world from a single camera. However, recent approaches either rely on expensive LiDAR devices, or resort to dense pixel-wise depth estimation that causes prohibitive computational cost. In this paper, we propose an end-to-end trainable monocular 3D object detector without learning the dense depth. Specifically, the grid coordinates of a 2D box are first projected back to 3D space with the pinhole model as 3D centroids proposals. Then, a novel object-aware voting approach is introduced, which considers both the region-wise appearance attention and the geometric projection distribution, to vote the 3D centroid proposals for 3D object localization. With the late fusion and the predicted 3D orientation and dimension, the 3D bounding boxes of objects can be detected from a single RGB image. The method is straightforward yet significantly superior to other monocular-based methods. Extensive experimental results on the challenging KITTI benchmark validate the effectiveness of the proposed method.

研究动机与目标

• 开发一种单目3D目标检测框架，避免使用昂贵的LiDAR或计算量大的密集深度估计。
• 通过利用几何约束和外观线索，实现无需显式深度监督的3D定位精度提升。
• 仅使用RGB图像和2D区域提议，实现单目3D检测的端到端训练。
• 解决在自动驾驶场景中对小尺寸3D目标进行高精度检测的挑战。

提出的方法

• 利用针孔相机模型和类别特定的3D高度先验，将2D区域提议（RoI）网格坐标投影到3D空间，生成初始3D中心点提议。
• 提出一种面向目标的投票机制，联合学习外观注意力图（AAM）和几何投影分布（GPD），以优化3D中心点预测。
• 通过晚期融合图像特征与几何线索，预测残差3D位置偏移，借助残差学习提升定位精度。
• 采用小型全连接层作为3D定位头，从投票后的中心点提议回归最终的3D边界框坐标。
• 利用RoI池化生成的区域级特征监督3D位置预测，提升模型泛化能力与鲁棒性。
• 设计一种可微分、端到端可训练的流程，将3D中心推理与投票模块整合进两阶段检测器中。

实验结果

研究问题

• RQ1 能否仅从单张RGB图像实现有效的3D目标检测，而无需学习像素级的密集深度？
• RQ2 如何联合利用几何投影分布与外观线索，以提升3D中心点定位精度？
• RQ3 结合外观与几何先验的面向目标投票方法，是否优于依赖伪LiDAR或深度估计的方法？
• RQ4 图像与几何特征的晚期融合在多大程度上提升了3D定位精度？
• RQ5 与现有单目检测器相比，该方法在小尺寸或远距离3D目标上是否能实现更优性能？

主要发现

• 所提方法在KITTI基准上实现BEV AP为51.23%（IoU=0.5）和20.65%（IoU=0.7），相比A3DODWTDA提升超过3%。
• 移除外观注意力图（AAM）投票模块导致性能显著下降，证实其在定位中的关键作用。
• 几何投影分布（GPD）投票持续贡献，使所有IoU阈值与难度等级下的3D AP提升超过3%。
• 图像与几何特征的晚期融合使性能提升1.5–2%，证明其在学习残差3D位置偏移方面的有效性。
• 将3D定位头替换为对中心点提议的简单平均会降低性能，表明学习过的全连接层更具优势。
• 该方法即使在40米以外的远距离目标上也能实现准确的定位，尽管远距离目标的朝向预测仍不够准确。