[论文解读] Object Viewpoint Classification Based 3D Bounding Box Estimation for Autonomous Vehicles

Zhou Lingtao, Jiaojiao Fang+1 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种针对自动驾驶车辆的视角感知3D边界框估计方法，通过将物体视角分类为16个离散类别，并将视角分类器集成到多分支卷积神经网络中。该方法通过利用视角感知的几何约束，提升了3D检测精度，尤其在方向估计方面表现更优，在KITTI数据集上相比基线单目3D检测器实现了更高的精度和效率。

ABSTRACT

3D object detection is one of the most important tasks for the perception systems of autonomous vehicles. With the significant success in the field of 2D object detection, several monocular image based 3D object detection algorithms have been proposed based on advanced 2D object detectors and the geometric constraints between the 2D and 3D bounding boxes. In this paper, we propose a novel method for determining the configuration of the 2D-3D geometric constraints which is based on the well-known 2D-3D two stage object detection framework. First, we discrete viewpoints in which the camera shots the object into 16 categories with respect to the observation relationship between camera and objects. Second, we design a viewpoint classifier by integrated a new sub-branch into the existing multi-branches CNN. Then, the configuration of geometric constraint between the 2D and 3D bounding boxes can be determined according to the output of this classifier. Extensive experiments on the KITTI dataset show that, our method not only improves the computational efficiency, but also increases the overall precision of the model, especially to the orientation angle estimation.

研究动机与目标

• 通过更好地建模2D-3D几何约束，提升自动驾驶中单目3D检测的3D目标检测精度。
• 解决现有单目3D检测器在方向角估计不准确的问题。
• 通过显式建模视角配置而非依赖端到端回归，提升计算效率。
• 通过将物体视角基于相机-物体几何关系划分为16个离散类别，减少3D边界框估计的歧义。

提出的方法

• 基于相机与物体之间的相对几何关系，将物体视角离散化为16种类别。
• 将专用的视角分类分支集成到多分支卷积神经网络架构中，以预测物体的视角类别。
• 利用预测的视角确定2D与3D边界框之间的正确几何约束。
• 利用视角感知的约束条件，优化3D框回归，尤其针对方向角。
• 通过检测、视角分类和3D框回归的联合监督，端到端训练模型。
• 应用从16个视角类别中推导出的几何先验，以提升泛化能力并减少回归歧义。

实验结果

研究问题

• RQ1 如何有效建模视角信息，以提升单目3D检测中的3D边界框估计性能？
• RQ2 离散视角分类能否减少3D框回归的歧义，尤其是方向角的回归？
• RQ3 在真实世界数据集上，集成视角分类在多大程度上提升了检测精度与推理效率？
• RQ4 与端到端回归相比，视角感知的几何约束在2D-3D框对应关系中表现如何？
• RQ5 统一的网络架构能否联合优化检测、视角分类与3D框回归？

主要发现

• 与基线单目检测器相比，所提方法在KITTI数据集上实现了更高的3D检测精度，尤其在方向估计方面表现更优。
• 视角分类的集成减少了回归歧义，使3D框预测更加一致。
• 由于结构化地利用了来自离散视角的几何约束，模型表现出更优的计算效率。
• 16种类别的视角离散化有效捕捉了主要的物体视角角度，从而在多样化场景中实现更好的泛化能力。
• 消融实验证实，视角分类显著提升了方向估计精度，验证了其在几何约束建模中的关键作用。
• 该方法通过显式建模视角相关的2D-3D对应关系，优于现有的两阶段3D检测框架。