[论文解读] Single-Shot 3D Detection of Vehicles from Monocular RGB Images via Geometry Constrained Keypoints in Real-Time

Nils Gählert, Jun-Jun Wan+4 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Neural Network Applications参考文献 44被引用 11

一句话总结

该论文提出3D-GCK，一种基于单目RGB图像通过回归几何约束3D关键点实现实时单次3D目标检测的方法。它通过轻量级扩展SSD将2D检测结果提升至3D，无需训练时使用3D方向标注，在高分辨率图像上实现超过20 FPS的推理速度。

ABSTRACT

In this paper we propose a novel 3D single-shot object detection method for detecting vehicles in monocular RGB images. Our approach lifts 2D detections to 3D space by predicting additional regression and classification parameters and hence keeping the runtime close to pure 2D object detection. The additional parameters are transformed to 3D bounding box keypoints within the network under geometric constraints. Our proposed method features a full 3D description including all three angles of rotation without supervision by any labeled ground truth data for the object's orientation, as it focuses on certain keypoints within the image plane. While our approach can be combined with any modern object detection framework with only little computational overhead, we exemplify the extension of SSD for the prediction of 3D bounding boxes. We test our approach on different datasets for autonomous driving and evaluate it using the challenging KITTI 3D Object Detection as well as the novel nuScenes Object Detection benchmarks. While we achieve competitive results on both benchmarks we outperform current state-of-the-art methods in terms of speed with more than 20 FPS for all tested datasets and image resolutions.

研究动机与目标

• 解决从单目RGB图像中进行3D目标检测时，受限于深度信息不足和实时性要求的挑战。
• 在训练过程中无需3D方向标注，实现完整3D边界框估计（包括全部三个旋转角度）。
• 开发一种可无缝集成至现有2D目标检测框架（如SSD）的方法，最大限度减少计算开销。
• 实现适合部署于真实世界自动驾驶系统的高速推理性能。
• 在包括KITTI、nuScenes、A2D2和Synscapes在内的多样化自动驾驶基准测试中展示具有竞争力的性能。

提出的方法

• 从2D目标检测主干网络（如SSD）中预测回归与分类参数，以估计3D边界框属性。
• 利用从图像平面投影中推导出的几何约束，将预测参数转换为3D关键点。
• 利用透视投影特性推断3D方向（滚转、俯仰、偏航），而无需真实3D旋转标签。
• 使用可微分网络头在几何约束下回归3D关键点坐标，支持端到端训练。
• 将3D-GCK头作为即插即用的扩展模块集成至现有2D检测器中，保持接近纯2D检测的推理速度。
• 通过适配各数据集的特定评估标准，将该方法应用于多个基准测试。

实验结果

研究问题

• RQ1 能否在无需3D方向监督的情况下，实现从单目RGB图像中进行高推理速度和具有竞争力精度的3D目标检测？
• RQ2 在无真实3D旋转标签的情况下，图像平面上的几何约束在多大程度上可有效推断出完整的3D目标方向（全部三个旋转角度）？
• RQ3 3D检测头在SSD等2D检测器中能以多大程度实现低计算开销的集成？
• RQ4 所提出方法在KITTI和nuScenes等多样化真实世界自动驾驶基准测试中的表现如何？
• RQ5 该方法能否在不同图像分辨率下（包括nuScenes和A2D2的高分辨率输入）保持实时性能（>20 FPS）？

主要发现

• 在KITTI 3D目标检测基准的中等类别下，3D-GCK实现了2.52%的3D平均精度（AP），AOS得分为78.44%。
• 在nuScenes基准上，3D-GCK对车辆类别的AP达到11.4%，展现出在多样化数据集上的强大泛化能力。
• 在V100 GPU上，3D-GCK在KITTI图像上的推理速度超过40 FPS（推理时间24 ms），在更高分辨率的nuScenes和A2D2输入上分别达到43 ms和46 ms的推理时间。
• 在无需硬件特定优化的情况下，3D-GCK在高分辨率图像（如nuScenes 1600×900 和 A2D2 1920×1208）上仍保持>20 FPS的推理速度。
• 该方法在保持最快速度的单目3D检测框架之一的同时，实现了具有竞争力的检测性能，展现出卓越的速度-精度权衡。
• 在KITTI、nuScenes、A2D2和Synscapes上的定性结果表明，3D边界框预测准确，方向正确，鸟瞰图下空间对齐良好。