[论文解读] SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation

Zechen Liu, Zizhang Wu+1 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 31被引用 27

一句话总结

SMOKE 提出了一种单阶段单目 3D 目标检测方法，通过直接回归 3D 边界框，绕过了 2D 区域提议，利用投影的 3D 关键点和 3D 回归分支实现。它引入了一种多步解耦策略用于 3D 边框回归，在 KITTI 上实现了最先进性能，同时提升了收敛性、准确性和效率——在不使用额外数据或复杂后处理的情况下，优于所有先前的单目方法。

ABSTRACT

Estimating 3D orientation and translation of objects is essential for infrastructure-less autonomous navigation and driving. In case of monocular vision, successful methods have been mainly based on two ingredients: (i) a network generating 2D region proposals, (ii) a R-CNN structure predicting 3D object pose by utilizing the acquired regions of interest. We argue that the 2D detection network is redundant and introduces non-negligible noise for 3D detection. Hence, we propose a novel 3D object detection method, named SMOKE, in this paper that predicts a 3D bounding box for each detected object by combining a single keypoint estimate with regressed 3D variables. As a second contribution, we propose a multi-step disentangling approach for constructing the 3D bounding box, which significantly improves both training convergence and detection accuracy. In contrast to previous 3D detection techniques, our method does not require complicated pre/post-processing, extra data, and a refinement stage. Despite of its structural simplicity, our proposed SMOKE network outperforms all existing monocular 3D detection methods on the KITTI dataset, giving the best state-of-the-art result on both 3D object detection and Bird's eye view evaluation. The code will be made publicly available.

研究动机与目标

• 消除单目 3D 检测中冗余的 2D 区域提议网络，后者会引入噪声并损害 3D 几何学习。
• 开发一种更简单、可端到端训练的 3D 检测框架，直接从单张图像回归 3D 边界框。
• 通过一种新颖的多步解耦方法，提升 3D 回归参数的训练收敛性和检测准确性。
• 在不依赖合成数据、复杂后处理或多阶段精炼的情况下，实现在 KITTI 上的最先进性能。

提出的方法

• 网络使用 DLA-34 主干网络，从单张 RGB 图像中提取 1:4 下采样分辨率的特征图。
• 附加两个并行分支：一个用于关键点分类（图像平面上的 3D 中心点投影），另一个用于 3D 边框回归（尺寸、方向和深度）。
• 通过统一损失函数，将投影的关键点与回归的 3D 参数结合，重建 3D 边界框。
• 采用多步解耦策略，在编码和损失计算过程中分别隔离每个 3D 参数（如中心、尺寸、方向、深度）的贡献，以提升训练稳定性和准确性。
• 使用向量表示法表示方向，而非四元数，实证表明可提升性能。
• 整个网络以单阶段端到端方式训练，避免了 R-CNN 式两阶段流水线及其带来的噪声。

实验结果

研究问题

• RQ1 是否可以在不牺牲性能的前提下，从单目 3D 检测中完全消除 2D 区域提议？
• RQ2 在单阶段框架中，如何使 3D 回归更加稳定和准确？
• RQ3 对 3D 参数的解耦策略是否能提升收敛性和检测准确性？
• RQ4 简单的端到端网络是否能超越复杂的多阶段或数据增强方法在 KITTI 上的表现？
• RQ5 在单目 3D 检测中，方向的向量表示是否优于四元数表示？

主要发现

• SMOKE 在 KITTI 3D 目标检测基准上实现了最佳的最先进性能，3D 检测评估中硬集的平均精度（AP）达到 14.76%。
• 在鸟瞰图（BEV）评估中，该方法达到 19.99% 的 AP，超越了提交时所有先前的单目方法。
• 组归一化（GN）优于批量归一化（BN），将每轮训练时间减少 60%，并在所有难度级别上提升了性能。
• L1 损失函数优于平滑 L1，而解耦回归损失在所有难度级别上进一步将性能提升 3.5–4.5% AP。
• 与四元数表示相比，方向角的向量表示产生更优结果，在硬集上实现 1.44% 的 AP 提升。
• 定性结果表明，深度估计准确，3D 定位鲁棒，即使在未见过的测试图像上也能保持正确的前向方向和 BEV 一致性。