[论文解读] Voxel-based 3D Detection and Reconstruction of Multiple Objects from a Single Image

Feng Liu, Xiaoming Liu|arXiv (Cornell University)|Nov 4, 2021

Advanced Vision and Imaging被引用 15

一句话总结

本文提出了一种基于体素的3D检测与重建框架，能够从单张2D图像中推断多个物体的3D边界框和详细形状。该方法引入了3D特征提升算子以生成位置感知的体素特征，提出了一种新型CenterNet-3D检测器用于基于关键点的3D目标检测，并采用基于局部PCA-SDF的端到端重建模块，实现高保真、实时的形状重建。在检测与重建任务中均达到当前最优性能，且推理速度比之前的方法快10倍。

ABSTRACT

Inferring 3D locations and shapes of multiple objects from a single 2D image is a long-standing objective of computer vision. Most of the existing works either predict one of these 3D properties or focus on solving both for a single object. One fundamental challenge lies in how to learn an effective representation of the image that is well-suited for 3D detection and reconstruction. In this work, we propose to learn a regular grid of 3D voxel features from the input image which is aligned with 3D scene space via a 3D feature lifting operator. Based on the 3D voxel features, our novel CenterNet-3D detection head formulates the 3D detection as keypoint detection in the 3D space. Moreover, we devise an efficient coarse-to-fine reconstruction module, including coarse-level voxelization and a novel local PCA-SDF shape representation, which enables fine detail reconstruction and one order of magnitude faster inference than prior methods. With complementary supervision from both 3D detection and reconstruction, one enables the 3D voxel features to be geometry and context preserving, benefiting both tasks.The effectiveness of our approach is demonstrated through 3D detection and reconstruction in single object and multiple object scenarios.

研究动机与目标

• 为解决从单张2D图像中联合检测与重建多个3D物体的挑战，该任务因深度模糊性和场景复杂性而具有难度。
• 从2D图像中学习一种3D几何感知的表征，以支持检测与重建任务。
• 实现实时推理能力下的高效、高保真3D形状重建。
• 构建一个统一框架，利用检测与重建任务之间的互补监督，提升特征质量与任务性能。

提出的方法

• 3D特征提升算子从2D图像特征中采样，并利用相机投影矩阵将它们投影到3D体素网格中，同时引入位置编码以增强特征的可区分性。
• 提出的CenterNet-3D检测器将3D目标检测建模为在3D空间中的关键点检测，通过预测类别特定的3D热力图来定位物体中心，而无需直接回归深度。
• 采用粗到细的重建模块，利用粗粒度的占用网格与细粒度的局部PCA-SDF表示来高效建模详细的3D形状。
• 局部PCA-SDF表示在每个体素上学习符号距离函数（SDF）的低维基，实现紧凑且鲁棒的形状编码，同时保持高重建精度。
• 检测与重建任务之间的互补监督联合优化体素特征，以同时保留几何结构与上下文信息。
• 构建了一个包含18,000张真实图像、19类物体与3D标注的新基准数据集，用于评估。

实验结果

研究问题

• RQ1 能否从单张2D图像中学习到统一的3D体素特征表示，以同时支持3D检测与重建？
• RQ2 在体素化空间中将3D检测建模为3D关键点检测，是否相比基于2D的方法能提升中心定位精度？
• RQ3 局部PCA-SDF表示能否在显著更快的推理速度下实现高保真3D形状重建，相比现有基于隐式函数的方法？
• RQ4 该方法在未见物体类别上的重建与检测任务中泛化能力如何？

主要发现

• 所提方法在单物体与多物体基准上均实现了3D检测与重建的当前最优性能，得益于基于3D关键点的CenterNet-3D检测器，中心定位精度显著提升。
• 局部PCA-SDF表示在256³分辨率下，相比DeepLS（0.040 × 10³），实现了更低的Chamfer距离（0.022 × 10³），参数更少且推理速度提升10倍。
• 与之前SOTA方法相比，该方法将推理时间降低了一个数量级，实现了适合下游应用的实时性能。
• PCA-SDF表示对小的几何扰动（平移±0.1r，旋转±4°）具有鲁棒性，在各类测试变化中均保持低重建误差。
• 该方法在未见类别上泛化良好，当在单一类别上训练时，未见类别的重建误差为0.028 × 10³，接近于已见类别的0.022 × 10³。