[论文解读] Multimodal Virtual Point 3D Detection

Tianwei Yin, Xingyi Zhou+1 more|arXiv (Cornell University)|Nov 12, 2021

Advanced Optical Sensing Technologies被引用 127

一句话总结

本文介绍 MVP，一种即插即用的方法，将 2D RGB 检测提升为密集的 3D 虚拟点以增强稀疏的 LiDAR 数据，在 nuScenes 上基于 CenterPoint 的 3D 检测性能提升 6.6 mAP，且不使用模型集成。

ABSTRACT

Lidar-based sensing drives current autonomous vehicles. Despite rapid progress, current Lidar sensors still lag two decades behind traditional color cameras in terms of resolution and cost. For autonomous driving, this means that large objects close to the sensors are easily visible, but far-away or small objects comprise only one measurement or two. This is an issue, especially when these objects turn out to be driving hazards. On the other hand, these same objects are clearly visible in onboard RGB sensors. In this work, we present an approach to seamlessly fuse RGB sensors into Lidar-based 3D recognition. Our approach takes a set of 2D detections to generate dense 3D virtual points to augment an otherwise sparse 3D point cloud. These virtual points naturally integrate into any standard Lidar-based 3D detectors along with regular Lidar measurements. The resulting multi-modal detector is simple and effective. Experimental results on the large-scale nuScenes dataset show that our framework improves a strong CenterPoint baseline by a significant 6.6 mAP, and outperforms competing fusion approaches. Code and more visualizations are available at https://tianweiy.github.io/mvp/

研究动机与目标

• 在自驾场景中，当远距离 LiDAR 稀疏而 RGB 细节丰富时，激励推动 3D 感知的改进。
• 提出一个简单、可即插即用的融合方案，用来自 2D 检测的密集虚拟点来增强 LiDAR。
• 通过修改输入特征表示而非主干网络，实现与现有 3D 检测器的无缝集成。
• 在大规模数据集上证明密集虚拟点能提升检测精度，特别是对小物体和远距离物体。

提出的方法

• 使用 CenterNet2 的 2D 实例掩码，为检测对象 j 生成 n τ 个虚拟点。
• 将 LiDAR 点投影到 RGB 相机坐标系，给每个 2D 检测形成 frustums Fj。
• 在每个实例掩码内采样 τ 个 2D 点，并从 Fj 内最近的 LiDAR 投影处分配深度。
• 使用深度将采样点从 2D 反投影回 3D，并将对象的语义特征附加以形成虚拟点。
• 在输入到 CenterPoint 风格的主干之前，将虚拟点和真实 LiDAR 点分开平均特征后再拼接。
• 可选地使用第二阶段细化，利用表面中心特征以实现更好的定位。

实验结果

研究问题

• RQ1 由 2D 检测生成的密集 3D 虚拟点是否能显著提升面向城市场景的 LiDAR 基础 3D 检测器？
• RQ2 在不使用集成或 TTA 的情况下，MVP 如何与现有骨干网络（VoxelNet、PointPillars）和检测器（CenterPoint）互动？
• RQ3 MVP 对 2D 检测质量和深度估计精度的变化有多鲁棒？
• RQ4 在 nuScenes 中，不同物体距离（近/远）和不同类别上的增益是多少？

主要发现

• MVP 在 nuScenes 上将强基线 CenterPoint 提升 6.6 mAP。
• MVP 在没有集成的情况下达到 66.4 mAP 和 70.5 NDS，在提交时超越 nuScenes 的所有非集成方法。
• 密集虚拟点对小物体带来较大增益（例如小物体+11 mAP，Bicycle +20.6，motorcycle +16.3）。
• 与仅 2D 的检测器相比，2D CenterNet 在 2D 定位上比 CenterPoint 高出 9.8 mAP，凸显高分辨率 RGB 提示在 3D 检测中的价值。
• 消融实验显示仅虚拟点就带来显著增益（VoxelNet 情况下 6.3 mAP，PointPillars 情况下 10.4 mAP）；两阶段细化再带来额外提升（约 1.1 mAP，约 0.8 NDS）。
• 在 KITTI 上，MVP 提供可测量的增益（Car 0.5 mAP，Cyclist 2.3 mAP），体现了泛化性。