[论文解读] Sparse2Dense: Learning to Densify 3D Features for 3D Object Detection

Tianyu Wang, Xiaowei Hu+2 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Neural Network Applications被引用 8

一句话总结

Sparse2Dense 提出了一种轻量、高效的框架，通过在潜在空间中学习将稀疏激光雷达点云特征显式化，以提升3D目标检测性能。该方法利用预训练密集检测器的知识蒸馏，引入了一个即插即用的 S2D 模块和一个点云重建模块，在推理阶段无需密集输入即可提升特征质量，仅带来约10ms的延迟开销，便在Waymo数据集上实现了最先进性能。

ABSTRACT

LiDAR-produced point clouds are the major source for most state-of-the-art 3D object detectors. Yet, small, distant, and incomplete objects with sparse or few points are often hard to detect. We present Sparse2Dense, a new framework to efficiently boost 3D detection performance by learning to densify point clouds in latent space. Specifically, we first train a dense point 3D detector (DDet) with a dense point cloud as input and design a sparse point 3D detector (SDet) with a regular point cloud as input. Importantly, we formulate the lightweight plug-in S2D module and the point cloud reconstruction module in SDet to densify 3D features and train SDet to produce 3D features, following the dense 3D features in DDet. So, in inference, SDet can simulate dense 3D features from regular (sparse) point cloud inputs without requiring dense inputs. We evaluate our method on the large-scale Waymo Open Dataset and the Waymo Domain Adaptation Dataset, showing its high performance and efficiency over the state of the arts.

研究动机与目标

• 解决基于激光雷达检测中因点云稀疏导致的小型、远距离及不完整3D目标检测难题。
• 在不增加推理延迟的前提下，通过从稀疏输入学习密集特征表示来提升检测性能。
• 在推理阶段消除对密集点云数据的需求，同时仍能利用预训练模型中的密集特征知识。
• 设计一种通用、即插即用的框架，兼容多种3D检测器，以提升其在稀疏区域的性能。

提出的方法

• 在多帧融合的密集点云上训练一个密集点云3D检测器（DDet），以生成高质量的3D特征。
• 设计一个稀疏点云3D检测器（SDet），以常规稀疏点云为输入，并通过知识蒸馏学习模仿DDet的密集特征。
• 引入轻量级的S2D模块作为即插即用组件，在特征传播过程中于潜在空间中显式化稀疏特征。
• 将点云重建（PCR）模块作为辅助任务，以正则化特征学习并提升表征质量。
• 使用特征蒸馏损失和热力图蒸馏损失，在训练过程中对齐SDet与DDet的特征。
• 分两阶段训练SDet：首先使用蒸馏，然后引入S2D与PCR模块；推理阶段丢弃DDet与PCR模块。

实验结果

研究问题

• RQ1 能否通过来自密集检测器的知识蒸馏来提升稀疏点云上的3D目标检测性能？
• RQ2 像S2D这样的轻量级即插即用模块能否在不增加推理成本的前提下，有效显式化潜在空间中的稀疏3D特征？
• RQ3 辅助的点云重建任务是否能增强稀疏区域的特征质量与检测鲁棒性？
• RQ4 所提出的框架是否可普遍应用于多种最先进3D检测器，而无需修改其网络结构？

主要发现

• 完整版Sparse2Dense框架在车辆类别上的3D目标检测性能相比基线提升超过2.5%，即使不使用蒸馏也成立。
• 加入S2D模块后，车辆类别检测性能提升约2%，骑行人类别提升约1%，相比仅使用蒸馏的基线。
• 点云重建（PCR）模块在所有指标和物体类别上均持续提升性能。
• S2D模块仅增加约10ms的推理延迟，显著优于先前方法如SPG（在更小数据集上延迟达16.9ms）。
• 该框架在Waymo开放数据集与Waymo领域自适应数据集上均实现了最先进性能。
• 该方法具有通用性，在三种不同3D检测器上均提升了检测性能，展现出广泛的兼容性与有效性。