[论文解读] VPFNet: Improving 3D Object Detection with Virtual Point based LiDAR and Stereo Data Fusion

Hanqi Zhu, Jiajun Deng+5 more|arXiv (Cornell University)|Nov 29, 2021

Advanced Neural Network Applications被引用 6

一句话总结

VPFNet 提出了一种基于虚拟点的新型融合框架，通过引入中间虚拟点，弥合了稀疏激光雷达点云与密集立体图像之间的分辨率差距，实现了高效且精确的多模态特征聚合。该方法在 KITTI 基准测试中实现了 SOTA 性能，3D AP 达到 83.21%，BEV AP 达到 91.86%，同时在单张 RTX 2080Ti 显卡上保持了 15.7 FPS 的实时推理速度。

ABSTRACT

It has been well recognized that fusing the complementary information from depth-aware LiDAR point clouds and semantic-rich stereo images would benefit 3D object detection. Nevertheless, it is not trivial to explore the inherently unnatural interaction between sparse 3D points and dense 2D pixels. To ease this difficulty, the recent proposals generally project the 3D points onto the 2D image plane to sample the image data and then aggregate the data at the points. However, this approach often suffers from the mismatch between the resolution of point clouds and RGB images, leading to sub-optimal performance. Specifically, taking the sparse points as the multi-modal data aggregation locations causes severe information loss for high-resolution images, which in turn undermines the effectiveness of multi-sensor fusion. In this paper, we present VPFNet -- a new architecture that cleverly aligns and aggregates the point cloud and image data at the `virtual' points. Particularly, with their density lying between that of the 3D points and 2D pixels, the virtual points can nicely bridge the resolution gap between the two sensors, and thus preserve more information for processing. Moreover, we also investigate the data augmentation techniques that can be applied to both point clouds and RGB images, as the data augmentation has made non-negligible contribution towards 3D object detectors to date. We have conducted extensive experiments on KITTI dataset, and have observed good performance compared to the state-of-the-art methods. Remarkably, our VPFNet achieves 83.21\\% moderate 3D AP and 91.86\\% moderate BEV AP on the KITTI test set, ranking the 1st since May 21th, 2021. The network design also takes computation efficiency into consideration -- we can achieve a FPS of 15 on a single NVIDIA RTX 2080Ti GPU. The code will be made available for reproduction and further investigation.

研究动机与目标

• 为解决现有融合方法中稀疏 3D 激光雷达点云与密集 2D 立体图像之间因分辨率不匹配而导致的信息损失问题。
• 通过引入介于点云密度与图像像素密度之间的虚拟点，实现多模态特征的均衡聚合，从而提升多模态 3D 目标检测性能。
• 通过改进特征表示，提升对远距离、遮挡和近距离目标等挑战性情况的检测精度。
• 通过优化虚拟点密度与稀疏卷积使用，保持计算效率，确保实时推理。
• 集成多模态数据增强技术，提升模型泛化能力与性能。

提出的方法

• 虚拟点作为介于激光雷达点与图像像素之间的中间表示生成，有效弥合了传感器间的分辨率差距。
• 通过可微采样从图像中提取虚拟点处的特征，同时利用 K-最近邻方法从附近 3D 点聚合激光雷达特征。
• 采用双分支检测头并使用独立权重，防止单模态主导，实现多模态特征的均衡融合。
• 在虚拟点网格上应用稀疏 3D 卷积，高效处理聚合后的特征，降低计算成本。
• 对激光雷达与立体图像输入均应用数据增强策略，提升模型鲁棒性与泛化能力。
• 最终检测头预测改进后的 3D 边界框，提升定位、方向与尺寸估计精度。

实验结果

研究问题

• RQ1 如何在不遭受分辨率不匹配影响的前提下，有效融合稀疏 3D 激光雷达点云与密集 2D 立体图像？
• RQ2 介于 3D 点与 2D 像素之间的中间密度虚拟点，是否能改善特征聚合并保留更多信息？
• RQ3 所提出的融合机制是否能在遮挡与远距离检测等多样化场景下显著提升 3D 目标检测精度？
• RQ4 该方法是否能在实现 SOTA 性能的同时保持实时推理速度？
• RQ5 多模态数据增强在多大程度上提升了检测器的鲁棒性与泛化能力？

主要发现

• VPFNet 在 KITTI 测试集上实现了 83.21% 的 moderate 3D AP 和 91.86% 的 moderate BEV AP，自 2021 年 5 月 21 日起排名第一。
• 该方法显著提升了挑战性情况下的检测精度：远距离与遮挡目标的旋转估计更加准确，近距离目标的边界框尺寸也得到优化。
• 在 16×8×22 网格块与 6×6×6 查询点设置下，VPFNet 实现 63.6ms 推理时间与 15.7 FPS 的推理速度（单张 NVIDIA RTX 2080Ti 显卡）。
• 提高虚拟点密度可提升精度，但会增加延迟，表明性能与速度之间存在可调的权衡，可通过网格设置调节。
• 消融实验证实，基于虚拟点的融合方法优于直接的点到图像投影与 3D 到 2D 提升方法，尤其在保留图像特征信息方面表现更优。
• 多模态数据增强的集成进一步提升了性能，证明其对检测精度具有不可忽视的贡献。