[论文解读] PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector Representation for 3D Object Detection

Shaoshuai Shi, Li Jiang+6 more|arXiv (Cornell University)|Jan 31, 2021

Advanced Neural Network Applications参考文献 89被引用 28

一句话总结

PV-RCNN++ 通过将点基特征和体素基特征紧密耦合，推动了3D目标检测的发展，引入分区采样和 VectorPool 聚合，以实现对 LiDAR 数据的更快、更准确的检测。

ABSTRACT

3D object detection is receiving increasing attention from both industry and academia thanks to its wide applications in various fields. In this paper, we propose Point-Voxel Region-based Convolution Neural Networks (PV-RCNNs) for 3D object detection on point clouds. First, we propose a novel 3D detector, PV-RCNN, which boosts the 3D detection performance by deeply integrating the feature learning of both point-based set abstraction and voxel-based sparse convolution through two novel steps, i.e., the voxel-to-keypoint scene encoding and the keypoint-to-grid RoI feature abstraction. Second, we propose an advanced framework, PV-RCNN++, for more efficient and accurate 3D object detection. It consists of two major improvements: sectorized proposal-centric sampling for efficiently producing more representative keypoints, and VectorPool aggregation for better aggregating local point features with much less resource consumption. With these two strategies, our PV-RCNN++ is about $3 imes$ faster than PV-RCNN, while also achieving better performance. The experiments demonstrate that our proposed PV-RCNN++ framework achieves state-of-the-art 3D detection performance on the large-scale and highly-competitive Waymo Open Dataset with 10 FPS inference speed on the detection range of 150m * 150m.

研究动机与目标

• 通过结合点基和体素基特征学习，提升点云上3D目标检测的性能。
• 开发一个两阶段检测器（PV-RCNN），实现体素到关键点编码与关键点到网格 RoI 特征的深度融合。
• 引入 PV-RCNN++，具备分区采样和 VectorPool 聚合，在大规模场景中提升效率和准确性。

提出的方法

• 使用 3D 稀疏卷积骨干网络生成多尺度体素特征以获取初始 proposal。
• 通过 Voxel Set Abstraction 在关键点处汇聚体素特征，形成多尺度关键点特征。
• 通过 RoI-grid 池化将关键点特征聚合到 RoI-grid 点以进行细粒度的细化。
• 在细化阶段应用预测关键点权重以强调前景关键点（可选）。
• PV-RCNN++ 增加 Sectorized Proposal-Centric sampling 以加速关键点采样，VectorPool 聚合用于高效局部特征编码。

实验结果

研究问题

• RQ1 体素基特征与点基特征的深度融合，是否能在3D检测精度上超越仅使用体素或点方法？
• RQ2 分区化关键点采样和 VectorPool 聚合在大规模数据集上是否能在保持或提升性能的同时，降低推理时间和内存使用？
• RQ3 所提出的 RoI-grid 池化策略相比于以往的 RoI 方法，如何影响 proposal 重 refinement 的质量？
• RQ4 聚焦前景的关键点加权对检测结果有何影响？

主要发现

• PV-RCNN++ 的速度大约是 PV-RCNN 的三分之一，但性能更好。
• 在 Waymo Open Dataset 的 150m x 150m 范围内达到最先进的结果。
• 该框架实现对大范围检测的 10 FPS 推理。
• 分区式采样将关键点集中在 proposal 周围并加速采样。
• VectorPool 聚合为大规模点云提供内存高效、位置敏感的局部特征编码。