[论文解读] PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection

Shaoshuai Shi, Chaoxu Guo+5 more|arXiv (Cornell University)|Dec 31, 2019

3D Shape Modeling and Analysis参考文献 46被引用 184

一句话总结

PV-RCNN 将基于体素的特征与基于 PointNet 的特征结合，以实现来自 LiDAR 点云的最先进的三维目标检测，生成高质量提议和精炼的 RoI 特征。

ABSTRACT

We present a novel and high-performance 3D object detection framework, named PointVoxel-RCNN (PV-RCNN), for accurate 3D object detection from point clouds. Our proposed method deeply integrates both 3D voxel Convolutional Neural Network (CNN) and PointNet-based set abstraction to learn more discriminative point cloud features. It takes advantages of efficient learning and high-quality proposals of the 3D voxel CNN and the flexible receptive fields of the PointNet-based networks. Specifically, the proposed framework summarizes the 3D scene with a 3D voxel CNN into a small set of keypoints via a novel voxel set abstraction module to save follow-up computations and also to encode representative scene features. Given the high-quality 3D proposals generated by the voxel CNN, the RoI-grid pooling is proposed to abstract proposal-specific features from the keypoints to the RoI-grid points via keypoint set abstraction with multiple receptive fields. Compared with conventional pooling operations, the RoI-grid feature points encode much richer context information for accurately estimating object confidences and locations. Extensive experiments on both the KITTI dataset and the Waymo Open dataset show that our proposed PV-RCNN surpasses state-of-the-art 3D detection methods with remarkable margins by using only point clouds. Code is available at https://github.com/open-mmlab/OpenPCDet.

研究动机与目标

• 旨在从稀疏、不规则的 LiDAR 点云中实现高精度的三维目标检测。
• 提出一个统一框架，将 3D 体素 CNN 与 PointNet 风格的集合抽象相结合。
• 开发体素到关键点的场景编码和关键点到网格 RoI 特征抽象，以实现高效且丰富的表示。
• 通过多尺度上下文聚合，实现准确的提议 refinement 和置信度估计。
• 在仅使用点云的条件下，在 KITTI 和 Waymo Open 数据集上展示_STATE-的性能。

提出的方法

• 使用 3D 体素 CNN 作为骨干网络，结合稀疏卷积进行高效特征编码和 3D 提议生成。
• 通过体素集合抽象（VSA）将整个场景的体素 CNN 特征汇总为少量关键点。
• 使用多尺度体素特征通过多半径邻域集合和 PointNet 风格的池化对每个关键点进行聚合。
• 用原始点和 BEV（bird-eye view）特征丰富关键点特征，并可选应用 Predicted Keypoint Weighting（PKW）以强调前景。
• 执行 RoI-grid 池化：对于每个 3D 提议，采样一个 6x6x6 的网格，并使用带多半径邻域集合的集合抽象将关键点特征融入 RoI-grid 特征。
• 端到端训练，包含损失 L_rpn（提议生成）、L_seg（关键点分割）和 L_rcnn（包括 IoU 指导的置信度的提议 refinement）。

实验结果

研究问题

• RQ1 混合点-体素架构是否能够在 LiDAR-only 的三维检测中超越纯体素或纯点检测器？
• RQ2 将体素 CNN 的特征汇总成少量关键点，是否能够实现高效而丰富的 RoI refinement 特征聚合？
• RQ3 多尺度、基于半径的集合抽象是否比传统的 RoI 池化提高提议 refinement 和置信度估计？
• RQ4 用原始点和 BEV 特征丰富关键点，以及加权关键点（PKW）对检测性能有何影响？
• RQ5 与前期 state-of-the-art 相比，PV-RCNN 在大规模数据集 KITTI、Waymo Open 的表现如何？

主要发现

• PV-RCNN 在 KITTI 车道 3D 检测上达到 state-of-the-art，在报道日期之前在 LiDAR-only 方法中排名第一。
• 在 KITTI 上，PV-RCNN 对 Easy/Moderate/Hard 的车道 3D mAP 相比此前方法分别提升 1.58/1.72/1.73 点。
• PV-RCNN 还在 Easy 与 Moderate 的车道检测中达到最佳 BEV mAP，Hard 略有下降，并且在 Moderate/Hard 上超越了之前的 LiDAR-only 方法用于自行车手检测的表现。
• 表 1 显示 PV-RCNN 在汽车的 3D mAP 为 90.25（Easy），81.43（Moderate），76.82（Hard），BEV mAP 为 94.98（Easy），90.65（Moderate），86.14（Hard），自行车手指标为 78.60（Easy），63.71（Moderate），57.65（Hard）的 3D mAP，BEV 分别为 82.49（Easy），68.89（Moderate），62.41（Hard）。
• PV-RCNN 超越了 KITTI 验证集（R11 与 R40）的前序方法，并在 Waymo Open 测试/验证集中展示了优异的性能（论文中有详细信息）。