[论文解读] Pyramid R-CNN: Towards Better Performance and Adaptability for 3D Object Detection

Jiageng Mao, Minzhe Niu+4 more|arXiv (Cornell University)|Sep 6, 2021

Advanced Neural Network Applications参考文献 35被引用 11

一句话总结

Pyramid R-CNN 是一种两阶段 3D 目标检测框架，通过引入一种新颖的金字塔 RoI 头来解决点云中稀疏性和点分布不均匀的问题。通过结合 RoI-grid 多尺度特征金字塔、RoI-grid 注意力机制以及密度感知半径预测，该方法提升了对稀疏点的特征提取能力，在 KITTI 数据集上实现了 82.08% 的 moderate car mAP，位居 Waymo LiDAR 仅用榜单第1名。

ABSTRACT

We present a flexible and high-performance framework, named Pyramid R-CNN, for two-stage 3D object detection from point clouds. Current approaches generally rely on the points or voxels of interest for RoI feature extraction on the second stage, but cannot effectively handle the sparsity and non-uniform distribution of those points, and this may result in failures in detecting objects that are far away. To resolve the problems, we propose a novel second-stage module, named pyramid RoI head, to adaptively learn the features from the sparse points of interest. The pyramid RoI head consists of three key components. Firstly, we propose the RoI-grid Pyramid, which mitigates the sparsity problem by extensively collecting points of interest for each RoI in a pyramid manner. Secondly, we propose RoI-grid Attention, a new operation that can encode richer information from sparse points by incorporating conventional attention-based and graph-based point operators into a unified formulation. Thirdly, we propose the Density-Aware Radius Prediction (DARP) module, which can adapt to different point density levels by dynamically adjusting the focusing range of RoIs. Combining the three components, our pyramid RoI head is robust to the sparse and imbalanced circumstances, and can be applied upon various 3D backbones to consistently boost the detection performance. Extensive experiments show that Pyramid R-CNN outperforms the state-of-the-art 3D detection models by a large margin on both the KITTI dataset and the Waymo Open dataset.

研究动机与目标

• 为解决 3D 目标检测中稀疏且分布不均的点云（特别是在远距离或低点云密度区域）带来的挑战。
• 通过增强第二阶段 RoI 特征提取，提升两阶段 3D 检测器的鲁棒性与适应性。
• 设计一种可泛化的框架，兼容多种 3D 主干网络（基于点、基于体素、点-体素混合），实现一致的性能提升。
• 缓解因稀疏点云中上下文信息不足而导致 RoI 特征学习性能下降的问题。
• 通过可学习的、上下文感知的特征提取机制，实现对不同点云密度水平的动态适应。

提出的方法

• 提出 RoI-grid 多尺度特征金字塔，将标准 RoI-grid 扩展为多层级金字塔结构，捕获 RoI 内外更多感兴趣点，缓解稀疏性问题。
• 引入 RoI-grid 注意力机制，统一结合注意力机制与图神经网络操作，动态关注 RoI 附近的最关键感兴趣点。
• 设计密度感知半径预测（DARP）模块，根据局部点云密度为每个 RoI 自适应预测最优特征提取半径。
• 将 RoI-grid 多尺度特征金字塔、RoI-grid 注意力机制与 DARP 模块整合为单一金字塔 RoI 头，提升在稀疏与不平衡条件下的特征表示能力。
• 将金字塔 RoI 头应用于多种 3D 主干网络（如 PointNet++、VoxelNet、PV-RCNN），验证其泛化能力与一致的性能增益。
• 采用两阶段检测流程：第一阶段生成候选区域，第二阶段利用金字塔 RoI 头进行 RoI 优化，提升定位与分类性能。

Figure 1: Statistical results on the KITTI dataset. Blue bars denote the distribution of the number of object points. Orange bars denote the distribution of the number of points gathered by RoIs in Pyramid R-CNN. Our approach can mitigate the sparsity and imbalanced distribution problems of point cl

实验结果

研究问题

• RQ1 多层级 RoI-grid 结构能否有效缓解从稀疏点云中进行 3D 目标检测时的稀疏性问题？
• RQ2 一种结合图网络与注意力机制的统一注意力机制能否提升对稀疏感兴趣点的特征提取能力？
• RQ3 根据局部点云密度动态调整 RoI 半径，能否提升对困难、低点云密度目标的检测性能？
• RQ4 所提出的金字塔 RoI 头是否能在不同 3D 主干网络架构（基于点、基于体素、混合型）上实现良好泛化？
• RQ5 该框架在 KITTI 和 Waymo 等基准数据集上，在稀疏且分布不均的点云条件下，检测精度提升程度如何？

主要发现

• Pyramid R-CNN 在 KITTI 数据集上达到 82.08% 的 moderate car mAP，显著优于以往最先进方法。
• 在 Waymo 开放数据集上，Pyramid R-CNN 在 LiDAR 仅用方法中位列车辆检测任务第1名，展现出卓越的泛化能力与鲁棒性。
• 消融实验表明，各组件独立贡献性能增益：RoI-grid 多尺度特征金字塔（+1.20% mAP）、RoI-grid 注意力机制（+0.51% mAP）、DARP 模块（+0.37% mAP）。
• 金字塔 RoI 头保持计算效率，Kitti 上推理速度达 7.86 Hz（单张 V100），仅略慢于 PV-RCNN 等基线模型。
• 采用多尺度网格布局（ρw, ρl > 1）的 RoI-grid 多尺度特征金字塔相比标准单层级 RoI-grid，mAP 提升最高达 1.20%。
• 该框架在不同主干网络上泛化效果良好：Pyramid-PV（点-体素混合）在 KITTI 的车辆类别上达到 88.39% AP，较 PV-RCNN 提升 1.94%。

Figure 2: The overall architecture. Our Pyramid R-CNN can be plugged on diverse backbones ( e.g . point-based, voxel-based and point-voxel-based networks), which generate 3D proposals and Points of Interest (yellow points) on the stage- $1$ . On the stage- $2$ , we propose the pyramid RoI head that