[论文解读] Pillar R-CNN for Point Cloud 3D Object Detection

Guangsheng Shi, Ruifeng Li+1 more|arXiv (Cornell University)|Feb 26, 2023

Advanced Neural Network Applications被引用 4

一句话总结

Pillar R-CNN 提出了一种简单而高效的两阶段 3D 目标检测框架，采用基于柱体的鸟瞰图（BEV）特征表示，而非点-体素特征交互。通过在 RPN 中集成 FPN 以实现多尺度提议生成，并使用密集的侧向连接进行特征融合，该方法在 Waymo 开放数据集上实现了最先进性能，且计算开销极低，表明仅使用基于柱体的 BEV 特征即可保留足够的 3D 结构信息，实现高精度检测。

ABSTRACT

The performance of point cloud 3D object detection hinges on effectively representing raw points, grid-based voxels or pillars. Recent two-stage 3D detectors typically take the point-voxel-based R-CNN paradigm, i.e., the first stage resorts to the 3D voxel-based backbone for 3D proposal generation on bird-eye-view (BEV) representation and the second stage refines them via the intermediate point representation. Their primary mechanisms involve the utilization of intermediary keypoints to restore the substantial 3D structure context from the converted BEV representation. The skilled point-voxel feature interaction, however, makes the entire detection pipeline more complex and compute-intensive. In this paper, we take a different viewpoint -- the pillar-based BEV representation owns sufficient capacity to preserve the 3D structure. In light of the latest advances in BEV-based perception, we devise a conceptually simple yet effective two-stage 3D detection architecture, named Pillar R-CNN. On top of densified BEV feature maps, Pillar R-CNN can easily introduce the feature pyramid architecture to generate 3D proposals at various scales and take the simple 2D R-CNN style detect head for box refinement. Our Pillar R-CNN performs favorably against state-of-the-art 3D detectors on the large-scale Waymo Open Dataset but at a small extra cost. It should be highlighted that further exploration into BEV perception for applications involving autonomous driving is now possible thanks to the effective and elegant Pillar R-CNN architecture.

研究动机与目标

• 通过消除复杂的点-体素特征交互，简化两阶段 3D 目标检测流程。
• 探究仅使用基于柱体的 BEV 表示是否足以保留足够的 3D 结构上下文以实现高精度检测。
• 通过将 2D 目标检测的进展适配到基于 BEV 的 3D 检测中，弥合 2D 图像检测与 3D 点云检测之间的领域差距。
• 在保持或提升检测精度的同时，降低计算复杂度，相较于现有的基于点-体素的两阶段检测器。

提出的方法

• 使用基于柱体的特征主干网络，结合混合稀疏与密集卷积，单次前向传播即可生成分层的 BEV 特征图。
• 引入侧向连接层构建基于柱体的特征金字塔，对稀疏的柱体体积进行密集化处理，以实现多尺度特征融合。
• 在 RPN 中采用 FPN 风格的特征聚合，以多尺度生成类别特定的 3D 候选框，提升小目标检测性能。
• 应用 RoIAlign 从密集的 2D 池化特征图中裁剪特征以进行边界框精炼，使用单一、可管理的分辨率（下采样 4 倍）。
• 使用类别无关的单尺度池化图，提升对目标尺度变化的鲁棒性。
• 应用 IoU 感知的置信度校正，以提升候选框排序质量并对齐分类得分。

实验结果

研究问题

• RQ1 仅使用基于柱体的 BEV 表示是否足以保留足够的 3D 结构上下文以实现高精度 3D 目标检测？
• RQ2 用更简单的基于柱体的特征金字塔替代点-体素特征交互，是否能提升检测性能与效率？
• RQ3 能否有效将 FPN 适配到 3D 检测流程的 RPN 中，以提升小目标检测性能？
• RQ4 IoU 感知的置信度校正是否能提升基于 BEV 的两阶段 3D 检测器中候选框的质量？

主要发现

• Pillar R-CNN 在 Waymo 开放数据集验证集上实现了车辆 76.48% AP 和行人 68.54% AP，与最先进两阶段检测器持平或超越。
• 该模型在精度上与 PV-RCNN 和 Voxel R-CNN 相当，同时采用更简单的流程，无需中间关键点抽象。
• 在 RPN 中引入 FPN 显著提升了小目标检测性能，最佳效果出现在使用 4 倍下采样特征图时。
• 在池化图中引入额外的自底向上特征带来的增益可忽略不计，且增加了计算成本，表明仅使用 4 倍下采样图已足够。
• IoU 感知的置信度校正显著提升了 RPN 性能，使其候选框质量达到 R-CNN 水平。
• 端到端联合训练 RPN 与 R-CNN 的性能优于分开训练，后者存在过拟合或次优收敛的风险。