[论文解读] PillarNet: Real-Time and High-Performance Pillar-based 3D Object Detection

Guangsheng Shi, Ruifeng Li+1 more|arXiv (Cornell University)|May 16, 2022

Advanced Neural Network Applications被引用 9

一句话总结

PillarNet 通过引入一种强大的分层编码器用于柱状特征学习、多尺度颈部结构用于特征融合，以及一种解耦方向的 IoU 回归损失，仅使用 2D 卷积实现了实时、高性能的 3D 目标检测。其在 nuScenes 和 Waymo Open Dataset 上达到了最先进性能，分别实现 16 FPS 和 21 FPS 的推理速度，检测精度和效率均优于以往基于柱状和体素的检测器。

ABSTRACT

Real-time and high-performance 3D object detection is of critical importance for autonomous driving. Recent top-performing 3D object detectors mainly rely on point-based or 3D voxel-based convolutions, which are both computationally inefficient for onboard deployment. In contrast, pillar-based methods use solely 2D convolutions, which consume less computation resources, but they lag far behind their voxel-based counterparts in detection accuracy. In this paper, by examining the primary performance gap between pillar- and voxel-based detectors, we develop a real-time and high-performance pillar-based detector, dubbed PillarNet.The proposed PillarNet consists of a powerful encoder network for effective pillar feature learning, a neck network for spatial-semantic feature fusion and the commonly used detect head. Using only 2D convolutions, PillarNet is flexible to an optional pillar size and compatible with classical 2D CNN backbones, such as VGGNet and ResNet. Additionally, PillarNet benefits from our designed orientation-decoupled IoU regression loss along with the IoU-aware prediction branch. Extensive experimental results on the large-scale nuScenes Dataset and Waymo Open Dataset demonstrate that the proposed PillarNet performs well over state-of-the-art 3D detectors in terms of effectiveness and efficiency. Code is available at \url{https://github.com/agent-sgs/PillarNet}.

研究动机与目标

• 为解决基于柱状的 3D 检测器与基于体素的检测器之间的性能差距，后者虽然计算成本更低但精度较低。
• 通过最小化计算负载并最大化检测精度，实现在自动驾驶平台上的实时推理。
• 设计一种灵活且可扩展的架构，仅使用 2D 卷积即可支持不同柱状尺寸和模型复杂度。
• 通过新颖的损失函数设计（包括解耦方向的 IoU 回归和 IoU 感知校正）提升定位精度。
• 证明经过精心设计的基于柱状的检测器可在速度和精度上超越当前最先进水平的基于体素的模型。

提出的方法

• 提出一种五阶段编码器网络，利用稀疏 2D 卷积进行分层柱状特征学习，其中第 5 阶段使用标准 2D 卷积以扩大感受野。
• 引入一个具有堆叠卷积层的颈部模块，用于融合第 5 阶段的高层语义特征和第 4 阶段的低层空间特征，以提升多尺度表征能力。
• 采用灵活的架构设计，可根据柱状尺寸动态移除编码器阶段，实现跨不同分辨率需求的可扩展性。
• 设计一种解耦方向的 IoU（OD-IoU）回归损失，通过将方向预测与边界框回归解耦，提升定位精度。
• 引入一个 IoU 感知校正分支，使分类得分与定位置信度对齐，从而提升 mAP 和 NDS。
• 支持标准的 2D CNN 主干网络（如 VGG 和 ResNet），实现与现有模型和训练流程的兼容性。

实验结果

研究问题

• RQ1 基于柱状的 3D 检测器是否能在仅使用 2D 卷积的前提下实现最先进性能，并保持实时推理速度？
• RQ2 哪些架构组件对提升柱状特征编码至关重要，有助于缩小与基于体素检测器的精度差距？
• RQ3 柱状尺寸的选择如何影响检测性能？模型是否能灵活适配不同尺度的柱状结构？
• RQ4 新型损失函数（如 OD-IoU 和 IoU 感知校正）在多大程度上提升了定位精度和 mAP/NDS 指标？
• RQ5 可扩展、模块化的设计是否能在不牺牲性能的前提下，支持在多样化的硬件约束下部署？

主要发现

• PillarNet-18 在 nuScenes 验证集上达到 59.41% mAP 和 67.09% NDS，优于 CenterPoint-SECOND 和 PointPillars。
• 完整版 PillarNet-18（包含第 5 阶段编码器）在 nuScenes 上实现 16 FPS 下的 59.48% mAP 和 67.15% NDS，展现出更优的速度-精度权衡。
• 采用更细粒度的柱状尺寸（0.075m，对比 PointPillars 的 0.2m）显著提升性能，在 0.2m 尺寸下较 PointPillars 提升 +1.61% mAP。
• 解耦方向的 IoU（OD-IoU）损失带来最大性能提升，相比基线损失使 mAP 提高 +0.24%，NDS 提高 +0.24%。
• IoU 感知校正使 mAP 提升 +0.34%，证明其在对齐分类与定位置信度方面的有效性。
• PillarNet 在 0.6m 柱状尺寸下仍达到 57.87% mAP 和 66.05% NDS，表明在粗粒度分辨率下也具备强大性能，凸显架构的鲁棒性。