[论文解读] Rethinking Dimensionality Reduction in Grid-based 3D Object Detection

Dihe Huang, Ying Chen+8 more|arXiv (Cornell University)|Sep 20, 2022

Robotics and Sensor-Based Localization被引用 6

一句话总结

本文提出 MDRNet，一种用于基于网格的 3D 目标检测的新骨干网络，通过引入空间感知维度压缩（SDR）和多级空间残差（MSR）来增强特征学习。SDR 利用空间分布估计，沿 Z 轴动态聚合体素特征；MSR 在不增加推理成本的前提下融合多级 3D 和鸟瞰图（BEV）特征。该方法在 nuScenes 数据集上实现了最先进性能，mAP 达到 61.18%，NDS 达到 67.91%，优于此前方法，包括使用更小体素尺寸的 CenterPoint。

ABSTRACT

Bird's eye view (BEV) is widely adopted by most of the current point cloud detectors due to the applicability of well-explored 2D detection techniques. However, existing methods obtain BEV features by simply collapsing voxel or point features along the height dimension, which causes the heavy loss of 3D spatial information. To alleviate the information loss, we propose a novel point cloud detection network based on a Multi-level feature dimensionality reduction strategy, called MDRNet. In MDRNet, the Spatial-aware Dimensionality Reduction (SDR) is designed to dynamically focus on the valuable parts of the object during voxel-to-BEV feature transformation. Furthermore, the Multi-level Spatial Residuals (MSR) is proposed to fuse the multi-level spatial information in the BEV feature maps. Extensive experiments on nuScenes show that the proposed method outperforms the state-of-the-art methods. The code will be available upon publication.

研究动机与目标

• 为解决基于网格的 3D 目标检测器在维度压缩过程中损失 3D 空间信息的问题，特别是对摩托车和自行车等复杂几何形状物体的影响。
• 设计一种通用骨干网络，以增强 BEV 特征学习，同时不增加计算成本。
• 研究不同维度压缩操作对基于网格检测器的影响，识别保留 3D 几何信息的最佳策略。
• 实现在体素到 BEV 转换过程中自适应、空间感知的特征聚合，提升对多样化物体类别检测的准确性。

提出的方法

• 提出双分支网络架构：轻量级体素分支与 BEV 分支，支持多级特征融合。
• 引入空间感知维度压缩（SDR），通过估计空间分布来动态加权并沿 Z 轴聚合体素特征。
• 采用多级空间残差（MSR）在每个阶段融合体素与 BEV 特征，以保留分层的 3D 几何信息。
• 使用学习到的注意力权重（通过 ReLU、Sigmoid 或 Softmax 实现）引导特征聚合，其中 Softmax 表现最佳。
• 将 SDR 应用于生成初始 BEV 特征，并利用 MSR 逐步用多级 3D 上下文丰富 BEV 特征。
• 设计为即插即用的骨干网络，可无缝集成到现有基于网格的检测器（如 CenterPoint 和 PV-RCNN）中。

实验结果

研究问题

• RQ1 沿 Z 轴的自适应维度压缩在 BEV 基检测器中如何影响 3D 目标检测性能？
• RQ2 在体素到 BEV 转换过程中，引导特征聚合的最优空间相关分布形式（如 ReLU、Sigmoid、Softmax）是什么？
• RQ3 在不增加推理时间的前提下，多级 3D-BEV 特征融合能在多大程度上提升检测精度？
• RQ4 像 MDRNet 这样的通用骨干网络是否能在多种物体类别上超越强基线模型，尤其是几何结构复杂的类别？
• RQ5 用可学习的、空间感知的聚合替代固定池化，是否能提升对摩托车和自行车等挑战性类别的检测性能？

主要发现

• MDRNet 在 nuScenes 验证集上达到 61.18% 的 mAP 和 67.91% 的 NDS，优于原始 CenterPoint（7.5cm 体素尺寸）。
• SDR-Softmax 变体在所有维度压缩操作中表现最佳，mAP 达 61.18%，NDS 达 67.91%。
• 在全部四个阶段加入 MSR 后，mAP 提升 +2.25%，NDS 提升 +1.44%，相比无 MSR 的基线。
• MDRNet 使用 10cm 体素尺寸的性能优于 CenterPoint 使用 7.5cm 体素尺寸，表明更优的特征学习可弥补体素化粗糙度的损失。
• MDRNet 的推理运行时间与 CenterPoint 几乎相同（100ms vs. 99ms），证明性能提升未带来计算成本增加。
• 定性结果表明，SDR 有效突出物体的关键区域，如摩托车的车身和车轮，证实了空间感知能力的增强。