[论文解读] RSN: Range Sparse Net for Efficient, Accurate LiDAR 3D Object Detection

Pei Sun, Weiyue Wang+6 more|arXiv (Cornell University)|Jun 25, 2021

Advanced Neural Network Applications参考文献 38被引用 7

一句话总结

RSN 提出了一种新颖的 3D LiDAR 目标检测框架，利用距离图像实现高效的前景点分割，随后在选定点上应用稀疏卷积，实现了最先进（SOTA）的精度与速度——在 Waymo Open Dataset 的 150m×150m 区域上推理速度超过 60 FPS，同时在 APH/LEVEL_1 指标和推理效率方面均优于先前方法。

ABSTRACT

The detection of 3D objects from LiDAR data is a critical component in most autonomous driving systems. Safe, high speed driving needs larger detection ranges, which are enabled by new LiDARs. These larger detection ranges require more efficient and accurate detection models. Towards this goal, we propose Range Sparse Net (RSN), a simple, efficient, and accurate 3D object detector in order to tackle real time 3D object detection in this extended detection regime. RSN predicts foreground points from range images and applies sparse convolutions on the selected foreground points to detect objects. The lightweight 2D convolutions on dense range images results in significantly fewer selected foreground points, thus enabling the later sparse convolutions in RSN to efficiently operate. Combining features from the range image further enhance detection accuracy. RSN runs at more than 60 frames per second on a 150m x 150m detection region on Waymo Open Dataset (WOD) while being more accurate than previously published detectors. As of 11/2020, RSN is ranked first in the WOD leaderboard based on the APH/LEVEL 1 metrics for LiDAR-based pedestrian and vehicle detection, while being several times faster than alternatives.

研究动机与目标

• 解决高阶自动驾驶所需的大型、远距离 LiDAR 感知中高效且准确的 3D 目标检测挑战。
• 克服基于密集网格的方法效率低下以及纯距离图像方法在遮挡处理与定位精度方面的局限性。
• 通过轻量级、端到端可训练的架构，实现在扩展检测范围（高达 250m–300m）下的实时推理。
• 通过仅对基于距离图像特征识别出的高置信度前景点应用稀疏卷积，降低计算成本。
• 通过受 CenterNet 启发的检测头，直接从稀疏特征回归 3D 边界框，消除非极大值抑制（NMS）步骤。

提出的方法

• 对密集距离图像应用轻量级 2D 卷积主干网络，提取高分辨率语义特征。
• 训练网络执行高召回率的前景点分割，而非直接进行 3D 边界框回归，以提升效率与特征质量。
• 仅在预测的前景点及其关联特征上应用稀疏卷积，与全网格处理相比显著降低计算量。
• 集成一种专为稀疏体素特征设计的自定义 CenterNet 检测头，实现无需非极大值抑制的端到端 3D 边界框预测。
• 采用时间融合策略，将连续帧中经自身运动校正的 (x,y,z) 特征以极低推理开销进行融合。
• 在训练与推理过程中引入可学习阈值（γ）与损失加权（λ₁），以平衡前景点召回率与模型延迟。

Figure 2: (Best viewed in color) Range Sparse Net object detection architecture. The net consists of five components: 1) Range image feature extraction: a 2D convolution net on range images to extract associated image features. 2) Foreground point selection: foreground points are segmented on range

实验结果

研究问题

• RQ1 结合距离图像处理与前景点上稀疏卷积的两阶段检测流程，能否在远距离 3D LiDAR 检测中同时实现高精度与实时推理？
• RQ2 通过距离图像特征进行前景点选择，与全网格或密集特征处理相比，对检测精度与计算效率的影响如何？
• RQ3 基于距离图像的特征在小目标或远距离目标检测中能提升多少性能，特别是在遮挡或点云密度低的场景下？
• RQ4 与各阶段独立训练相比，从稀疏检测头反向传播梯度至距离图像编码器的端到端训练是否能显著提升检测质量？
• RQ5 该模型能否在更大检测范围（如 250m×250m）上有效扩展，而不会在标准基准之外出现显著性能下降？

主要发现

• 在 Waymo Open Dataset 上，RSN 在车辆类别上达到 64.2/63.9 AP/APH（LEVEL_2），行人类别上达到 68.88/66.07，优于所有先前的纯 LiDAR 方法。
• 在 150m×150m 检测区域上，模型推理速度超过 60 FPS，显著快于 PV-RCNN 和 PointPillars 等方法，同时保持更高精度。
• 当前景选择阈值 γ < 0.5 时，延迟降低超过 50%，仅伴随 1–2% 的 AP 下降，表明具备强大的精度-效率权衡控制能力。
• 消融实验表明，距离图像特征（RIFE）使车辆检测精度提升 3.3%，行人检测精度提升 4.3%，尤其在远距离检测中优势显著。
• 在内部长距离数据集（250m×250m）上，RSN 实现 83.6 BEV APH 与 61.2 3D APH，推理延迟仅 22ms，优于非稀疏基线模型（79.4 BEV APH，53.4 3D APH，44ms 延迟）。
• 移除热力图归一化（表 4 中的 row -Norm）使行人 APH 下降 0.8 分，证实其对关键点精确定位的重要性。

Figure 3: Range image U-Net feature extractor to compute high level semantic range features. See section 3.1 for details.