[论文解读] Range Conditioned Dilated Convolutions for Scale Invariant 3D Object Detection

Alex Bewley, Pei Sun+3 more|arXiv (Cornell University)|May 20, 2020

Robotics and Sensor-Based Localization被引用 67

一句话总结

引入 Range Conditioned Dilated (RCD) 卷积用于基于 LiDAR 距离图的三维目标检测，实现尺度不变的感受野并提升远距离检测，采用两阶段的 RPN+RCNN 框架和软距离门控。

ABSTRACT

This paper presents a novel 3D object detection framework that processes LiDAR data directly on its native representation: range images. Benefiting from the compactness of range images, 2D convolutions can efficiently process dense LiDAR data of a scene. To overcome scale sensitivity in this perspective view, a novel range-conditioned dilation (RCD) layer is proposed to dynamically adjust a continuous dilation rate as a function of the measured range. Furthermore, localized soft range gating combined with a 3D box-refinement stage improves robustness in occluded areas, and produces overall more accurate bounding box predictions. On the public large-scale Waymo Open Dataset, our method sets a new baseline for range-based 3D detection, outperforming multiview and voxel-based methods over all ranges with unparalleled performance at long range detection.

研究动机与目标

• 动机并解决基于距离图的 LiDAR 数据三维检测中的尺度变异和遮挡问题。
• 提出一个基于距离条件的扩张 (RCD) 卷积块，能够根据距离动态调整感受野。
• 引入软范围门控以缓解遮挡和近场干扰。
• 将 RCD 块嵌入到一个两阶段检测网络中（RCD-RPN 和 3D RCNN），以提高边界框精度。
• 在 Waymo Open Dataset 上为基于距离图的三维检测建立新的基线。

提出的方法

• 定义使用在均匀网格上初始化的可学习稀疏采样模式 G 的 RCD 块。
• 计算范围条件采样 S = sigma(R, lambda) * G + P，其中 sigma(r, lambda) = arctan(lambda / r)。
• 使用双线性采样在每个像素的 N 个采样位置聚合局部特征，并通过逐点卷积产生输出。
• 应用带高斯权重的软范围门控 N(￿fset, r_i, gamma) 来根据距离接近度调制邻居贡献。
• 将 RCD 块集成到基于距离图的 RPN 和第二阶段的 3D RCNN 中，以对提案进行细化。
• 端到端训练，联合损失包括 RCD-RPN 损失（f 和 b）和 RCNN 损失（分类和回归）。

实验结果

研究问题

• RQ1 如何使扩张率连续并以测量的 LiDAR 距离为条件来实现尺度不变的特征提取？
• RQ2 在距离图中，基于范围条件的采样策略是否相较固定扩张或类似 ASPP 的方法提升检测性能？
• RQ3 相比单阶段基线，使用范围条件扩张的两阶段检测器（RPN+RCNN）是否能更好地处理遮挡和远距离检测？
• RQ4 软范围门控对基于距离图的检测器在近遮挡和干扰项的鲁棒性有什么影响？
• RQ5 与体素/BEV 和其他基于距离的方法相比，所提出的方法在 Waymo Open Dataset 上的表现如何，特别是在远距离？

主要发现

• 带 SRG 的 RCD 通过更好地处理尺度变化与遮挡，显著提升单阶段 RPN 相对于 LaserNet 的性能。
• 完整的两阶段 RCD 框架在 Waymo Open Dataset 的基于距离图的检测器中达到最先进的结果，特别是在远距离。
• RCD 通过与距离相关的连续扩张函数动态调整感受野，使跨尺度复用卷积核权重成为可能。
• 动态范围条件采样的一维到二维扩展在体素稀疏性对体素/点基方法造成影响时实现了更好的远距离检测。
• 消融实验显示，RCD 与 SRG 以及多尺度应用优于固定扩张和类似 ASPP 的方法，尤其在远距离和高遮挡场景下。