[论文解读] SS3D: Single Shot 3D Object Detector

Aniket Limaye, Manu Mathew+4 more|arXiv (Cornell University)|Apr 30, 2020

Advanced Neural Network Applications参考文献 18被引用 4

一句话总结

SS3D 提出了一种单阶段 3D 目标检测框架，用计算效率更高、基于统计推导的输入表征替代 PointPillars 中的可学习输入表征，在 LiDAR 和立体视觉输入上均实现了最先进性能。其在 KITTI 数据集上将中等难度类别下汽车的 AP3D 提升至 76.84（LiDAR）和 45.13（立体视觉），优于 PointPillars 及其他领先检测器，同时保持了适用于嵌入式系统的实时性能。

ABSTRACT

Single stage deep learning algorithm for 2D object detection was made popular by Single Shot MultiBox Detector (SSD) and it was heavily adopted in several embedded applications. PointPillars is a state of the art 3D object detection algorithm that uses a Single Shot Detector adapted for 3D object detection. The main downside of PointPillars is that it has a two stage approach with learned input representation based on fully connected layers followed by the Single Shot Detector for 3D detection. In this paper we present Single Shot 3D Object Detection (SS3D) - a single stage 3D object detection algorithm which combines straight forward, statistically computed input representation and a Single Shot Detector (based on PointPillars). Computing the input representation is straight forward, does not involve learning and does not have much computational cost. We also extend our method to stereo input and show that, aided by additional semantic segmentation input; our method produces similar accuracy as state of the art stereo based detectors. Achieving the accuracy of two stage detectors using a single stage approach is important as single stage approaches are simpler to implement in embedded, real-time applications. With LiDAR as well as stereo input, our method outperforms PointPillars. When using LiDAR input, our input representation is able to improve the AP3D of Cars objects in the moderate category from 74.99 to 76.84. When using stereo input, our input representation is able to improve the AP3D of Cars objects in the moderate category from 38.13 to 45.13. Our results are also better than other popular 3D object detectors such as AVOD and F-PointNet.

研究动机与目标

• 开发一种单阶段 3D 目标检测框架，兼顾高精度与在实时嵌入式系统中的可部署性。
• 用更快、非可学习的、基于统计计算的输入表征替代 PointPillars 中的可学习两阶段输入表征。
• 将该方法扩展至立体视觉输入，并集成语义分割以提升单目设置下的性能。
• 通过更简单的单阶段架构，实现与两阶段检测器相当的性能。
• 证明非可学习的输入表征在 3D 检测基准中可超越可学习表征。

提出的方法

• 直接从点云统计量（如均值、方差、密度）计算输入表征（每个体素内），避免使用深度学习的特征提取。
• 将统计输入表征输入至受 SSD 和 PointPillars 启发的单阶段检测头，实现端到端推理。
• 对于立体视觉输入，该方法将左右 RGB 图像与深度估计结果融合，并将语义分割图作为额外输入通道引入。
• 检测器采用类似 SSD 的基于锚框的回归与分类头，但针对鸟瞰图（BEV）空间中的 3D 检测进行了适配。
• 整个流程在单阶段内完成训练，无需单独的特征学习阶段。
• 该方法沿用 PointPillars 的主干网络架构，但将其可学习输入编码器替换为可微分的、非可学习的统计表征。

实验结果

研究问题

• RQ1 非可学习的统计输入表征是否能在 3D 目标检测中超越可学习的两阶段输入表征？
• RQ2 采用统计输入表征的单阶段 3D 检测器是否能与最先进两阶段检测器的精度相媲美？
• RQ3 所提方法能否在融合语义分割的立体视觉输入上泛化，并达到立体视觉专用最先进检测器的性能？
• RQ4 统计输入表征是否能降低计算成本并提升推理速度，同时不损失精度？
• RQ5 该方法能否通过统一的单阶段架构，在 LiDAR 和立体视觉输入上均实现高性能？

主要发现

• 在 KITTI 数据集上，使用 LiDAR 输入时，所提出的统计输入表征将中等难度类别下汽车的 AP3D 从 74.99 提升至 76.84。
• 在立体视觉输入下，该方法在中等难度类别下对汽车的 AP3D 达到 45.13，相较基线 PointPillars 配置的 38.13 显著提升。
• 该方法在 LiDAR 和立体视觉基准上均优于其他领先 3D 检测器（如 AVOD 和 F-PointNet）。
• 性能提升未增加模型复杂度或推理延迟，保持了实时性能。
• 将语义分割与立体视觉输入结合，显著提升了检测精度，接近最先进立体视觉检测器的水平。
• 消融实验证实，在此单阶段设置下，统计输入表征比可学习表征更有效。