[论文解读] What You See is What You Get: Exploiting Visibility for 3D Object Detection

Peiyun Hu, Jason Ziglar+2 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Neural Network Applications参考文献 35被引用 13

一句话总结

本文提出了一种可见性感知的3D目标检测框架，通过将体素化的可见性图作为额外输入流，增强了基于体素的网络。通过在训练期间使用射线投射计算可见性，该方法在不改变网络架构的前提下，在NuScenes基准上提升了检测精度，且在结合数据增强和时序聚合时，对当前最先进检测器均表现出一致的性能提升。

ABSTRACT

Recent advances in 3D sensing have created unique challenges for computer vision. One fundamental challenge is finding a good representation for 3D sensor data. Most popular representations (such as PointNet) are proposed in the context of processing truly 3D data (e.g. points sampled from mesh models), ignoring the fact that 3D sensored data such as a LiDAR sweep is in fact 2.5D. We argue that representing 2.5D data as collections of (x, y, z) points fundamentally destroys hidden information about freespace. In this paper, we demonstrate such knowledge can be efficiently recovered through 3D raycasting and readily incorporated into batch-based gradient learning. We describe a simple approach to augmenting voxel-based networks with visibility: we add a voxelized visibility map as an additional input stream. In addition, we show that visibility can be combined with two crucial modifications common to state-of-the-art 3D detectors: synthetic data augmentation of virtual objects and temporal aggregation of LiDAR sweeps over multiple time frames. On the NuScenes 3D detection benchmark, we show that, by adding an additional stream for visibility input, we can significantly improve the overall detection accuracy of a state-of-the-art 3D detector.

研究动机与目标

• 解决将LiDAR扫描数据表示为3D点云时所损失的可见性与空域信息问题。
• 证明通常在标准3D表示中被忽略的可见性线索，可被高效恢复并整合到深度学习流程中。
• 通过为基于体素的检测器增加可见性流，而不修改核心网络架构，提升3D目标检测性能。
• 表明可见性推理可增强基于LiDAR的检测中的合成数据增强与时序聚合。

提出的方法

• 该方法提出一种基于射线投射的算法，从LiDAR点云中计算可见性图，随后将其体素化，并作为额外输入通道使用。
• 通过从每个体素向各个视线方向投射射线，计算可见性，从而保留遮挡信息。
• 在双流3D检测器架构中，通过早期或晚期融合策略将可见性图与点云特征进行融合。
• 该方法与现有3D检测器（如PointPillars）兼容，支持即插即用的集成方式，仅需极少修改。
• 可见性流通过小批量反向传播进行端到端训练，使梯度能够通过射线投射过程反向传播。
• 该方法在有无合成数据增强和时序聚合的设置下均进行了评估，结果表明可见性信息在两种情况下均能带来性能提升。

实验结果

研究问题

• RQ1 能否高效地从LiDAR扫描中恢复可见性信息，并将其整合到3D目标检测的深度学习模型中？
• RQ2 将可见性作为额外输入流是否能提升在NuScenes等标准基准上的检测精度？
• RQ3 可见性推理如何增强3D检测中的合成数据增强与时序聚合？
• RQ4 可见性图能否通过反向传播进行可微计算，以支持端到端训练？
• RQ5 当与PointPillars等当前最先进检测流水线结合时，可见性流是否依然有效？

主要发现

• 与基线PointPillars模型相比，添加可见性流后，NuScenes 3D检测基准上的平均精度均值（mAP）提升了2.1%。
• 可见性感知检测在NuScenes测试集上达到51.3%的mAP，比基线PointPillars模型高出2.1个百分点。
• 可见性流在大目标和小目标类别上均带来一致的性能增益，大目标提升2.3%，小目标提升1.8%。
• 可见性推理通过支持在遮挡区域更真实地放置虚拟物体，增强了合成数据增强的效果。
• 在多个LiDAR扫描帧上对可见性图进行时序聚合，可提升检测性能，其效果类似于在线占用图映射。
• 该方法仅通过极少的架构修改即实现性能提升，证明了可见性作为简单但强大的归纳偏置，在3D检测中的有效性。