[论文解读] Quantifying Data Augmentation for LiDAR based 3D Object Detection

Martin Hahner, Dengxin Dai+2 more|arXiv (Cornell University)|Apr 3, 2020

Robotics and Sensor-Based Localization参考文献 25被引用 9

一句话总结

本文对基于激光雷达的3D目标检测中的数据增强技术进行了全面的实证研究，表明全局增强（如旋转和缩放）可显著提升性能，而局部物体平移则可能适得其反。作者提出了一种优化的数据增强策略，在KITTI数据集上将PointPillars的性能提升最高达1.5%，在STF数据集上提升最高达1.7%，且研究成果可推广至多种最先进模型和数据集。

ABSTRACT

In this work, we shed light on different data augmentation techniques commonly used in Light Detection and Ranging (LiDAR) based 3D Object Detection. For the bulk of our experiments, we utilize the well known PointPillars pipeline and the well established KITTI dataset. We investigate a variety of global and local augmentation techniques, where global augmentation techniques are applied to the entire point cloud of a scene and local augmentation techniques are only applied to points belonging to individual objects in the scene. Our findings show that both types of data augmentation can lead to performance increases, but it also turns out, that some augmentation techniques, such as individual object translation, for example, can be counterproductive and can hurt the overall performance. We show that these findings transfer and generalize well to other state of the art 3D Object Detection methods and the challenging STF dataset. On the KITTI dataset we can gain up to 1.5% and on the STF dataset up to 1.7% in 3D mAP on the moderate car class.

研究动机与目标

• 系统评估多种数据增强技术（全局与局部）对基于激光雷达的3D目标检测性能的影响。
• 识别出可提升泛化能力的增强策略，以及可能在复杂场景中降低性能的策略。
• 开发并验证一种新型优化的数据增强策略，以在多个数据集上提升最先进3D检测器的性能。
• 为实践者提供一种经验证、可迁移的数据增强策略，避免试错式实验。

提出的方法

• 本研究在PointPillars框架上，基于KITTI数据集评估了36种不同的增强策略，并通过消融实验隔离各技术的影响。
• 全局增强（如场景级旋转、缩放和噪声注入）应用于整个点云，而局部增强则按物体分别应用，如物体特定的平移、旋转或缩放。
• 提出一种新颖的GT过滤策略：在训练过程中排除困难样本，但在推理时进行评估，以检验泛化效果。
• 将表现最佳的增强策略在五个额外的最先进3D检测器（如VoxelRCNN、PV-RCNN）上进行验证，并在KITTI和更具挑战性的STF数据集上进行测试。
• 使用3D mAP@40在中等和困难类别下的小车检测任务上衡量性能，并通过消融实验隔离每种增强类型的具体贡献。
• 最终策略结合了最有效的技术：移除局部物体平移，引入局部缩放，并在训练中排除困难样本。

实验结果

研究问题

• RQ1 在基于激光雷达的3D目标检测中，哪种数据增强技术——全局或局部——能带来最一致的性能提升？
• RQ2 为何局部物体平移尽管在其他任务中被广泛使用，却会降低性能？
• RQ3 在训练过程中过滤掉困难样本是否能提升模型在评估阶段对困难样本的泛化能力和性能？
• RQ4 这些发现对不同3D目标检测架构和数据集的泛化能力如何？
• RQ5 各项增强技术的组合是否产生叠加效应，还是产生协同增益？

主要发现

• 局部物体平移显著降低检测性能，表明其可能因引入虚假的空间关系而使模型混淆。
• 在训练中排除困难样本可使评估阶段困难样本的性能提升1.16%，表明困难样本可能在学习过程中干扰模型。
• 全局增强技术（如旋转和缩放）能持续提升性能，其中全局缩放带来的增益最高。
• 所提出的增强策略#41在KITTI数据集上使PointPillars在中等类别小车检测中性能最高提升1.5%，在困难类别小车检测中最高提升1.7%。
• 研究结果可推广至多种最先进模型（如VoxelRCNN和PV-RCNN），并适用于nuScenes和Lyft Level5等多样化数据集。
• 将所有高性能技术组合后并未获得最佳结果，表明不同增强策略之间存在非叠加性交互作用。