[论文解读] Real3D-Aug: Point Cloud Augmentation by Placing Real Objects with Occlusion Handling for 3D Detection and Segmentation

Petr Šebek, Šimon Pokorný+2 more|arXiv (Cornell University)|Jun 15, 2022

Remote Sensing and LiDAR Applications被引用 6

一句话总结

该论文提出 Real3D-Aug，一种新颖的点云增强框架，通过显式处理遮挡并保留物理真实性，将真实标注的物体插入场景中，利用真实激光雷达特性（如强度和光线丢失）实现增强。该方法显著提升了3D检测与分割性能，尤其在罕见类别上表现突出——在 KITTI 数据集上，'Hard' 类行人检测的平均精度（AP）提升了 6.65%，在 SemanticKITTI 数据集上，mIoU 提升了 2.14。

ABSTRACT

Object detection and semantic segmentation with the 3D lidar point cloud data require expensive annotation. We propose a data augmentation method that takes advantage of already annotated data multiple times. We propose an augmentation framework that reuses real data, automatically finds suitable placements in the scene to be augmented, and handles occlusions explicitly. Due to the usage of the real data, the scan points of newly inserted objects in augmentation sustain the physical characteristics of the lidar, such as intensity and raydrop. The pipeline proves competitive in training top-performing models for 3D object detection and semantic segmentation. The new augmentation provides a significant performance gain in rare and essential classes, notably 6.65% average precision gain for "Hard" pedestrian class in KITTI object detection or 2.14 mean IoU gain in the SemanticKITTI segmentation challenge over the state of the art.

研究动机与目标

• 通过增强数据效率来缓解自动驾驶中3D激光雷达标注数据稀缺的问题。
• 克服现有3D增强方法仅应用几何变换、无法建模真实物体布局的局限性。
• 通过真实世界物体布局实现3D目标检测与语义分割的高效数据增强。
• 提升对罕见且关键类别（如行人和自行车骑行者）的性能，这些类别在训练数据中代表性不足。
• 通过保留真实激光雷达特有的特性（如强度和光线丢失）确保增强数据的物理真实性。

提出的方法

• 重用同一数据集中已标注的真实3D点云数据进行增强，确保物理一致性。
• 通过分割道路和人行道区域，自动检测场景中适合的物体放置区域，实现类别特定的物体插入。
• 利用物体边界框防止插入过程中的碰撞，确保空间布局的合理性。
• 通过球面投影模拟可见性，显式建模遮挡，保留真实的点可见性与遮挡模式。
• 通过复制真实激光雷达扫描特性（如强度值和光线丢失行为）保持物理真实性。
• 所有增强操作在训练前离线预处理，实现训练期间零运行时开销。

实验结果

研究问题

• RQ1 能否在真实场景中重用真实世界的3D物体实例，并通过逼真的遮挡建模来提升3D感知任务性能？
• RQ2 在增强数据中引入物理激光雷达特性（如强度、光线丢失）是否能带来比合成或仅几何变换增强更好的泛化性能？
• RQ3 统一的增强框架能否有效提升3D目标检测与语义分割两类任务？
• RQ4 与最先进方法相比，该方法在罕见且难检测类别（如行人和自行车骑行者）上的表现如何？
• RQ5 在单次增强中包含多个物体类别在多大程度上提升了模型的鲁棒性与泛化能力？

主要发现

• 在 KITTI 3D 目标检测基准上，Real3D-Aug 在 'Hard' 类行人检测上实现了 6.65% 的平均精度（AP）绝对提升，显著优于最先进方法。
• 在语义分割任务中，与标准增强技术相比，Real3D-Aug 在 SemanticKITTI 数据集上的 mIoU 提升了 2.14 个百分点。
• 在行人检测任务中，该方法优于 GT-Aug 和 LiDAR-Aug，尤其在 'Hard' 困难类别中表现更优，PV-RCNN 框架下 AP 提升达 15.4%（而 GT-Aug 仅提升 7.52%）。
• 当同时增强多个类别（如行人和自行车骑行者）时，所有类别的性能均得到提升，包括未参与增强的类别（如汽车），这是由于负样本多样性增加所致。
• 消融实验表明，仅插入单一类别（如仅行人或仅自行车骑行者）可能对相似类别（如插入行人后对 'cyclist' 类性能下降）造成性能下降，凸显联合增强的优势。
• 该方法具备自包含性与预处理特性，训练期间无运行时开销，适用于3D感知流水线在真实场景中的实际部署。