[论文解读] Weakly Supervised 3D Object Detection from Lidar Point Cloud

Qinghao Meng, Wenguan Wang+4 more|Lirias (KU Leuven)|Jul 23, 2020

Remote Sensing and LiDAR Applications参考文献 2被引用 13

一句话总结

本文提出了一种弱监督三维目标检测框架，仅使用500个弱标注的鸟瞰图（BEV）场景（含点击标注的物体中心）和534个精确标注的3D实例进行训练。采用两阶段架构——首先从BEV中心生成圆柱形提议，然后将其精炼为3D长方体——该方法在大幅降低标注成本的同时，实现了全监督检测器85–95%的性能。

ABSTRACT

It is laborious to manually label point cloud data for training high-quality 3D object detectors. This work proposes a weakly supervised approach for 3D object detection, only requiring a small set of weakly annotated scenes, associated with a few precisely labeled object instances. This is achieved by a two-stage architecture design. Stage-1 learns to generate cylindrical object proposals under weak supervision, i.e., only the horizontal centers of objects are click-annotated on bird's view scenes. Stage-2 learns to refine the cylindrical proposals to get cuboids and confidence scores, using a few well-labeled object instances. Using only 500 weakly annotated scenes and 534 precisely labeled vehicle instances, our method achieves 85-95% the performance of current top-leading, fully supervised detectors (which require 3, 712 exhaustively and precisely annotated scenes with 15, 654 instances). More importantly, with our elaborately designed network architecture, our trained model can be applied as a 3D object annotator, allowing both automatic and active working modes. The annotations generated by our model can be used to train 3D object detectors with over 94% of their original performance (under manually labeled data). Our experiments also show our model's potential in boosting performance given more training data. Above designs make our approach highly practical and introduce new opportunities for learning 3D object detection with reduced annotation burden.

研究动机与目标

• 通过减少对完整点云标注的依赖，降低三维目标检测的高标注成本。
• 解决大规模、精确标注3D数据获取困难的问题，该过程耗时且昂贵。
• 通过利用稀疏且易获取的弱监督标注，实现三维检测器的实际部署。
• 开发一种可作为主动或自动三维标注工具的模型，进一步减轻标注负担。

提出的方法

• 第一阶段采用双分支网络，从BEV特征图中预测物体中心热力图和前景点掩码，仅在弱监督设置下使用点击标注的物体中心进行训练。
• 以预测中心为中心，生成固定半径（行人1m，车辆4m）的圆柱形提议，并沿y轴无限延伸，以弥补缺失的高度信息。
• 第二阶段利用少量精确标注的3D实例，将圆柱形提议精炼为3D边界框和置信度分数，应用不完全监督。
• 网络采用两阶段训练策略：首先在弱标注的BEV数据上进行预训练，然后在少量精确标注实例上进行微调。
• 该模型支持自动标注和主动（人机协同）标注两种模式，其中人工点击可优化提议生成。
• 采用基于半径的过滤策略选择训练样本：距离真实中心0.5m以内的提议用于监督。

实验结果

研究问题

• RQ1 是否可以仅使用BEV图中的点击标注物体中心和少量精确标注的3D实例，有效训练三维目标检测？
• RQ2 来自稀疏、不精确标注的弱监督在多大程度上能匹配全监督检测器的性能？
• RQ3 训练好的检测器是否可被重新用作高效的三维标注工具，从而在实际中降低标注成本？
• RQ4 该方法在真实场景中面对遮挡、点云稀疏性和背景杂波时，其鲁棒性如何？

主要发现

• 尽管仅使用500个弱标注场景和534个精确标注实例，该方法仍实现了最先进全监督检测器85–95%的性能。
• 在相同训练数据下，该模型的预测结果可用于训练一个三维检测器，其性能超过全标注数据训练检测器的94%。
• 该模型在具有挑战性的场景中泛化能力良好，包括高度遮挡的车辆和人群密集的行人场景，多数情况下能生成准确的3D边界框。
• 主动标注模式支持人机协同修正，通过额外的点击监督提升对缺失或错误检测的预测性能。
• 失败案例主要源于严重遮挡、与车辆相似的背景物体以及前景点极度稀疏的情况，提示未来可通过多模态输入进一步改进。
• 与完整3D框标注相比，该方法将标注时间减少了约40–50倍，主要得益于使用中心点击而非完整3D框标注。