[论文解读] Weakly Supervised 3D Object Detection from Point Clouds

Zengyi Qin, Jinglu Wang+1 more|arXiv (Cornell University)|Jul 28, 2020

Advanced Neural Network Applications参考文献 43被引用 5

一句话总结

该论文提出 VS3D，一种弱监督 3D 目标检测框架，通过使用基于归一化点云密度的无监督 3D 目标提议和来自基于图像的教师网络的跨模态知识蒸馏，消除了对 3D 边界框标注的需求。该方法在 KITTI 数据集上表现出色，实现了弱监督 3D 检测的最先进性能，且无需任何 3D 监督。

ABSTRACT

A crucial task in scene understanding is 3D object detection, which aims to detect and localize the 3D bounding boxes of objects belonging to specific classes. Existing 3D object detectors heavily rely on annotated 3D bounding boxes during training, while these annotations could be expensive to obtain and only accessible in limited scenarios. Weakly supervised learning is a promising approach to reducing the annotation requirement, but existing weakly supervised object detectors are mostly for 2D detection rather than 3D. In this work, we propose VS3D, a framework for weakly supervised 3D object detection from point clouds without using any ground truth 3D bounding box for training. First, we introduce an unsupervised 3D proposal module that generates object proposals by leveraging normalized point cloud densities. Second, we present a cross-modal knowledge distillation strategy, where a convolutional neural network learns to predict the final results from the 3D object proposals by querying a teacher network pretrained on image datasets. Comprehensive experiments on the challenging KITTI dataset demonstrate the superior performance of our VS3D in diverse evaluation settings. The source code and pretrained models are publicly available at https://github.com/Zengyi-Qin/Weakly-Supervised-3D-Object-Detection.

研究动机与目标

• 通过消除对 3D 边界框标注的需求，解决 3D 目标检测的高标注成本问题。
• 开发一种利用图像与点云配对数据进行训练的弱监督框架。
• 利用几何线索从未结构化的点云中生成准确的 3D 目标提议。
• 通过跨模态蒸馏，将基于图像的模型知识迁移至点云检测器。
• 在新场景中实现 3D 检测器的快速部署，且标注工作量最小。

提出的方法

• 无监督 3D 目标提议模块（UPM）通过识别具有高归一化点云密度（NPCD）的 3D 锚框来生成提议，NPCD 具有距离不变性，更能反映物体的存在。
• UPM 基于 NPCD 选择锚框，以过滤冗余提议，去除超过 98% 的锚框，同时保留与物体相关的区域。
• 采用跨模态知识蒸馏策略，利用投影的 3D 提议，将知识从预训练的图像分类器（教师）迁移至基于点云的检测器（学生）。
• 学生网络模仿教师在目标分类和旋转回归任务上的预测，实现在无 3D 标注情况下的弱监督。
• 框架使用配对的图像与点云数据，其中提议被投影到图像上，由教师网络进行分类。
• 方法通过蒸馏损失端到端训练，使学生网络仅从图像级监督中学习。

实验结果

研究问题

• RQ1 能否在无需任何 3D 标注的情况下，从未标注的原始点云中有效生成 3D 目标提议？
• RQ2 基于图像的模型知识能否成功迁移至点云域，以提升 3D 目标检测性能？
• RQ3 与原始密度或未过滤的提议相比，归一化点云密度在目标提议质量方面表现如何？
• RQ4 在训练过程中完全不使用真实 3D 边框时，弱监督 3D 检测的性能如何？
• RQ5 该方法在不同输入模态（LiDAR、单目、双目）下的泛化能力如何？

主要发现

• 所提出的归一化点云密度（NPCD）优于原始点云密度和未过滤锚框策略，显著减少了远距离物体的漏检。
• UPM 在保留与物体相关提议的同时，去除了超过 98% 的冗余锚框，显著提升了效率与准确性。
• VS3D 在 KITTI 数据集上的弱监督 3D 目标检测任务中达到最先进性能，甚至在某些指标上超越了部分全监督基线方法。
• VS3D 的单目与双目版本在 2D 指标和低 IoU 3D 指标上优于 LiDAR 版本，得益于图像生成的更高分辨率点云。
• LiDAR 版本在高 IoU 3D 指标上表现更优，体现了 LiDAR 数据在几何精度方面的优势。
• 跨模态蒸馏策略使学生网络能够从图像级监督中学习到鲁棒的 3D 检测能力，实现了无 3D 标注下的强泛化性能。