[论文解读] WeakM3D: Towards Weakly Supervised Monocular 3D Object Detection

Liang Peng, Senbo Yan+4 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Neural Network Applications被引用 12

一句话总结

该论文提出 WeakM3D，一种弱监督单目 3D 目标检测方法，通过利用 2D 目标检测从激光雷达点云中提取物体-激光雷达点作为弱监督信号，消除了对昂贵 3D 框标注的需求。该方法引入了几何对齐损失、光线追踪损失以解决表面模糊性问题、基于点密度的损失平衡机制，以及学习解耦策略，在 KITTI 数据集上实现了最先进性能，甚至超越了部分全监督方法。

ABSTRACT

Monocular 3D object detection is one of the most challenging tasks in 3D scene understanding. Due to the ill-posed nature of monocular imagery, existing monocular 3D detection methods highly rely on training with the manually annotated 3D box labels on the LiDAR point clouds. This annotation process is very laborious and expensive. To dispense with the reliance on 3D box labels, in this paper we explore the weakly supervised monocular 3D detection. Specifically, we first detect 2D boxes on the image. Then, we adopt the generated 2D boxes to select corresponding RoI LiDAR points as the weak supervision. Eventually, we adopt a network to predict 3D boxes which can tightly align with associated RoI LiDAR points. This network is learned by minimizing our newly-proposed 3D alignment loss between the 3D box estimates and the corresponding RoI LiDAR points. We will illustrate the potential challenges of the above learning problem and resolve these challenges by introducing several effective designs into our method. Codes will be available at https://github.com/SPengLiang/WeakM3D.

研究动机与目标

• 消除单目 3D 目标检测中对昂贵 3D 框标注的依赖。
• 开发一种弱监督学习框架，利用 2D 目标检测结果和激光雷达点云作为监督信号。
• 解决弱监督 3D 检测中的关键挑战，包括对齐模糊性、点云分布不均以及 3D 参数估计的耦合问题。
• 建立一个强大的弱监督单目 3D 检测基线模型，其性能超越部分全监督方法。

提出的方法

• 使用现成的 2D 检测器在单目图像上生成 2D 目标提议。
• 将 2D 框投影到激光雷达点云上，提取物体-激光雷达点作为弱监督信号。
• 引入几何点到框对齐损失，以最小化 3D 框预测与物体-激光雷达点之间的空间距离。
• 提出光线追踪损失，通过模拟从相机光心到激光雷达点的光线，并检测其与预测 3D 框的碰撞，以解决对齐模糊性问题。
• 采用基于点密度的损失平衡策略，缓解不均匀激光雷达点分布对点级损失函数的影响。
• 通过冻结物体尺寸并从物体-激光雷达点中启发式估计方向，实现学习解耦，从而减轻训练负担。

实验结果

研究问题

• RQ1 能否有效结合 2D 目标检测与激光雷达点云，实现在无需 3D 框标注情况下的弱监督单目 3D 检测？
• RQ2 当从单一表面捕获激光雷达点时，如何解决将 3D 框预测与点匹配时的对齐模糊性问题？
• RQ3 哪些策略可以减轻不均匀激光雷达点分布对点级损失函数的负面影响？
• RQ4 在弱监督设置下，解耦 3D 参数估计如何提升训练稳定性和性能？

主要发现

• WeakM3D 在 KITTI 验证集上对车辆类别实现了 58.20% BEV AP 和 50.16% 3D AP（IoU=0.5），优于多个全监督方法。
• 消融实验表明，所有提出的组件——几何对齐损失、光线追踪损失、损失平衡机制以及学习解耦策略——均对性能提升有显著贡献。
• 即使仅使用 2D 框监督，该方法仍表现出色，达到 55.94% BEV AP 和 47.52% 3D AP，证明了弱监督信号的有效性。
• 引入光线追踪损失可减少对齐模糊性，提升 3D 定位精度，尤其在困难样本上表现更优。
• 基于点密度的损失平衡策略稳定了训练过程，防止密集区域主导损失梯度。
• 该方法泛化能力强，在不同主干网络（如 PatchNet 和 CenterNet）上均取得了可比的性能表现。