[论文解读] Semi-supervised 3D Object Detection with Proficient Teachers

Junbo Yin, Fang Jin+5 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Neural Network Applications被引用 9

一句话总结

该论文提出 ProficientTeachers，一种半监督 3D 目标检测框架，通过空间-时间集成（STE）实现高召回率，通过基于聚类的框投票（CBV）实现高精度，从而消除对阈值调优的依赖。在 ONCE 数据集上，该方法相比基线模型实现了 9.51 mAP 的性能提升；在 Waymo 数据集上，仅使用一半标注数据即超越了使用完整标注数据训练的“理想”模型。

ABSTRACT

Dominated point cloud-based 3D object detectors in autonomous driving scenarios rely heavily on the huge amount of accurately labeled samples, however, 3D annotation in the point cloud is extremely tedious, expensive and time-consuming. To reduce the dependence on large supervision, semi-supervised learning (SSL) based approaches have been proposed. The Pseudo-Labeling methodology is commonly used for SSL frameworks, however, the low-quality predictions from the teacher model have seriously limited its performance. In this work, we propose a new Pseudo-Labeling framework for semi-supervised 3D object detection, by enhancing the teacher model to a proficient one with several necessary designs. First, to improve the recall of pseudo labels, a Spatialtemporal Ensemble (STE) module is proposed to generate sufficient seed boxes. Second, to improve the precision of recalled boxes, a Clusteringbased Box Voting (CBV) module is designed to get aggregated votes from the clustered seed boxes. This also eliminates the necessity of sophisticated thresholds to select pseudo labels. Furthermore, to reduce the negative influence of wrongly pseudo-labeled samples during the training, a soft supervision signal is proposed by considering Box-wise Contrastive Learning (BCL). The effectiveness of our model is verified on both ONCE and Waymo datasets. For example, on ONCE, our approach significantly improves the baseline by 9.51 mAP. Moreover, with half annotations, our model outperforms the oracle model with full annotations on Waymo.

研究动机与目标

• 通过利用半监督学习，减少自动驾驶中对昂贵 3D 点云标注的依赖。
• 解决弱教师模型在 3D 目标检测中生成的伪标签存在高漏检率和误检率的问题。
• 通过自适应、学习驱动的聚合方式，消除伪标签过滤中对人工阈值选择的依赖。
• 通过基于框的对比学习实现软监督，提升学生模型的泛化能力。

提出的方法

• 引入空间-时间集成（STE）模块，通过融合多个增强视图（空间和时间）的预测结果，生成高召回率的初始框。
• 采用基于聚类的框投票（CBV）模块，将初始框聚类并聚合投票以优化边界框，从而在不依赖阈值的情况下提升精度。
• 使用基于框的对比学习（BCL）构建软监督信号，降低噪声伪标签对学生训练的负面影响。
• 通过集成 STE 和 CBV 模块，将教师模型升级为“精通型”教师，实现高质量伪标签的生成。
• 利用优化后的伪标签，在教师与学生网络之间实施一致性正则化，以提升特征学习能力。

实验结果

研究问题

• RQ1 空间-时间集成是否能在不增加误报率的前提下提升 3D 目标检测中伪标签生成的召回率？
• RQ2 基于聚类的框投票是否能有效优化伪标签，并消除伪标签选择中对人工阈值的依赖？
• RQ3 基于框的对比学习是否能通过减轻噪声伪标签的影响，提升学生模型的泛化能力？
• RQ4 通过这些组件训练的“精通型”教师模型，是否能在仅使用一半标注数据的情况下超越完全监督的基线模型？

主要发现

• 在 ONCE 数据集上，ProficientTeachers 相比基线模型实现了 9.51 mAP 的显著提升，证明了在极小标注数据下的强大性能增益。
• 仅使用一半标注数据，ProficientTeachers 在 Waymo 数据集上的表现即超越了使用完整标注数据训练的“理想”模型，凸显其数据效率优势。
• 消融实验表明，完整模型（包含 STE、CBV 和 BCL 模块）达到 57.72% mAP，相比基线提升 1.97 个百分点。
• 仅使用 CBV 模块即可使 mAP 相比基线提升 1.42 个百分点，证明其在不依赖阈值调优的情况下显著提升精度的有效性。
• 单独使用 BCL 模块可为 mAP 贡献 0.79 个百分点，表明其在提升训练稳定性和泛化能力方面具有关键作用。