[论文解读] Open-Vocabulary 3D Detection via Image-level Class and Debiased Cross-modal Contrastive Learning

Yuheng Lu, Chenfeng Xu+5 more|arXiv (Cornell University)|Jul 5, 2022

Advanced Neural Network Applications被引用 8

一句话总结

该论文提出OV-3DETIC，一种新颖的开放词汇3D目标检测框架，利用ImageNet1K的图像级类别标签，使点云检测器能够识别未见物体类别。通过结合基于图像的伪标签与去偏移的跨模态对比学习策略，OV-3DETIC实现了最先进性能，在SUN-RGBD上较基线模型提升10.77% mAP，在ScanNet上提升9.56%，且未增加推理延迟。

ABSTRACT

Current point-cloud detection methods have difficulty detecting the open-vocabulary objects in the real world, due to their limited generalization capability. Moreover, it is extremely laborious and expensive to collect and fully annotate a point-cloud detection dataset with numerous classes of objects, leading to the limited classes of existing point-cloud datasets and hindering the model to learn general representations to achieve open-vocabulary point-cloud detection. As far as we know, we are the first to study the problem of open-vocabulary 3D point-cloud detection. Instead of seeking a point-cloud dataset with full labels, we resort to ImageNet1K to broaden the vocabulary of the point-cloud detector. We propose OV-3DETIC, an Open-Vocabulary 3D DETector using Image-level Class supervision. Specifically, we take advantage of two modalities, the image modality for recognition and the point-cloud modality for localization, to generate pseudo labels for unseen classes. Then we propose a novel debiased cross-modal contrastive learning method to transfer the knowledge from image modality to point-cloud modality during training. Without hurting the latency during inference, OV-3DETIC makes the point-cloud detector capable of achieving open-vocabulary detection. Extensive experiments demonstrate that the proposed OV-3DETIC achieves at least 10.77 % mAP improvement (absolute value) and 9.56 % mAP improvement (absolute value) by a wide range of baselines on the SUN-RGBD dataset and ScanNet dataset, respectively. Besides, we conduct sufficient experiments to shed light on why the proposed OV-3DETIC works.

研究动机与目标

• 为解决开放词汇3D目标检测的挑战，即现有点云检测器在未见类别上表现不佳，因其训练词汇受限。
• 通过利用ImageNet1K中丰富的图像级类别标签，克服大规模全标注3D点云数据集稀缺的问题。
• 开发一种方法，将图像模态的知识迁移至点云模态，而无需为未见类别提供3D标注。
• 在保持低推理延迟的同时，提升3D检测器对未见物体类别的泛化能力。

提出的方法

• 该方法采用两阶段训练流程：首先，利用ImageNet1K的图像级监督，通过2D图像检测器为3D点云中的未见类别生成伪边界框和类别标签。
• 提出一种去偏移的跨模态对比学习目标，通过距离感知温度策略，对齐图像与点云特征，同时减少模态偏差。
• 将对比损失应用于ImageNet1K的图像特征与伪标注点云特征之间，促使模型学习到可泛化的共享表征。
• 使用线性投影头将特征映射到共享嵌入空间，且对比损失与检测头端到端联合优化。
• 该框架利用3D检测器在有限监督下仍具强的定位泛化能力，为未见类别生成可靠的伪标签。
• 该方法无需额外的3D标注或2D检测标注，仅依赖ImageNet1K的图像级类别标签。

实验结果

研究问题

• RQ1 能否有效利用ImageNet1K等大规模数据集的图像级监督，实现在未见类别无3D标注情况下的开放词汇3D检测？
• RQ2 如何设计跨模态对比学习，以在从图像到点云的知识迁移过程中最小化模态偏差？
• RQ3 2D检测器生成的伪标签在多大程度上提升了未见类别上的3D检测性能？
• RQ4 3D检测器的定位能力是否足够泛化，以在低数据场景下支持可靠的伪标签生成？
• RQ5 去偏移对比学习在提升跨模态特征对齐与泛化方面起到何种作用？

主要发现

• OV-3DETIC在SUN-RGBD数据集上相较强基线模型实现10.77%的绝对mAP提升，显著增强了开放词汇检测性能。
• 在ScanNet数据集上，OV-3DETIC相较基线模型mAP提升9.56%，证实其在不同基准上的有效性。
• 消融实验表明，伪标签、基于类别的对比学习以及距离感知温度调度逐步改善了未见类别的特征聚类效果。
• 特征可视化结果表明，去偏移对比学习策略显著拉近了图像与点云特征分布，尤其在未见类别上表现明显。
• AR25指标在点云数据上的收敛速度优于图像数据，表明3D检测器具有强大的定位泛化能力，支持伪标签的可靠性。
• 在50个训练周期间隔内对伪标签进行迭代优化，性能持续提升，表明更优的伪标签可带来更佳的检测结果。