[论文解读] Revisiting Domain-Adaptive 3D Object Detection by Reliable, Diverse and Class-balanced Pseudo-Labeling

Zhuoxiao Chen, Yadan Luo+3 more|arXiv (Cornell University)|Jul 16, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出ReDB，一种用于域自适应3D目标检测的新框架，通过生成可靠、多样且类别平衡的伪标签，解决多类别设置下性能下降的问题。通过引入跨域检查（CDE）以提升标签可靠性，采用重叠框计数（OBC）以增强几何多样性，并结合类别平衡的自训练策略，ReDB在nuScenes→KITTI基准上相比之前最先进方法将mAP提升了23.15%。

ABSTRACT

Unsupervised domain adaptation (DA) with the aid of pseudo labeling techniques has emerged as a crucial approach for domain-adaptive 3D object detection. While effective, existing DA methods suffer from a substantial drop in performance when applied to a multi-class training setting, due to the co-existence of low-quality pseudo labels and class imbalance issues. In this paper, we address this challenge by proposing a novel ReDB framework tailored for learning to detect all classes at once. Our approach produces Reliable, Diverse, and class-Balanced pseudo 3D boxes to iteratively guide the self-training on a distributionally different target domain. To alleviate disruptions caused by the environmental discrepancy (e.g., beam numbers), the proposed cross-domain examination (CDE) assesses the correctness of pseudo labels by copy-pasting target instances into a source environment and measuring the prediction consistency. To reduce computational overhead and mitigate the object shift (e.g., scales and point densities), we design an overlapped boxes counting (OBC) metric that allows to uniformly downsample pseudo-labeled objects across different geometric characteristics. To confront the issue of inter-class imbalance, we progressively augment the target point clouds with a class-balanced set of pseudo-labeled target instances and source objects, which boosts recognition accuracies on both frequently appearing and rare classes. Experimental results on three benchmark datasets using both voxel-based (i.e., SECOND) and point-based 3D detectors (i.e., PointRCNN) demonstrate that our proposed ReDB approach outperforms existing 3D domain adaptation methods by a large margin, improving 23.15% mAP on the nuScenes $ ightarrow$ KITTI task. The code is available at https://github.com/zhuoxiao-chen/ReDB-DA-3Ddet.

研究动机与目标

• 解决因伪标签质量差和类别不平衡导致的多类别3D域自适应中性能显著下降的问题。
• 缓解环境和物体分布变化在跨域3D检测中的影响。
• 开发一种自训练框架，以增强在各种几何和分布偏移下的检测鲁棒性。
• 通过在源域和目标域之间验证预测结果，确保伪标签的可靠性。
• 通过渐进式的类别平衡数据增强，实现对常见类和罕见类的均衡识别。

提出的方法

• 提出跨域检查（CDE），将伪标签化的目标对象复制到源域中，通过IoU度量预测一致性，以过滤不可靠标签。
• 设计重叠框计数（OBC）指标，量化伪标签化3D目标的几何多样性，并实现跨尺度、密度和遮挡水平的均匀下采样。
• 实施类别平衡的自训练策略，通过渐进式地将平衡混合的伪标签实例与源域物体融合到目标点云中，以提升罕见类检测性能。
• 应用CDE并设置阈值δ_cde，以剔除源域与目标域预测一致性较低的伪标签。
• 利用OBC对伪标签进行下采样，确保具有高几何特征多样性（如尺寸、距离、遮挡程度）的对象被优先保留。
• 将ReDB框架集成到基于体素（如SECOND）和基于点（如PointRCNN）的检测器中，验证其模型无关的性能增益。

实验结果

研究问题

• RQ1 在3D域自适应过程中，面对环境和物体分布变化，如何提升伪标签的可靠性？
• RQ2 哪些度量能有效捕捉伪标签化3D目标的几何多样性，以防止模型在相似类别上发生崩溃？
• RQ3 类别平衡的自训练是否能显著提升在域偏移下多类别3D检测中罕见类别的检测性能？
• RQ4 所提方法在不同3D检测器架构（基于体素与基于点）上的泛化能力如何？
• RQ5 ReDB的性能对超参数（如CDE的IoU阈值和OBC下采样率）的敏感程度如何？

主要发现

• 与先前SOTA方法ST3D相比，ReDB在nuScenes→KITTI基准上实现了23.15%的mAP提升。
• 在PointRCNN上，mAP分别提升了23.32%（中等检测阈值）和24.11%（高难度检测阈值），优于ST3D++和专用单类别方法。
• 消融实验表明，若移除ReDB的任意组件（CDE、OBC或类别平衡训练），mAP均出现明显下降，验证了各模块的贡献。
• CDE机制通过过滤掉30–40%的一致性较低的伪标签，显著减少了误差累积，提升了标签质量。
• 基于OBC的下采样策略保留了多样化的几何特征，高OBC值对象（如大尺寸、远距离或被遮挡的）被优先保留。
• 该方法对超参数变化具有鲁棒性，当δ_cde在0.3至0.6之间变化时，mAP仅波动2.69%，即使在高下采样率（d=10）下性能下降也可接受。