[论文解读] ST3D: Self-training for Unsupervised Domain Adaptation on 3D Object Detection

Jihan Yang, Shaoshuai Shi+3 more|arXiv (Cornell University)|Mar 9, 2021

Advanced Neural Network Applications参考文献 56被引用 9

一句话总结

ST3D 提出了一种用于 3D 目标检测无监督域自适应的自训练框架，通过随机物体缩放减少源域偏差，利用质量感知三元组记忆库生成高质量伪标签，并采用课程数据增强策略防止过拟合。该方法实现了最先进性能，甚至在 Waymo→KITTI 基准上超越了完全监督结果。

ABSTRACT

We present a new domain adaptive self-training pipeline, named ST3D, for unsupervised domain adaptation on 3D object detection from point clouds. First, we pre-train the 3D detector on the source domain with our proposed random object scaling strategy for mitigating the negative effects of source domain bias. Then, the detector is iteratively improved on the target domain by alternatively conducting two steps, which are the pseudo label updating with the developed quality-aware triplet memory bank and the model training with curriculum data augmentation. These specific designs for 3D object detection enable the detector to be trained with consistent and high-quality pseudo labels and to avoid overfitting to the large number of easy examples in pseudo labeled data. Our ST3D achieves state-of-the-art performance on all evaluated datasets and even surpasses fully supervised results on KITTI 3D object detection benchmark. Code will be available at https://github.com/CVMI-Lab/ST3D.

研究动机与目标

• 解决由于传感器、天气和地理差异导致的源域与目标域之间存在的域偏移问题。
• 克服由于伪标签噪声和对简单样本过拟合而导致的朴素自训练在 3D 检测中的失败。
• 设计一种鲁棒的自训练流程，提升模型泛化能力，且无需目标域标注。
• 通过预训练期间的数据增强减少源域中物体尺寸分布带来的偏差。
• 利用包含集成与投票机制的记忆库，稳定并提升伪标签质量。

提出的方法

• 在预训练期间引入随机物体缩放（ROS）作为数据增强策略，以缓解源域中物体尺寸偏差。
• 提出质量感知三元组记忆库（QTMB），通过 IoU 评分、三元组框划分以及记忆集成与投票机制，生成可靠的伪标签。
• 采用课程数据增强（CDA）策略，逐步增加增强强度，避免过拟合并提升鲁棒性。
• 使用记忆库存储并聚合多次前向传播中的伪标签，提升标签一致性并减少噪声。
• 通过设置正负 IoU 阈值，对三元组框进行划分，排除模糊样本，提升标签可靠性。
• 在记忆集成中结合 NMS、二分图匹配与最大得分合并策略，优化伪标签预测，减少不一致预测带来的误差。

实验结果

研究问题

• RQ1 在无目标域标注的无监督域自适应设置下，自训练能否有效应用于 3D 目标检测？
• RQ2 如何在 3D 检测中提升伪标签质量，以避免自训练过程中误差累积？
• RQ3 数据增强在防止对伪标签数据中简单样本过拟合方面发挥什么作用？
• RQ4 在预训练期间，如何缓解由物体尺寸分布差异引起的域偏移？
• RQ5 基于记忆的集成与投票机制能否稳定伪标签生成并提升模型泛化能力？

主要发现

• ST3D 在所有评估数据集（KITTI、Waymo、nuScenes 和 Lyft）上均达到最先进性能。
• 在 Waymo→KITTI 基准上，ST3D 超越了完全监督的 oracle 结果，达到 85.83% BEV AP 和 73.37% 3D AP。
• 在不同域自适应设置下，ST3D 将源域仅模型与完全监督模型之间的性能差距缩小了 16% 至 75%。
• 消融实验表明，移除记忆投票机制会导致 3D AP 下降超过 2.4%，证明其在过滤低质量伪标签中的关键作用。
• 课程数据增强策略相比正常强度增强提升性能 0.9%，而更强的增强反而降低准确率。
• 三元组框划分机制至关重要：移除该机制后，根据 IoU 阈值不同，性能下降 3.3% 至 5.4%。