[论文解读] ST3D++: Denoised Self-training for Unsupervised Domain Adaptation on 3D Object Detection

Jihan Yang, Shaoshuai Shi+3 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Neural Network Applications被引用 7

一句话总结

ST3D++ 提出了一种去噪自训练框架，用于3D目标检测中的无监督域自适应，通过随机物体缩放、混合质量感知三元组记忆、课程数据增强以及源域辅助训练，减少伪标签噪声并提升模型泛化能力。该方法在四个基准测试中均达到最先进性能，在 Waymo→KITTI 设置下，AP₃D 最高提升 38.16%。

ABSTRACT

In this paper, we present a self-training method, named ST3D++, with a holistic pseudo label denoising pipeline for unsupervised domain adaptation on 3D object detection. ST3D++ aims at reducing noise in pseudo label generation as well as alleviating the negative impacts of noisy pseudo labels on model training. First, ST3D++ pre-trains the 3D object detector on the labeled source domain with random object scaling (ROS) which is designed to reduce target domain pseudo label noise arising from object scale bias of the source domain. Then, the detector is progressively improved through alternating between generating pseudo labels and training the object detector with pseudo-labeled target domain data. Here, we equip the pseudo label generation process with a hybrid quality-aware triplet memory to improve the quality and stability of generated pseudo labels. Meanwhile, in the model training stage, we propose a source data assisted training strategy and a curriculum data augmentation policy to effectively rectify noisy gradient directions and avoid model over-fitting to noisy pseudo labeled data. These specific designs enable the detector to be trained on meticulously refined pseudo labeled target data with denoised training signals, and thus effectively facilitate adapting an object detector to a target domain without requiring annotations. Finally, our method is assessed on four 3D benchmark datasets (i.e., Waymo, KITTI, Lyft, and nuScenes) for three common categories (i.e., car, pedestrian and bicycle). ST3D++ achieves state-of-the-art performance on all evaluated settings, outperforming the corresponding baseline by a large margin (e.g., 9.6% $\sim$ 38.16% on Waymo $ ightarrow$ KITTI in terms of AP$_{ ext{3D}}$), and even surpasses the fully supervised oracle results on the KITTI 3D object detection benchmark with target prior. Code will be available.

研究动机与目标

• 解决由于传感器、天气和地理差异导致的源域（如 Waymo）与目标域（如 KITTI）之间3D目标检测的域偏移问题。
• 克服自训练流程中伪标签噪声的关键问题，该问题因定位误差和误分类而降低模型性能。
• 开发一种整体性、端到端的自训练框架，在预训练、伪标签生成和模型训练的每个阶段均减少噪声。
• 在无需标注的情况下，提升3D检测器在未标注目标数据上的鲁棒性和泛化能力，同时减轻对噪声伪标签的过拟合。

提出的方法

• 在源域预训练阶段引入随机物体缩放（ROS），以减少物体尺寸分布偏差，最小化与尺度相关的伪标签噪声。
• 采用混合质量感知三元组记忆，并结合框评分标准，通过过滤低置信度预测并强制多视角间的一致性，提升伪标签质量。
• 应用课程数据增强（CDA）策略，逐步增加增强强度，以稳定训练过程，防止对简单伪标签样本的过拟合。
• 使用源域辅助监督（SASD）与领域特定批归一化（DSNorm），在伪标签目标数据上训练时校正噪声梯度方向，减轻域偏移影响。
• 集成一致性正则化伪标签更新策略，确保在迭代过程中保持稳定且准确的伪标签分配。
• 将上述组件整合为统一的自训练流水线，通过伪标签生成与模型优化的交替进行，确保去噪且可靠的训练信号。

Figure 1: Performance of ST3D++ on the Waymo $\rightarrow$ KITTI task using SECOND-IoU [ 1 ] for car, pedestrian and cyclist. Our ST3D++ is compared with other unsupervised ( i.e. source only, naive ST), weakly-supervised ( i.e. SN [ 11 ] ) and fully supervised ( i.e. oracle) approaches. Dashed line

实验结果

研究问题

• RQ1 在域自适应过程中，如何有效减少3D目标检测自训练中的伪标签噪声？
• RQ2 使用数据增强（如 ROS）进行预训练在多大程度上可缓解尺度偏差并提升伪标签质量？
• RQ3 具有质量感知评分的混合三元组记忆能否提升生成伪标签的一致性与准确性？
• RQ4 课程数据增强在训练噪声伪标签数据时，如何影响模型收敛性与鲁棒性？
• RQ5 结合领域特定归一化的源域辅助训练能否提升泛化能力并减轻噪声伪标签的负面影响？

主要发现

• ST3D++ 在所有四个评估基准——Waymo、KITTI、Lyft 和 nuScenes——上均达到最先进性能，涵盖汽车、行人和自行车检测任务。
• 在具有挑战性的 Waymo→KITTI 迁移设置中，ST3D++ 将 AP₃D 提升 9.6% 至 38.16%，显著优于现有无监督方法。
• 当目标域先验可用时，该方法在 KITTI 3D 检测基准上的表现超越了完全监督的基准结果，展现出卓越的泛化能力。
• 消融实验表明，每个组件——ROS、三元组记忆、CDA 和 SASD——均对提升伪标签质量有贡献，随着组件逐步加入，#TPs 和 AP₃D 逐步提高。
• SASD 模块中的 DSNorm 降低了批量归一化偏移导致的性能下降，在 Waymo→KITTI 基准上使行人 AP₃D 提升 2.94%，自行车 AP₃D 提升 7.27%。
• 课程数据增强与源域辅助训练的结合有效减少过拟合并提升鲁棒性，相比强基线增强策略，使 AP₃D 提升 0.6%。

Figure 2: Examples of two types self-training noise ( red and blue boxes stand for predicted pseudo labels and GTs, respectively). Upper row: ”localization noise” consists of pseudo labels that locate GTs well but suffers from regression errors to their corresponding GTs. Bottom row: “classification