[论文解读] Uncertainty-aware Mean Teacher for Source-free Unsupervised Domain Adaptive 3D Object Detection

Deepti Hegde, Vishwanath A. Sindagi+4 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Neural Network Applications参考文献 32被引用 19

一句话总结

本文提出了一种不确定性感知的均值教师框架，用于3D目标检测中的无源无监督域自适应，通过蒙特卡洛丢弃法估计模型不确定性，并在训练过程中降低不可靠伪标签的损失权重。该方法在跨数据集和跨天气的域偏移场景下实现了最先进性能，在KITTI、Waymo和nuScenes数据集上优于先前的SOTA方法（如ST3D）及半监督基线方法。

ABSTRACT

Pseudo-label based self training approaches are a popular method for source-free unsupervised domain adaptation. However, their efficacy depends on the quality of the labels generated by the source trained model. These labels may be incorrect with high confidence, rendering thresholding methods ineffective. In order to avoid reinforcing errors caused by label noise, we propose an uncertainty-aware mean teacher framework which implicitly filters incorrect pseudo-labels during training. Leveraging model uncertainty allows the mean teacher network to perform implicit filtering by down-weighing losses corresponding uncertain pseudo-labels. Effectively, we perform automatic soft-sampling of pseudo-labeled data while aligning predictions from the student and teacher networks. We demonstrate our method on several domain adaptation scenarios, from cross-dataset to cross-weather conditions, and achieve state-of-the-art performance in these cases, on the KITTI lidar target dataset.

研究动机与目标

• 解决由于源域与目标域之间激光雷达传感器类型、环境和天气条件差异导致的3D目标检测域偏移问题。
• 克服基于伪标签的自训练在无源无监督域自适应中的局限性，即高置信度的错误标签会降低模型性能。
• 开发一种在不访问源域数据或标签的情况下提升检测准确率的方法，从而实现在隐私敏感或数据受限场景下的实际部署。
• 通过利用模型不确定性，在训练过程中隐式过滤噪声伪标签，避免仅依赖置信度阈值。

提出的方法

• 采用包含学生网络和教师网络的均值教师框架，两者均从源域预训练模型（如SECOND-IoU）初始化，其中教师网络的权重通过指数移动平均缓慢更新。
• 通过学生网络迭代生成目标域的伪标签，并在多个训练阶段中逐步优化以提升标签质量。
• 采用蒙特卡洛丢弃法估计模型不确定性，通过对教师网络进行T次前向传播，计算每项预测的方差以量化不确定性。
• 应用不确定性感知的损失加权：对不确定性较高（方差较大）的样本降低其损失权重，从而减少噪声或错误伪标签的影响。
• 通过动态调整损失贡献实现软采样，基于不确定性实现对低质量伪标签样本的隐式过滤。
• 使用源域的真实标签与目标域的伪标签联合训练学生网络，其中教师网络提供不确定性感知的监督信号。

实验结果

研究问题

• RQ1 通过蒙特卡洛丢弃法进行不确定性估计，能否提升无源域自适应中基于伪标签的自训练在3D目标检测中的鲁棒性？
• RQ2 不确定性感知的损失加权与基于阈值的过滤相比，在缓解高置信度噪声伪标签影响方面表现如何？
• RQ3 迭代式伪标签优化在跨数据集和恶劣天气域偏移场景下，对检测性能的提升程度如何？
• RQ4 所提出方法是否在KITTI、Waymo和nuScenes等基准3D检测数据集上优于现有无源及半监督域自适应方法？

主要发现

• 所提方法在所有评估的域偏移场景下均实现了最先进平均精度（mAP），包括Waymo → KITTI、Waymo → nuScenes以及跨天气条件场景。
• 在KITTI数据集上，该方法优于ST3D和半监督统计归一化基线方法，在所有难度类别中均取得了更高的mAP。
• 不确定性感知的均值教师框架相较于非不确定性感知的变体表现出显著性能提升，尤其在减少高置信度错误伪标签带来的误报方面效果明显。
• 迭代式伪标签生成在一定程度上提升了检测mAP（J ≈ 3次迭代），超过该点后性能趋于平稳或下降，表明存在最优的优化阶段。
• 模型不确定性分析表明，训练结束时教师网络对错误伪标签分配了更高的方差，从而在优化过程中实现有效降权。
• 定性结果表明，与仅使用源域的模型及ST3D相比，该方法生成的检测结果更准确且定位更精确，尤其在减少高置信度误报方面表现更优。