[论文解读] Unsupervised Domain Adaptation by Uncertain Feature Alignment

Tobias Ringwald, Rainer Stiefelhagen|arXiv (Cornell University)|Sep 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 25被引用 4

一句话总结

本文提出了一种基于不确定性的过滤与特征对齐方法（UFAL），这是一种新颖的无监督域自适应方法，利用蒙特卡洛 dropout 来估计预测不确定性，以过滤模糊的目标样本，并在欧几里得空间中对齐特征。该方法通过结合不确定性感知损失函数与智能批量布局，缓解了多 GPU 训练中的批量归一化问题，在 Office-Home、Office-Caltech 和 VisDA-2017 基准测试中实现了最先进性能。

ABSTRACT

Unsupervised domain adaptation (UDA) deals with the adaptation of models from a given source domain with labeled data to an unlabeled target domain. In this paper, we utilize the inherent prediction uncertainty of a model to accomplish the domain adaptation task. The uncertainty is measured by Monte-Carlo dropout and used for our proposed Uncertainty-based Filtering and Feature Alignment (UFAL) that combines an Uncertain Feature Loss (UFL) function and an Uncertainty-Based Filtering (UBF) approach for alignment of features in Euclidean space. Our method surpasses recently proposed architectures and achieves state-of-the-art results on multiple challenging datasets. Code is available on the project website.

研究动机与目标

• 解决无监督域自适应中的领域偏移问题，即标注源数据与未标注目标数据来自不同分布。
• 通过利用模型不确定性来指导特征对齐与样本过滤，提升模型在目标域上的泛化能力。
• 解决由于域自适应设置中批量归一化导致的多 GPU 训练不稳定性问题。
• 开发一种无需标注目标数据即可实现最先进性能的方法。

提出的方法

• 该方法使用蒙特卡洛 dropout 来估计预测不确定性，通过近似贝叶斯推理实现不确定性量化。
• 提出了一种不确定特征损失（UFL），根据预测不确定性调整特征距离，促进高置信区域的对齐。
• 引入了一种基于不确定性的过滤机制（UBF），在训练过程中移除高不确定性的目标样本，以提升模型鲁棒性。
• 采用智能批量布局（SBL）将鬼牌批量归一化扩展至 UDA，降低批量统计中的领域偏移。
• 通过最小化源域与目标域特征之间的不确定性感知距离，在欧几里得空间中实现特征对齐。
• 框架通过在源数据上使用交叉熵损失，以及在目标数据上使用 UFL + UBF 损失，实现端到端训练。

实验结果

研究问题

• RQ1 预测不确定性能否被有效利用以改善无监督域自适应中的特征对齐与样本过滤？
• RQ2 基于不确定性的过滤如何影响在高领域偏移目标域上的模型泛化能力？
• RQ3 能否将鬼牌批量归一化适配至 UDA，以在多 GPU 设置下稳定训练？
• RQ4 不确定性感知的特征对齐是否优于标准的领域对齐方法（如 MMD 或对抗训练）？
• RQ5 在不同数据集上，不确定率过滤比例与最终模型准确率之间存在何种关系？

主要发现

• 在 Office-Caltech 数据集上，UFAL 实现了 97.3% 的最先进准确率，超越了 CDAN+E 和 RWA 等先前方法。
• 在 Office-Home 数据集上，UFAL 实现了 97.3% 的平均准确率，优于 CADA-P 和 TADA 等先前最先进方法。
• 在 VisDA-2017 基准测试中，UFAL 达到了 96.8% 的准确率，展现出在大规模、细粒度分类任务中的强大泛化能力。
• 随着训练进行，被过滤的目标样本比例从约 60% 逐渐下降至接近 0%，且更高的过滤率与更复杂的迁移任务（如 Pr-Cl 中的 65 个类别）相关。
• t-SNE 可视化显示，UFAL 在自适应后成功将目标特征分离为清晰且语义有意义的聚类，而源域仅训练后则呈现密集聚类。
• 智能批量布局（SBL）通过解决域自适应中批量归一化失效的问题，显著提升了多 GPU 设置下的训练稳定性和性能。