[论文解读] Semi-supervised Models are Strong Unsupervised Domain Adaptation Learners

Yabin Zhang, Haojian Zhang+4 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 60被引用 15

一句话总结

本文表明，半监督学习（SSL）方法，特别是像FixMatch这样的最先进方法，通过利用未标记的目标数据，在无监督域自适应（UDA）基准测试中，尤其是在DomainNet上，显著优于现有的UDA方法。作者证明了SSL是UDA的一个特例，并表明将SSL技术适配到UDA任务可实现最先进性能，因此主张在未来的UDA研究中将SSL方法作为标准基线。

ABSTRACT

Unsupervised domain adaptation (UDA) and semi-supervised learning (SSL) are two typical strategies to reduce expensive manual annotations in machine learning. In order to learn effective models for a target task, UDA utilizes the available labeled source data, which may have different distributions from unlabeled samples in the target domain, while SSL employs few manually annotated target samples. Although UDA and SSL are seemingly very different strategies, we find that they are closely related in terms of task objectives and solutions, and SSL is a special case of UDA problems. Based on this finding, we further investigate whether SSL methods work on UDA tasks. By adapting eight representative SSL algorithms on UDA benchmarks, we show that SSL methods are strong UDA learners. Especially, state-of-the-art SSL methods significantly outperform existing UDA methods on the challenging UDA benchmark of DomainNet, and state-of-the-art UDA methods could be further enhanced with SSL techniques. We thus promote that SSL methods should be employed as baselines in future UDA studies and expect that the revealed relationship between UDA and SSL could shed light on future UDA development. Codes are available at \url{https://github.com/YBZh}.

研究动机与目标

• 探究无监督域自适应（UDA）与半监督学习（SSL）之间的关系，这两者传统上被视为不同的范式。
• 评估最先进SSL方法是否能有效适配到UDA基准并优于现有的UDA方法。
• 通过证明基于SSL的方法实现更优性能，挑战UDA中领域差异最小化方法的主导地位。
• 倡导在未来UDA研究中采用SSL方法作为标准基线。

提出的方法

• 将八种代表性SSL算法（如FixMatch、一致性正则化和熵最小化）适配到四个标准UDA基准上：VisDA-2017、Office-Home、Office-31和DomainNet。
• 仅将SSL损失应用于特征提取器 $ g $，因为该配置在UDA任务上始终比应用于分类器或联合应用表现更优。
• 采用标准UDA评估协议，包括基于带标签的目标验证集进行模型选择，以确保公平比较。
• 在所有方法中保持一致的数据预处理策略，以隔离算法设计导致的性能差异，而非预处理带来的偏差。
• 使用 $ \mathcal{A} $-距离分析领域差异，比较UDA和SSL方法在减少源域与目标域之间分布偏移方面的效果。
• 对收敛性、损失应用方式和预处理策略进行消融研究，以验证结果的稳健性和泛化能力。

实验结果

研究问题

• RQ1 无监督域自适应（UDA）与半监督学习（SSL）之间是否存在根本性关系，使得SSL可被视为UDA的一个特例？
• RQ2 最先进SSL方法在UDA基准上的表现是否优于现有的UDA专用方法？
• RQ3 仅将SSL损失应用于特征提取器 $ g $ 是否比应用于分类器或联合应用能获得更好的UDA性能？
• RQ4 数据预处理策略如何影响SSL与UDA方法在UDA基准上的性能差距？
• RQ5 通过整合SSL技术，UDA方法是否能进一步提升性能？如果是，哪些组件最有效？

主要发现

• 最先进SSL方法FixMatch在具有挑战性的DomainNet基准上，准确率比所有现有UDA方法高出超过2.0%。
• SSL方法在某些任务上显著减少了领域差异，但其效果不如DANN和CDAN等专用UDA方法，表明领域对齐并非性能提升的唯一驱动力。
• 仅将SSL损失应用于特征提取器 $ g $ 在UDA任务上始终表现更优，优于应用于分类器或联合应用，表明网络架构设计至关重要。
• 数据预处理策略对性能有显著影响，在DomainNet上某些方法的准确率差异超过2%，凸显了在UDA比较中保持预处理一致性的必要性。
• 实证结果挑战了领域差异最小化在UDA中的主导地位，表明基于SSL的方法无需显式领域对齐即可实现最先进性能。
• 将UDA方法与SSL技术结合可进一步提升性能，证明SSL能够增强现有UDA框架。