[论文解读] Towards Unsupervised Domain Adaptation via Domain-Transformer

Ren Chuan-Xian, Zhai Yi-Ming+2 more|arXiv (Cornell University)|Feb 24, 2022

Domain Adaptation and Few-Shot Learning参考文献 58被引用 4

一句话总结

本文提出了一种新型无监督域自适应方法——域Transformer（DoT），通过将CNN主干网络与即插即用的域级注意力机制相结合，学习跨域的局部语义一致性。通过利用最优传输理论与流形正则化，DoT在无需伪标签或显式域差异优化的情况下，实现了最先进性能，显著减少了域偏移与泛化误差。

ABSTRACT

As a vital problem in pattern analysis and machine intelligence, Unsupervised Domain Adaptation (UDA) attempts to transfer an effective feature learner from a labeled source domain to an unlabeled target domain. Inspired by the success of the Transformer, several advances in UDA are achieved by adopting pure transformers as network architectures, but such a simple application can only capture patch-level information and lacks interpretability. To address these issues, we propose the Domain-Transformer (DoT) with domain-level attention mechanism to capture the long-range correspondence between the cross-domain samples. On the theoretical side, we provide a mathematical understanding of DoT: 1) We connect the domain-level attention with optimal transport theory, which provides interpretability from Wasserstein geometry; 2) From the perspective of learning theory, Wasserstein distance-based generalization bounds are derived, which explains the effectiveness of DoT for knowledge transfer. On the methodological side, DoT integrates the domain-level attention and manifold structure regularization, which characterize the sample-level information and locality consistency for cross-domain cluster structures. Besides, the domain-level attention mechanism can be used as a plug-and-play module, so DoT can be implemented under different neural network architectures. Instead of explicitly modeling the distribution discrepancy at domain-level or class-level, DoT learns transferable features under the guidance of long-range correspondence, so it is free of pseudo-labels and explicit domain discrepancy optimization. Extensive experiment results on several benchmark datasets validate the effectiveness of DoT.

研究动机与目标

• 为解决无监督域自适应（UDA）中源域与目标域存在分布差异的域偏移问题。
• 开发一种方法，在不依赖伪标签或显式域差异最小化的情况下，增强跨域的局部语义一致性。
• 通过引入一种域级注意力机制，将CNN与Transformer的优势相结合，以建模域间样本对应关系。
• 从理论上将域级注意力机制与最优传输及统计学习理论相联系，为注意力在特征迁移中的作用提供新解释。

提出的方法

• 基于Transformer中的交叉注意力，提出一种即插即用的域级注意力机制，用于学习源域与目标域之间的样本级对应关系。
• 将域级注意力与预训练的CNN主干网络相结合，在保留CNN归纳偏置的同时，实现长距离依赖建模。
• 采用流形正则化，在特征空间中强制实现局部语义一致性，促进类内紧凑性与类间可分性。
• 理论上通过Wasserstein度量将域级注意力与最优传输相联系，推导出与注意力相关的泛化误差上界，从而建立注意力与域对齐之间的联系。
• 避免显式域差异优化（如MMD、对抗训练），且无需为目标样本生成伪标签。
• 使用2-Wasserstein距离（W2距离）作为域差异的代理指标，在训练过程中最小化该距离，以减小泛化误差上界。

实验结果

研究问题

• RQ1 基于Transformer的域级注意力机制是否能在不替换CNN主干网络的前提下，提升无监督域自适应中的特征迁移性能？
• RQ2 域级注意力如何促进源域与目标域之间的局部语义一致性和域对齐？
• RQ3 域级注意力机制能否在理论上与最优传输及统计学习理论相联系，从而为其实现泛化行为提供原则性理解？
• RQ4 DoT是否在无伪标签或显式域差异损失依赖的前提下，优于现有SOTA方法？
• RQ5 在A距离与A_C距离等域差异度量指标上，该方法表现如何？

主要发现

• DoT在ImageCLEF-DA与VisDA-2017基准上达到最先进性能，优于现有方法（包括DeepJDOT与ATM）。
• 训练过程中，目标域的类内散度显著降低，表明域级注意力有效提升了类内紧凑性。
• 目标域的类间散度保持在较高水平，表明类间可分性得到增强。
• SrcMean到TarMean的距离随训练时间推移而减小，证实了类级别域对齐的改善。
• 源域与目标域之间的2-Wasserstein距离（W2距离）持续减小，表明泛化误差上界得到有效最小化。
• 在ImageCLEF-DA（I→C）与VisDA-2017（S→R）上，DoT的A距离与A_C距离均最小，证实其在域对齐与类级别对齐方面表现更优。