[论文解读] ToAlign: Task-oriented Alignment for Unsupervised Domain Adaptation

Guoqiang Wei, Cuiling Lan+3 more|arXiv (Cornell University)|Jun 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 76被引用 7

一句话总结

该论文提出 ToAlign，一种面向无监督域自适应的任务导向对齐方法，通过将源域特征分解为任务判别性与任务无关的组成部分，仅对前者进行对齐以提升分类性能。通过利用分类任务本身提供的元知识，ToAlign 在 Office-Home、VisDA-2017 和 DomainNet 上均实现了最先进性能，且计算开销极低。

ABSTRACT

Unsupervised domain adaptive classifcation intends to improve the classifcation performance on unlabeled target domain. To alleviate the adverse effect of domain shift, many approaches align the source and target domains in the feature space. However, a feature is usually taken as a whole for alignment without explicitly making domain alignment proactively serve the classifcation task, leading to sub-optimal solution. In this paper, we propose an effective Task-oriented Alignment (ToAlign) for unsupervised domain adaptation (UDA). We study what features should be aligned across domains and propose to make the domain alignment proactively serve classifcation by performing feature decomposition and alignment under the guidance of the prior knowledge induced from the classifcation task itself. Particularly, we explicitly decompose a feature in the source domain into a task-related/discriminative feature that should be aligned, and a task-irrelevant feature that should be avoided/ignored, based on the classifcation meta-knowledge. Extensive experimental results on various benchmarks (e.g., Offce-Home, Visda-2017, and DomainNet) under different domain adaptation settings demonstrate the effectiveness of ToAlign which helps achieve the state-of-the-art performance. The code is publicly available at https://github.com/microsoft/UDA

研究动机与目标

• 为解决现有无监督域自适应方法中领域对齐与分类任务被动并行、缺乏明确指导以服务于分类任务的局限性。
• 识别在源域中应与目标域对齐以最大化分类性能的特定特征，而非无差别地对齐整体特征。
• 利用来自分类任务本身的元知识，显式引导领域对齐，确保对齐过程主动服务于分类任务。
• 通过仅对最相关的子特征进行对齐，减少对判别性特征的污染，避免来自任务无关组件的噪声干扰。
• 在计算开销极低的前提下，实现无监督域自适应的最先进性能。

提出的方法

• 该方法在源域中显式进行特征分解，利用来自分类任务的元知识，将每个特征分离为与任务相关（判别性）的成分和与任务无关的成分。
• 采用哈达玛积（Hadamard product）将目标特征与源特征的任务判别性成分结合，实现选择性对齐。
• 任务判别性成分由分类头的预测置信度推导得出，作为特征相关性的代理指标。
• 仅在目标特征与源特征的任务判别性成分之间执行领域对齐，而忽略任务无关部分。
• 该框架可与现有 UDA 模型（如 DANN 和 HDA）集成，在不引入复杂元优化的前提下，增强其任务导向对齐能力。
• 通过将元知识直接嵌入对齐过程，避免增加额外训练复杂度，相比基线模型计算成本仅增加 7%。

实验结果

研究问题

• RQ1 在源域中，应与目标域对齐哪些特定特征，才能最大程度提升分类性能？
• RQ2 如何显式设计领域对齐过程，使其主动服务于图像分类任务，而非与分类任务并行优化？
• RQ3 能否利用来自分类任务的元知识来指导特征选择以进行对齐，从而提升适应效果？
• RQ4 仅对任务判别性特征进行选择性对齐，是否能减少适应过程中来自噪声或无关特征的干扰？
• RQ5 能否通过一种简单高效的嵌入式任务感知对齐方法，在无需复杂优化的前提下实现最先进性能？

主要发现

• ToAlign 在 Office-Home 数据集上达到最先进性能，准确率相比之前最先进方法最高提升 1.2%。
• 在 VisDA-2017 上，HDA+ToAlign 比 HDA 提升 0.9%，在具有挑战性的领域偏移场景中表现稳定。
• 在使用 ResNet-101 的 DomainNet 上，ToAlign 将基线性能提升 0.9%，成为多源无监督域自适应方法中的最佳结果。
• 在单样本（one-shot）和三样本（three-shot） SSDA 场景中，HDA+ToAlign 超过所有先前方法，准确率分别提升 0.6% 和 1.2%。
• 与基线 DANNP 相比，ToAlign 仅引入 7% 的额外计算成本；而 DANNP+MetaAlign 因元优化机制，计算成本几乎翻倍。
• 特征可视化结果表明，ToAlign 专注于任务相关区域，而基线方法常关注背景或非判别性特征。