[论文解读] Unsupervised Domain Adaptation for Image Classification via Structure-Conditioned Adversarial Learning

Hui Wang, Jian Tian+5 more|arXiv (Cornell University)|Mar 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 55被引用 5

一句话总结

本文提出结构条件对抗学习（SCAL），一种端到端无监督域自适应方法，通过在对抗训练中引入聚类生成的局部结构作为条件，保留目标域特征的类内紧凑性。通过迭代构建局部结构并利用可微分代理聚类改进对抗过程，SCAL 在 Office-31 和 VisDA-2017 等基准数据集上实现了最先进性能。

ABSTRACT

Unsupervised domain adaptation (UDA) typically carries out knowledge transfer from a label-rich source domain to an unlabeled target domain by adversarial learning. In principle, existing UDA approaches mainly focus on the global distribution alignment between domains while ignoring the intrinsic local distribution properties. Motivated by this observation, we propose an end-to-end structure-conditioned adversarial learning scheme (SCAL) that is able to preserve the intra-class compactness during domain distribution alignment. By using local structures as structure-aware conditions, the proposed scheme is implemented in a structure-conditioned adversarial learning pipeline. The above learning procedure is iteratively performed by alternating between local structures establishment and structure-conditioned adversarial learning. Experimental results demonstrate the effectiveness of the proposed scheme in UDA scenarios.

研究动机与目标

• 为解决现有无监督域自适应（UDA）方法全局对齐域分布，却忽略目标域类内紧凑性的问题。
• 开发一种方法，显式建模并保留域自适应过程中目标域特征的内在局部结构。
• 通过用可微分神经网络代理替代不可微分的聚类过程，实现端到端训练。
• 证明引入结构感知条件可提升无监督域自适应场景下的泛化能力和鲁棒性。

提出的方法

• 提出一种新颖的结构条件对抗学习（SCAL）框架，将基于聚类的局部结构作为对抗训练中的条件。
• 将目标域特征中的局部结构信息整合到对抗学习流程中，以指导域对齐，同时保留类内紧凑性。
• 采用可微分神经网络作为聚类过程的代理，尽管聚类本身不可微，仍可实现端到端反向传播。
• 交替执行两个阶段：(1) 通过目标特征聚类建立局部结构；(2) 使用基于聚类的条件执行结构条件对抗学习。
• 使用源分类器输出作为伪标签用于评估，并将其整合到训练循环中以保持一致性。
• 采用 t-SNE 可视化和 A-distance 分析，验证紧凑性保留和域偏移减少。

实验结果

研究问题

• RQ1 将目标域的局部结构信息引入是否能提升域自适应性能？
• RQ2 结构条件对抗学习是否比标准域对齐更好地保留类内紧凑性？
• RQ3 该方法对目标域中存在噪声或不完美聚类分配的鲁棒性如何？
• RQ4 可微分聚类代理是否能实现在结构感知无监督域自适应框架中的端到端训练？
• RQ5 SCAL 在准确率和泛化能力方面与 DANN、JAN 和 MCD 等最先进方法相比表现如何？

主要发现

• 在 Office-31 的 A→W 任务中，SCAL 达到 93.5% 的准确率，显著优于基线 ResNet-50（82.0%）和 DANN。
• 在 VisDA-2017 的合成到真实基准中，SCAL 实现了最先进性能，展现出强大的泛化能力。
• 即使在 75% 聚类标签存在噪声的情况下，SCAL 仍比基线高出 4.9% 的准确率，表现出对标签噪声的高鲁棒性。
• A-distance 指标表明，SCAL 比 DANN 更有效地减少域分布差异，说明其具有更好的域对齐能力。
• 由于聚类操作，每轮训练时间增加约 15%，但仍在实际应用可接受范围内。
• 可视化结果表明，SCAL 有效保留了目标域中的类内紧凑性，同时减少了域偏移，而标准对抗方法则无法实现。