[论文解读] Partial Adversarial Domain Adaptation

Zhangjie Cao, Lijia Ma+2 more|arXiv (Cornell University)|Aug 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用 28

一句话总结

该论文提出了一种新型框架——部分对抗域适应（PADA），通过在对抗训练过程中降低异常源类别的重要性，同时对共享标签空间中的特征分布进行对齐，解决了部分域适应问题。PADA在基准数据集上的表现优于最先进方法，通过缓解负迁移并实现有效正迁移，在源标签空间严格包含目标标签空间的场景中展现出优越性能。

ABSTRACT

Domain adversarial learning aligns the feature distributions across the source and target domains in a two-player minimax game. Existing domain adversarial networks generally assume identical label space across different domains. In the presence of big data, there is strong motivation of transferring deep models from existing big domains to unknown small domains. This paper introduces partial domain adaptation as a new domain adaptation scenario, which relaxes the fully shared label space assumption to that the source label space subsumes the target label space. Previous methods typically match the whole source domain to the target domain, which are vulnerable to negative transfer for the partial domain adaptation problem due to the large mismatch between label spaces. We present Partial Adversarial Domain Adaptation (PADA), which simultaneously alleviates negative transfer by down-weighing the data of outlier source classes for training both source classifier and domain adversary, and promotes positive transfer by matching the feature distributions in the shared label space. Experiments show that PADA exceeds state-of-the-art results for partial domain adaptation tasks on several datasets.

研究动机与目标

• 解决当源域包含目标域中不存在的类别时，域适应中负迁移的挑战。
• 通过引入更贴近现实的部分域适应场景，放宽现有域对抗网络中标签空间完全相同的强假设。
• 开发一种端到端的深度学习框架，同时减少来自异常源类别的负迁移，并增强共享标签空间中的正迁移。
• 实现从大规模源域（如 ImageNet）预训练模型到小规模、未知目标域的高效迁移，这些目标域仅存在部分标签重叠。

提出的方法

• PADA 引入了一种类权重机制，在分类器和域判别器训练过程中自动降低异常源类别的特征权重。
• 该方法训练一个域判别器以区分源域和目标域特征，但对不同类别应用特定权重，以抑制无关源类别的影响。
• 通过对抗训练对齐共享标签空间中的特征分布，促进常见类别的域不变表示。
• 该框架是端到端可微的，支持分类器、域判别器和类别权重的联合优化。
• 类别权重通过可微的加权策略在训练过程中学习，以惩罚来自异常类别的贡献。
• 该方法将域对抗训练与一种动态加权机制相结合，能够自适应地应对源域与目标域之间的数据分布差异。

实验结果

研究问题

• RQ1 对抗域适应能否有效扩展到源标签空间是目标标签空间超集的场景？
• RQ2 在缺乏目标类别先验知识的情况下，如何有效缓解来自异常源类别的负迁移？
• RQ3 与完整域匹配相比，共享标签空间中的特征对齐在部分域适应中能多大程度上提升性能？
• RQ4 所提出的加权机制是否能稳定训练并在存在域偏移和标签不匹配的情况下提升收敛性？

主要发现

• PADA 在部分域适应基准数据集上的表现显著优于 DANN 和其他最先进方法，尤其在目标类别数量减少时优势更明显。
• 在 ImageNet-1K → Caltech-84 任务中，PADA 相较于 DANN 实现了显著的准确率提升，证明了其在大规模标签空间不匹配下的鲁棒性。
• 消融实验表明，类权重机制能有效降低异常源类别的影响，表现为更低的测试误差和更稳定的收敛过程。
• t-SNE 可视化结果表明，PADA 成功将目标数据与无关源类别分离，同时在共享空间中与正确源类别对齐。
• PADA 的收敛速度和稳定性均优于 DANN 和 RTN，训练过程中测试误差更低且更一致。
• 当目标类别数为 31（即无异常类别）时，PADA 的性能与 DANN 相当，验证了该加权机制在标准域适应设置下不会损害性能。