[论文解读] Wasserstein Distance Guided Representation Learning for Domain Adaptation

Jian Shen, Yanru Qu+2 more|arXiv (Cornell University)|Jul 5, 2017

Domain Adaptation and Few-Shot Learning被引用 298

一句话总结

WDGRL 通过领域判别器对源域和目标特征进行对抗性最小化沃瑟斯坦距离，学习域不变且具辨别性的表征，从而在情感分析和图像分类任务上提升跨域性能。

ABSTRACT

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WDGRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.

研究动机与目标

• 在目标带标签数据稀缺的协变量漂移情形下，推动域适应。
• 学习对域不变同时保持可辨别性的特征表征。
• 利用沃瑟斯坦距离实现更稳定的梯度和更好的泛化保证。
• 将 WDGRL 与判别分类器集成，以确保目标域的可预测性。

提出的方法

• 引入一个特征提取器 f_g，将输入映射到潜在表示。
• 训练一个领域判别器 f_w，以估计源域和目标表示之间的沃瑟斯坦距离。
• 通过梯度惩罚对判别器施加 Lipschitz 约束，并通过梯度上升优化沃瑟斯坦距离。
• 更新特征提取器以最小化沃瑟斯坦距离，同时最小化源域分类损失。
• 可选地将 WDGRL 与判别器结合，以确保目标域的判别性、具标签感知的表示。
• 给出一个实用的训练算法，交替进行判别器最大化和特征/判别器最小化。

实验结果

研究问题

• RQ1 沃瑟斯坦距离能否在域适应中为对齐源域与目标表示提供可靠梯度？
• RQ2 WDGRL 在标准基准上是否优于现有的域不变表示学习方法（如 DANN、MMD、CORAL）？
• RQ3 学习到的表示是否对目标域具有良好的泛化能力，并有理论界限支持？
• RQ4 引入有监督判别器如何影响目标域的性能与表示质量？

主要发现

• WDGRL 在情感分析和图像分类的常见域适应基准上超越了最先进的表示学习方法。
• 学习到的表示对域不变但具辨别性，通过可视化显示统一的域分布且保留标签结构得以证明。
• 理论分析表明沃瑟斯坦距离的梯度相对于传统对抗损失具有优势，有助于稳定训练和泛化。
• 在 Amazon 评测和 Office-Caltech 数据集上的实证结果显示跨迁移任务的平均精度提升。
• WDGRL 可以通过替换表示学习组件，整合到现有对称特征为基础的自适应框架中。