[论文解读] On Deep Domain Adaptation: Some Theoretical Understandings

Trung Le, Khanh Nguyen+3 more|arXiv (Cornell University)|Nov 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用 5

一句话总结

本文通过证明在联合特征空间中最小化源分布与目标分布之间的Wasserstein距离可降低迁移学习误差，为深度域自适应建立了严格的理论框架。研究显示，迁移误差的上界取决于分布差异和标签分配偏差的双重影响，为深度神经网络中领域对齐为何能提升泛化性能提供了理论依据，并与无监督风格迁移模型（如CycleGAN）建立了联系。

ABSTRACT

Compared with shallow domain adaptation, recent progress in deep domain adaptation has shown that it can achieve higher predictive performance and stronger capacity to tackle structural data (e.g., image and sequential data). The underlying idea of deep domain adaptation is to bridge the gap between source and target domains in a joint space so that a supervised classifier trained on labeled source data can be nicely transferred to the target domain. This idea is certainly intuitive and powerful, however, limited theoretical understandings have been developed to support its underpinning principle. In this paper, we have provided a rigorous framework to explain why it is possible to close the gap of the target and source domains in the joint space. More specifically, we first study the loss incurred when performing transfer learning from the source to the target domain. This provides a theory that explains and generalizes existing work in deep domain adaptation which was mainly empirical. This enables us to further explain why closing the gap in the joint space can directly minimize the loss incurred for transfer learning between the two domains. To our knowledge, this offers the first theoretical result that characterizes a direct bound on the joint space and the gain of transfer learning via deep domain adaptation

研究动机与目标

• 为深度域自适应建立严格的理论基础，以解释其经验成功的原因。
• 通过放宽源域与目标域共享假设空间的假设，推广先前的研究工作。
• 推导出依赖于分布差异和标签分配偏差的迁移学习误差理论上限。
• 通过统一的理论视角解释现有深度域自适应方法的成功原因。
• 将深度域自适应理论与无监督风格迁移模型（如CycleGAN和DiscoGAN）联系起来。

提出的方法

• 提出一种通用框架，通过双射变换 $ T_{ts} $ 建模源域与目标域之间的分布偏移，无需假设共享假设空间。
• 推导出迁移学习泛化误差的上界，该上界依赖于源分布与通过 $ T_{ts} $ 推前的目标分布之间的Wasserstein距离。
• 引入源域与目标域标签分配机制之间的偏差项，以捕捉联合空间中的标签错位现象。
• 利用GAN原理与参数共享判别器，在训练过程中强制实现联合空间中的正确标签对齐。
• 引入重构损失，以保持源域与目标域的几何结构与聚类结构。
• 采用权衡超参数，以平衡联合空间中结构保持与领域混合之间的关系。

实验结果

研究问题

• RQ1 如何从理论上证明深度域自适应在降低迁移学习误差方面的有效性？
• RQ2 在联合特征空间中，分布对齐在最小化迁移误差中起到什么作用？
• RQ3 源域与目标域之间的标签分配偏差如何影响迁移性能？
• RQ4 该理论框架能否解释CycleGAN等无监督风格迁移模型的成功？
• RQ5 在联合空间中，保持领域结构与实现领域混合之间存在何种权衡？

主要发现

• 理论分析表明，迁移误差的上界由源分布与变换后目标分布之间的Wasserstein距离，以及标签分配机制之间的偏差之和决定。
• 实证结果证实，联合空间中正确的标签匹配能显著提升预测性能，而错误匹配则导致性能下降。
• 在MNIST→MNIST-M任务中，当使用50%的有标签目标数据并实现正确标签匹配时，预测准确率达到93.2%；而在错误匹配下仅为58.4%。
• 引入重构项可通过保持聚类结构提升性能，MNIST→MNIST-M任务中准确率从无重构时的81.5%提升至最优重构下的93.2%。
• 该理论解释了CycleGAN与DiscoGAN为何有效：它们学习到了非退化的传输映射，从而在共享空间中最小化了分布差异。
• 实验表明，仅最小化Wasserstein距离可能增加标签偏差项，从而可能恶化整体误差上界。