[论文解读] On Learning Invariant Representation for Domain Adaptation

Han Zhao, Rémi Tachet des Combes+2 more|arXiv (Cornell University)|Jan 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用 156

一句话总结

该论文表明，学习具有小源误差的不变表示不足以保证目标性能；它提供了一个考虑条件偏移的泛化上界并证明信息理论下界，以及通过实验证实理论。

ABSTRACT

Due to the ability of deep neural nets to learn rich representations, recent advances in unsupervised domain adaptation have focused on learning domain-invariant features that achieve a small error on the source domain. The hope is that the learnt representation, together with the hypothesis learnt from the source domain, can generalize to the target domain. In this paper, we first construct a simple counterexample showing that, contrary to common belief, the above conditions are not sufficient to guarantee successful domain adaptation. In particular, the counterexample exhibits \emph{conditional shift}: the class-conditional distributions of input features change between source and target domains. To give a sufficient condition for domain adaptation, we propose a natural and interpretable generalization upper bound that explicitly takes into account the aforementioned shift. Moreover, we shed new light on the problem by proving an information-theoretic lower bound on the joint error of \emph{any} domain adaptation method that attempts to learn invariant representations. Our result characterizes a fundamental tradeoff between learning invariant representations and achieving small joint error on both domains when the marginal label distributions differ from source to target. Finally, we conduct experiments on real-world datasets that corroborate our theoretical findings. We believe these insights are helpful in guiding the future design of domain adaptation and representation learning algorithms.

研究动机与目标

• 评估不变表示加上小源误差是否能保证目标准确度。
• 识别在何种条件下使用不变表示进行的领域自适应会取得成功。
• 提供一个可解释的泛化上界，考虑域之间的条件偏移。
• 建立一个信息理论下界，显示当跨域标签分布不同时的权衡。
• 用真实数据集的实验验证理论见解。

提出的方法

• 构造一个简单的反例，显示对齐的不变表示可能导致联合误差很大。
• 提出一个明确纳入源和目标之间条件偏移的泛化上界。
• 证明对任何基于不变表示的方法，联合误差的信息理论下界。
• 将新界与经典的 Ben-David et al. 框架联系起来，并讨论何时更紧。
• 利用经验 Rademacher 复杂度推导与数据相关的界值分量估计。
• 对真实世界数据集进行实验以证实理论发现。

实验结果

研究问题

• RQ1 在实现不变表示并达到小源误差的情况下，是否足以保证小的目标误差？
• RQ2 在何种条件下不变表示学习会导致成功的领域自适应？
• RQ3 源/目标之间的条件偏移如何影响领域自适应界？
• RQ4 当边际标签分布不同时，学习不变表示与实现小联合误差之间的基本权衡是什么？
• RQ5 在真实数据上的经验结果是否支持所提出的界与见解？

主要发现

• 一个反例表明，具有小源误差的不变表示并不保证小的目标误差。
• 给出一个考虑条件偏移的泛化上界，在某些情况下可能比先前的界更紧。
• 一个信息理论下界揭示当标签分布不同时时，不变表示与目标-源联合误差之间的基本权衡。
• 这些界限意味着在学习不变表示时也应对标签分布进行对齐。
• 对真实世界数据集的实证实验支持理论结论。