[论文解读] Support and Invertibility in Domain-Invariant Representations

Fredrik Johansson, David Sontag+1 more|arXiv (Cornell University)|Mar 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用 42

一句话总结

论文批评无监督领域自适应中的领域不变表征学习，强调非可逆表征和严格不变性会阻碍目标性能，并提出基于支持重叠的界限来更好地表征适应风险。

ABSTRACT

Learning domain-invariant representations has become a popular approach to unsupervised domain adaptation and is often justified by invoking a particular suite of theoretical results. We argue that there are two significant flaws in such arguments. First, the results in question hold only for a fixed representation and do not account for information lost in non-invertible transformations. Second, domain invariance is often a far too strict requirement and does not always lead to consistent estimation, even under strong and favorable assumptions. In this work, we give generalization bounds for unsupervised domain adaptation that hold for any representation function by acknowledging the cost of non-invertibility. In addition, we show that penalizing distance between densities is often wasteful and propose a bound based on measuring the extent to which the support of the source domain covers the target domain. We perform experiments on well-known benchmarks that illustrate the short-comings of current standard practice.

研究动机与目标

• 质疑在协变量偏移与部分重叠下领域不变表征的充分性。
• 提供能够考虑非可逆表征的泛化界限。
• 提出基于源-目标支持重叠的界限，而不仅仅是密度距离。
• 研究在何时表示学习有助于或有害于目标性能，并将理论与基准测试联系起来。

提出的方法

• 在固定表征和非可逆转换下，回顾并形式化带有协变量偏移的领域自适应界限。
• 引入支持充分性散度来衡量源/目标支持的重叠程度。
• 推导一个新的目标风险界限（定理2），将可观测项与与表征信息损失相关的不可观测项分离。
• 在带有一个函数类的假设下，扩展为一个基于IPM的变体（定理3），以在外推假设下收紧界限。
• 分析通过密度匹配强制领域不变性的成本，包括与基于MMD的距离的比较。
• 在MNIST/MNIST-M上进行实验，说明何时标准的领域不变方法可能表现不如源头/目标微调基线。

实验结果

研究问题

• RQ1 在何种条件下领域不变表征能实现可靠的目标风险最小化？
• RQ2 表示的非可逆性如何影响不可观测的适应误差？
• RQ3 基于支持重叠的界限是否能提供比仅基于密度距离的界限更紧凑、信息更丰富的保证？
• RQ4 在因信息丢失而强制领域不变性时，何时会伤及预测性能？
• RQ5 理论洞见如何与在标准领域自适应基准上的经验结果对齐？

主要发现

• 当支持重叠有限或存在不可逆信息丢失时，领域不变表征可能效果不佳或无法保证良好的目标风险。
• 基于源支持覆盖目标的程度（支持充分性）的界限比仅依赖密度距离的界限更好地表征适应风险。
• 不可逆的表征引入一个不可观测的信息损失项，即使源头表现良好也可能降低目标性能。
• 对密度距离（如MMD）的惩罚并非总是有益，当支持并不完全重叠时可能错误地反映真正的适应难度。
• 在带有对损失类的假设时，更紧的基于IPM的界限优于一般界限，尤其在存在外推假设的情境中。
• 在MNIST/MNIST-M上的实证实验显示，领域对抗训练在某些情形下不如源头仅用或目标微调的基线，尤其在标签边际移位的情况下。