[论文解读] Principled Hybrids of Generative and Discriminative Domain Adaptation

Han Zhao, Zhenyao Zhu+3 more|arXiv (Cornell University)|May 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 4被引用 3

一句话总结

本文提出了一种原理严谨的概率框架，通过使用灵活的先验分布对参数进行建模，统一了生成式与判别式领域自适应方法，实现了对有标签源数据和无标签源/目标数据的联合使用。该框架将自编码器的重建损失解释为边缘似然的上界，从而提出DAuto——一种神经网络模型，在文本、图像和语音领域自适应任务中均优于当前最先进方法，能够同时学习判别性、领域不变性和鲁棒性表征。

ABSTRACT

We propose a probabilistic framework for domain adaptation that blends both generative and discriminative modeling in a principled way. Under this framework, generative and discriminative models correspond to specific choices of the prior over parameters. This provides us a very general way to interpolate between generative and discriminative extremes through different choices of priors. By maximizing both the marginal and the conditional log-likelihoods, models derived from this framework can use both labeled instances from the source domain as well as unlabeled instances from both source and target domains. Under this framework, we show that the popular reconstruction loss of autoencoder corresponds to an upper bound of the negative marginal log-likelihoods of unlabeled instances, where marginal distributions are given by proper kernel density estimations. This provides a way to interpret the empirical success of autoencoders in domain adaptation and semi-supervised learning. We instantiate our framework using neural networks, and build a concrete model, DAuto. Empirically, we demonstrate the effectiveness of DAuto on text, image and speech datasets, showing that it outperforms related competitors when domain adaptation is possible.

研究动机与目标

• 为解决机器学习中的领域偏移问题，即源域中的有标签数据与目标域存在差异。
• 在单一概率框架中统一生成式与判别式建模，实现两种极端之间的原理性插值。
• 为自编码器在半监督学习与领域自适应中取得的实证成功提供理论解释。
• 开发一种灵活的端到端深度学习模型（DAuto），利用源域和目标域的有标签与无标签数据，以提升泛化能力。
• 将该框架扩展至时间序列建模，验证其在跨口音语音识别中的有效性。

提出的方法

• 该框架采用层次贝叶斯模型，其中生成式与判别式模型作为共享参数与任务特定参数先验分布下的特例出现。
• 联合最大化边缘对数似然（用于无标签数据）与条件对数似然（用于有标签数据），从而能够利用两个领域中的无标签样本。
• 在假设边缘分布采用核密度估计的前提下，形式化建立了自编码器重建损失与负边缘对数似然上界之间的联系。
• DAuto通过使用共享编码器组件、判别性头部以及源域与目标域的重建分支来实现。
• 通过联合优化判别性、领域不变性与重建目标进行训练，采用对抗性或MMD风格的领域对齐方法。
• 通过将架构调整为处理序列数据，将该框架扩展至时间序列建模，并在跨口音语音识别任务上进行了验证。

实验结果

研究问题

• RQ1 能否设计一种统一的概率框架，实现在领域自适应中生成式与判别式建模之间的平滑插值？
• RQ2 为何自编码器能在半监督与领域自适应设置中提升性能？这一现象能否通过原理严谨的概率解释加以说明？
• RQ3 能否通过同时利用有标签与无标签数据，使单一深度神经网络模型有效联合学习判别性、领域不变性与鲁棒性表征？
• RQ4 所提出的框架是否在跨数据类型（如文本、图像与语音）的领域迁移学习任务中优于现有最先进方法？
• RQ5 该框架能否自然地扩展至序列数据（如具有不同口音的语音），以提升真实应用场景下的鲁棒性？

主要发现

• 在Amazon基准数据集上，DAuto在16项领域自适应任务中均优于MLP、mSDA、Ladder与DANN，表现达到最先进水平。
• 在MNIST模拟实验中，当领域偏移程度适中时，DAuto展现出更优性能，证实其能够有效利用无标签目标数据。
• 在语音识别任务中，与基线相比，DAuto在US-CN与CN-US迁移任务中将CTC损失降低了最多25%，证明其在跨口音适应中的有效性。
• 配对t检验显示，DAuto在所有任务上的平均性能优于DANN（p = 0.072），在25%的案例中p < 0.05，具有统计显著性。
• 当源域与目标域相似时（如美国口音与中文口音），DAU与DANN均优于基线，证实其具备半监督学习能力。
• 定性分析表明，即使在所有方法均失效的困难适应场景中，DAuto仍保持鲁棒性，表明其在分布偏移下具备更强的泛化能力。