[论文解读] Simple Domain Adaptation with Class Prediction Uncertainty Alignment.

Jeroen Manders, Elena Marchiori+1 more|arXiv (Cornell University)|Apr 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 22被引用 13

一句话总结

该论文提出了一种简单但有效的无监督域自适应方法，通过对抗训练对齐源域和目标域之间的预测类别概率。通过最小化域间分类预测的不确定性，该方法在图像分类基准上实现了最先进性能，同时对过拟合具有鲁棒性。

ABSTRACT

Unsupervised domain adaptation tries to adapt a classifier trained on a labeled source domain to a related but unlabeled target domain. Methods based on adversarial learning try to learn a representation that is at the same time discriminative for the labels yet incapable of discriminating the domains. We propose a very simple and efficient method based on this approach which only aligns predicted class probabilities across domains. Experiments show that this strikingly simple adversarial domain adaptation method is robust to overfitting and achieves state-of-the-art results on datasets for image classification.

研究动机与目标

• 为解决无监督域自适应中的域偏移问题，即标注的源数据与未标注的目标数据来自不同分布。
• 在无需目标域标注的情况下，提升模型对未标注目标域的泛化能力。
• 开发一种既简单又对过拟合具有鲁棒性的方法，同时保持高性能。
• 通过最少的网络架构和训练修改，在标准图像分类基准上实现最先进性能。

提出的方法

• 该方法使用对抗训练，对齐源域和目标域之间的预测类别概率分布。
• 引入一个域判别器，促使模型对两个域都产生相似的类别预测，而不论其来源域。
• 该方法聚焦于不确定性对齐——通过最小化目标域预测的熵来减少预测模糊性。
• 模型通过结合源数据上的交叉熵损失和对抗损失进行端到端训练，以对齐域不变表示。
• 未引入额外模块或复杂架构；该方法完全依赖于类别概率对齐。
• 由于不确定性对齐的正则化效应，训练过程稳定且不易过拟合。

实验结果

研究问题

• RQ1 仅基于类别概率对齐的简单方法是否能在无监督域自适应中实现最先进性能？
• RQ2 域间不确定性对齐如何影响模型的鲁棒性及对目标域的泛化能力？
• RQ3 最小化目标域中的预测熵是否能提升域自适应性能？
• RQ4 在无需复杂特征级域对齐或对抗域判别器的情况下，对抗训练是否依然有效？

主要发现

• 所提方法在标准图像分类基准的无监督域自适应任务中实现了最先进性能。
• 即使在标注源数据有限的情况下，该方法也表现出对过拟合的强鲁棒性。
• 仅通过预测类别概率对齐，即可带来显著的性能提升，优于基线方法。
• 该方法优于依赖特征级域对齐或对抗特征解耦的更复杂域自适应方法。