[论文解读] Unsupervised Domain Adaptation through Self-Supervision

Yu Sun, Eric Tzeng+2 more|arXiv (Cornell University)|Sep 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 64被引用 168

一句话总结

论文通过在两个领域共同训练一个主任务和多个自监督辅助任务来对齐源域和目标域，避免对抗性极小化优化，并在多个基准测试中达到最先进的结果。

ABSTRACT

This paper addresses unsupervised domain adaptation, the setting where labeled training data is available on a source domain, but the goal is to have good performance on a target domain with only unlabeled data. Like much of previous work, we seek to align the learned representations of the source and target domains while preserving discriminability. The way we accomplish alignment is by learning to perform auxiliary self-supervised task(s) on both domains simultaneously. Each self-supervised task brings the two domains closer together along the direction relevant to that task. Training this jointly with the main task classifier on the source domain is shown to successfully generalize to the unlabeled target domain. The presented objective is straightforward to implement and easy to optimize. We achieve state-of-the-art results on four out of seven standard benchmarks, and competitive results on segmentation adaptation. We also demonstrate that our method composes well with another popular pixel-level adaptation method.

研究动机与目标

• 在源域存在标注数据、目标域只有未标注数据的情形下，提出无监督域自适应的动机。
• 提出在两个域上联合训练自监督任务以对齐表示，同时在源域保持可区分性。
• 开发一种简单、稳定的训练目标，避免对抗/差异极小化的极小化优化。
• 表明将自监督任务结合起来可获得强性能，并且可以与像素级适应方法互补。

提出的方法

• 引入 K 个自监督辅助任务，从数据中生成标签（例如旋转、翻转、位置）并与主监督任务一起训练。
• 使用带有任务特定头部 hk 的共享编码器 φ，用于每个自监督任务和主任务，关于 h0 和 φ 优化 L0，其它任务 Li（i=1..K）关于 hi 和 φ 优化。
• 将目标设定为多任务学习问题：最小化 L0(S;φ,h0) + sumk=1..K Lk(S,T;φ,hk)，其中 Sk 为带标签的源样本，Tk 为经自监督变换扩增后的源/目标未标注样本。
• 从源数据和目标数据生成自监督标签，确保在与每个任务相关的方向上对齐（旋转、位置、翻转）。
• 提出一种简单的超参数调优与早停启用的启发式方法，使用均值特征空间域差 D(S′,T′;φ) 与源验证集上主任务误差来引导训练，在没有目标标签的情况下。

实验结果

研究问题

• RQ1 在源域和目标域上联合训练的自监督任务是否能充分对齐表示，从而在没有目标标签的情况下实现良好的目标域性能？
• RQ2 哪些自监督任务（如旋转、位置、翻转）在不同应用域中最能促进域对齐？
• RQ3 在无监督域自适应中是否有可能避免对抗/极小化优化，同时取得有竞争力的结果？
• RQ4 在没有带标签目标数据的情况下，如何有效进行超参数调优和早停？
• RQ5 提出的自监督方法能否与像素级域适应方法互补？

主要发现

• 在七个标准对象识别域适应基准中的四个取得了最先进的结果，在分割适应方面也具备竞争力。
• 证明在两个域上进行联合自监督可以对齐表示，使源训练的分类器能够泛化到目标域。
• 表明将多个自监督任务结合起来的适应效果优于使用单一任务。
• 发现该方法可以有效地与像素级适应技术组合以获得进一步提升（例如 CyCADA 基线改进）。
• 报告该方法能够处理分割适应（GTA5 到 Cityscapes），相比源端基线有显著提升，结合 CyCADA 时更有增益。