[论文解读] Unsupervised Domain Adaptation Based on Source-guided Discrepancy

Seiichi Kuroki, Nontawat Charoenphakdee+4 more|arXiv (Cornell University)|Sep 11, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用 7

一句话总结

本文提出了一种新型、可高效计算的域差距度量方法——源引导差距（S-disc），用于无监督域适应任务，该方法利用源域标签以获得更紧的泛化误差界。与现有的 $d_{/mathcal{H}}$ 和 $ackslash mathcal{X}$-disc 方法相比，S-disc 在源域选择和域适应任务中实现了更快的收敛速度和更优的性能。

ABSTRACT

Unsupervised domain adaptation is the problem setting where data generating distributions in the source and target domains are different, and labels in the target domain are unavailable. One important question in unsupervised domain adaptation is how to measure the difference between the source and target domains. A previously proposed discrepancy that does not use the source domain labels requires high computational cost to estimate and may lead to a loose generalization error bound in the target domain. To mitigate these problems, we propose a novel discrepancy called source-guided discrepancy (S-disc), which exploits labels in the source domain. As a consequence, S-disc can be computed efficiently with a finite sample convergence guarantee. In addition, we show that S-disc can provide a tighter generalization error bound than the one based on an existing discrepancy. Finally, we report experimental results that demonstrate the advantages of S-disc over the existing discrepancies.

研究动机与目标

• 解决现有无监督域适应中域差距度量方法的局限性，这些方法或计算成本过高，或缺乏理论保证。
• 开发一种利用源域标签以提升估计精度和泛化误差界的质量的差距度量方法。
• 提供一种计算高效的 S-disc 估计器，并进行理论一致性和收敛速率分析。
• 通过实验表明，S-disc 在源域选择和域适应任务中优于现有差距度量方法。

提出的方法

• 提出源引导差距（S-disc），一种新型差距度量方法，通过引入源域标签以更好地捕捉域偏移。
• 设计一种基于线性支持向量机（SVM）的高效算法，用于在 0-1 损失下估计 S-disc，从而实现实际计算。
• 在有限样本条件下，建立 S-disc 估计器的理论一致性和收敛速率。
• 基于 S-disc 推导出目标域的更紧泛化误差界，优于基于 $ackslash mathcal{X}$-disc 推导出的界。
• 通过基于 S-disc 与目标域差距的排序，将 S-disc 应用于域适应流程中。
• 在 MNIST 和 MNIST-M 数据集上进行实证评估，比较 S-disc 与 $d_{ackslash mathcal{H}}$ 和 $ackslash mathcal{X}$-disc 在计算时间、收敛速度和源域选择方面的表现。

实验结果

研究问题

• RQ1 能否设计一种利用源域标签的差距度量方法，使其泛化误差界优于现有方法？
• RQ2 是否可能设计一种计算高效的差距度量估计器，同时保持理论保证？
• RQ3 S-disc 在收敛速度和精度方面与 $d_{ackslash mathcal{H}}$ 和 $ackslash mathcal{X}$-disc 相比表现如何？
• RQ4 S-disc 是否能有效在源选择任务中将干净源域排在噪声源域之前？
• RQ5 在分布偏移条件下，S-disc 是否能提升无监督域适应的性能？

主要发现

• S-disc 的计算速度显著快于 $ackslash mathcal{X}$-disc，后者在大规模数据集上计算上不可行，如对数尺度计算时间对比所示。
• S-disc 估计器的收敛速度更快且更准确，而 $d_{ackslash mathcal{H}}$ 收敛缓慢，且即使真实差距为零，其估计值也非零。
• 在源域选择任务中，S-disc 正确地将干净的 MNIST-M 源域排在噪声源域之前，而 $d_{ackslash mathcal{H}}$ 完全失效，始终返回值为一。
• S-disc 在源域选择任务中得分更高，尤其在训练样本数量增加时表现更稳健，显示出对数据量和噪声的鲁棒性。
• 基于 S-disc 的泛化误差界比基于 $ackslash mathcal{X}$-disc 的界更紧，为域适应提供了更强的理论基础。
• 实证结果证实，S-disc 在收敛速度和实际域适应性能方面均优于现有差距度量方法。