[论文解读] On Localized Discrepancy for Domain Adaptation

Yuchen Zhang, Mingsheng Long+2 more|arXiv (Cornell University)|Aug 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 4

一句话总结

本文通过在局部化后限制假设空间，提出局部差异性以实现领域自适应中的紧致泛化界。证明了这些差异性可减少过估计，揭示非对称迁移难度，并通过增强变体实现更快的样本复杂度与超迁移。

ABSTRACT

We propose the discrepancy-based generalization theories for unsupervised domain adaptation. Previous theories introduced distribution discrepancies defined as the supremum over complete hypothesis space. The hypothesis space may contain hypotheses that lead to unnecessary overestimation of the risk bound. This paper studies the localized discrepancies defined on the hypothesis space after localization. First, we show that these discrepancies have desirable properties. They could be significantly smaller than the pervious discrepancies. Their values will be different if we exchange the two domains, thus can reveal asymmetric transfer difficulties. Next, we derive improved generalization bounds with these discrepancies. We show that the discrepancies could influence the rate of the sample complexity. Finally, we further extend the localized discrepancies for achieving super transfer and derive generalization bounds that could be even more sample-efficient on source domain.

研究动机与目标

• 解决经典基于差异性的领域自适应理论中因在完整假设空间上取上确界而产生的过估计问题。
• 开发一种新的差异性局部化技术，以改进泛化界并减少保守性。
• 研究局部差异性是否能揭示源域与目标域之间非对称的迁移难度。
• 推导出样本复杂度依赖于局部差异性值的改进泛化界。
• 探索在何种条件下可理论实现超迁移——即在源域上的收敛速度超过目标域。

提出的方法

• 通过使用经验风险和置信区间限制假设空间，定义局部差异性，构建局部假设集 $\tilde{\mathcal{H}}_{r^+}$ 和 $\tilde{\mathcal{H}}_{r^-}$。
• 引入 $\gamma$-增强的局部 $\mathcal{H}\Delta\mathcal{H}$-差异性，以提升敏感性并实现超迁移。
• 推导出一个泛化界（定理13），该界结合了经验风险、局部差异性和统计误差项，并具有 $O(\cdot)^\gamma$ 的速率。
• 利用VC维和集中不等式，以高概率界定向泛化误差。
• 证明当 $\gamma$-增强差异性较小时，源域的样本复杂度可快于目标域。
• 利用局部化后假设空间的结构，确保其泛化界比基于上确界的经典差异性更紧致。

实验结果

研究问题

• RQ1 局部差异性是否能显著减少经典差异性度量中固有的过估计？
• RQ2 当源域与目标域互换时，局部差异性是否能揭示非对称的迁移难度？
• RQ3 局部差异性是否能带来样本复杂度速率更快的改进泛化界？
• RQ4 在何种条件下，$\gamma$-增强的局部差异性能在无监督领域自适应中实现超迁移？
• RQ5 在领域自适应中使用局部差异性而非经典差异性的理论依据是否充分？

主要发现

• 局部差异性严格小于经典差异性，从而减少了风险界过估计。
• 当源域与目标域互换时，局部差异性的取值不同，可实现非对称迁移难度的检测。
• 基于局部差异性推导的泛化界表明，样本复杂度依赖于差异性值，差异性越小，收敛速率越快。
• $\gamma$-增强的局部 $\mathcal{H}\Delta\mathcal{H}$-差异性能实现超迁移，使得源域的泛化速率快于目标域。
• 改进的泛化界（定理13）包含 $O(\cdot)^\gamma$ 项，表明当差异性较小时，收敛速率可被加速。
• 该理论框架在经典假设下（Ben-David et al., 2007）首次提供了基于差异性界下的可证明样本复杂度改进。