[论文解读] Understanding Gradual Domain Adaptation: Improved Analysis, Optimal Path and Beyond

Haoxiang Wang, Bo Li+1 more|arXiv (Cornell University)|Apr 18, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文对无监督域自适应中的渐进式自训练提供了更精细的理论分析，表明泛化误差随中间域数量 T 的线性增长而非指数增长，揭示了使误差最小化的最优 T。此外，研究发现最小化中间域路径上的累积分布距离 TΔ 可提升性能，从而为构建最优中间域提供了理论依据。

ABSTRACT

The vast majority of existing algorithms for unsupervised domain adaptation (UDA) focus on adapting from a labeled source domain to an unlabeled target domain directly in a one-off way. Gradual domain adaptation (GDA), on the other hand, assumes a path of $(T-1)$ unlabeled intermediate domains bridging the source and target, and aims to provide better generalization in the target domain by leveraging the intermediate ones. Under certain assumptions, Kumar et al. (2020) proposed a simple algorithm, Gradual Self-Training, along with a generalization bound in the order of $e^{O(T)} \left(\varepsilon_0+O\left(\sqrt{log(T)/n} ight) ight)$ for the target domain error, where $\varepsilon_0$ is the source domain error and $n$ is the data size of each domain. Due to the exponential factor, this upper bound becomes vacuous when $T$ is only moderately large. In this work, we analyze gradual self-training under more general and relaxed assumptions, and prove a significantly improved generalization bound as $\varepsilon_0+ O \left(TΔ+ T/\sqrt{n} ight) + \widetilde{O}\left(1/\sqrt{nT} ight)$, where $Δ$ is the average distributional distance between consecutive domains. Compared with the existing bound with an exponential dependency on $T$ as a multiplicative factor, our bound only depends on $T$ linearly and additively. Perhaps more interestingly, our result implies the existence of an optimal choice of $T$ that minimizes the generalization error, and it also naturally suggests an optimal way to construct the path of intermediate domains so as to minimize the accumulative path length $TΔ$ between the source and target. To corroborate the implications of our theory, we examine gradual self-training on multiple semi-synthetic and real datasets, which confirms our findings. We believe our insights provide a path forward toward the design of future GDA algorithms.

研究动机与目标

• 为解决渐进式域自适应（GDA）中经验成功与悲观理论界之间的脱节问题。
• 在比以往工作更宽松的假设下分析渐进式自训练。
• 识别出存在一个最优的中间域数量 T，可使目标域误差最小化。
• 推导出一种系统化的方法，用于构建使累积路径长度 TΔ 最小化的中间域。

提出的方法

• 提出一种新的渐进式自训练泛化界，将指数依赖 T 的形式替换为线性加法项。
• 引入泛化误差界 ε₀ + O(TΔ + T/√n) + ~O(1/√(nT))，其中 Δ 为连续域之间的平均分布距离。
• 证明误差依赖于 TΔ 的乘积，表明最小化该路径长度可改善泛化性能。
• 推导出在何种理论条件下应选择中间域数量 T 以最小化总误差。
• 利用半合成数据集和真实世界数据集（MNIST 变体、CoverType、Portraits）验证理论预测。
• 实证表明，测试误差随 T 增加先下降后上升，证实了最优 T 的存在。

实验结果

研究问题

• RQ1 中间域数量 T 如何影响渐进式域自适应中的泛化误差？
• RQ2 是否存在一个使目标域误差最小化的最优 T？若存在，其值由什么决定？
• RQ3 应如何构建中间域以最小化适应路径上的累积分布偏移？
• RQ4 能否推导出避免在 T 上出现指数依赖的更紧泛化界，如以往工作所见？
• RQ5 路径长度 TΔ 在决定最终模型性能方面起什么作用？

主要发现

• 泛化误差界随 T 线性增长而非指数增长，解决了以往理论分析中的关键局限。
• 最优中间域数量 T 存在，且可通过平衡 TΔ 与统计项 T/√n 的权衡来确定。
• 累积路径长度 TΔ 是决定模型性能的关键因素，表明中间域应选择为最小化该量。
• 在 MNIST 变体、CoverType 和 Portraits 上的实证结果表明，测试误差随 T 增加先下降后上升，验证了最优 T 的存在。
• 改进的界揭示了样本复杂度为 O(1/√(nT))，优于以往工作的 O(1/√n) 界。
• 理论表明，中间域应理想地位于连接源域与目标域的测地线路径上，以最小化 TΔ。