[论文解读] Theoretical Guarantees of Transfer Learning

Zirui Wang|arXiv (Cornell University)|Oct 14, 2018

Domain Adaptation and Few-Shot Learning参考文献 15被引用 11

一句话总结

本文对迁移学习进行了全面的理论分析，采用三种主要框架：VC理论、Rademacher复杂度和算法稳定性。通过引入一个集中因子μ，推导出更紧致的多源迁移学习泛化界，改善了对有标签数据量的依赖关系，提供了比以往工作更具信息量和实用性的边界。

ABSTRACT

Transfer learning has been proven effective when within-target labeled data is scarce. A lot of works have developed successful algorithms and empirically observed positive transfer effect that improves target generalization error using source knowledge. However, theoretical analysis of transfer learning is more challenging due to the nature of the problem and thus is less studied. In this report, we do a survey of theoretical works in transfer learning and summarize key theoretical guarantees that prove the effectiveness of transfer learning. The theoretical bounds are derived using model complexity and learning algorithm stability. As we should see, these works exhibit a trade-off between tight bounds and restrictive assumptions. Moreover, we also prove a new generalization bound for the multi-source transfer learning problem using the VC-theory, which is more informative than the one proved in previous work.

研究动机与目标

• 提供迁移学习理论保证的系统性综述，重点关注模型复杂度和算法稳定性。
• 解决由于源域与目标域之间分布偏移，导致在迁移学习中分析泛化界所面临的挑战。
• 基于VC理论，推导出一种新颖且更紧致的多源迁移学习泛化界，优于现有边界。
• 比较不同理论方法在紧致性与假设限制性之间的权衡。
• 探讨在假设迁移学习设置中负迁移和收敛速率的影响。

提出的方法

• 应用VC理论推导多源迁移学习的泛化界，引入集中因子μ，以平衡源假设的可靠性和接近度。
• 使用Rademacher复杂度分析领域自适应设置，推导出依赖于分布差异和风险项的边界。
• 采用算法稳定性分析假设迁移学习，其中仅有源假设可用，而无原始数据。
• 引入基于参数αi和μ的源风险加权组合，根据可靠性和相似性平衡各源的贡献。
• 推导出一个新边界，用总标注数据量m替代各源的独立样本大小，降低对单源数据的依赖，从而收紧边界。
• 使用经验风险和分布差异度量（如dH△H）量化源域与目标域之间的不匹配程度。

实验结果

研究问题

• RQ1 如何通过模型复杂度和算法稳定性对迁移学习中的泛化界进行理论验证？
• RQ2 现有理论框架中，边界紧致性与假设限制性之间的权衡是什么？
• RQ3 能否通过基于可靠性和接近度重新加权源贡献，为多源迁移学习推导出更紧致的泛化界？
• RQ4 集中因子μ的引入如何改善多源迁移学习中对标注数据量的依赖？
• RQ5 在假设迁移学习中，基于稳定性的方法在多大程度上可避免对分布假设的依赖？

主要发现

• 定理7中提出的边界用总标注数据量m替代了各源数据量，使多源迁移学习的泛化边界更紧致。
• 集中因子μ使模型能够基于接近度和可靠性对源进行加权，提升了泛化边界的鲁棒性。
• 与定理1（VC理论）相比，定理5（Rademacher复杂度）得出的边界更实用，错误项更少，降低了出现空洞边界的风险。
• 定理6中的基于稳定性的边界对分布假设的依赖更小，但由于其聚焦于假设层面的稳定性，对迁移学习的直接适用性较弱。
• 分析表明，在假设迁移学习中，负迁移因学习算法的稳定性而天然被缓解。
• 理论边界表明，成功的迁移学习需要同时满足小的分布差异和理想假设的低期望风险。