[论文解读] Understanding the role of importance weighting for deep learning

Da Xu, Yuting Ye+1 more|arXiv (Cornell University)|Mar 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用 14

一句话总结

本文对深度学习中的重要性加权进行了理论分析，表明由于梯度下降对最大间隔解的隐式偏好，其对泛化的影响会减弱。该研究建立了一个结合重要性权重、分布差异和模型复杂度的泛化界，解释了为何当模型实现数据分离后，重要性加权会失效。

ABSTRACT

The recent paper by Byrd & Lipton (2019), based on empirical observations, raises a major concern on the impact of importance weighting for the over-parameterized deep learning models. They observe that as long as the model can separate the training data, the impact of importance weighting diminishes as the training proceeds. Nevertheless, there lacks a rigorous characterization of this phenomenon. In this paper, we provide formal characterizations and theoretical justifications on the role of importance weighting with respect to the implicit bias of gradient descent and margin-based learning theory. We reveal both the optimization dynamics and generalization performance under deep learning models. Our work not only explains the various novel phenomenons observed for importance weighting in deep learning, but also extends to the studies where the weights are being optimized as part of the model, which applies to a number of topics under active research.

研究动机与目标

• 严格刻画过参数化深度学习模型中重要性加权的作用。
• 解释为何在模型能够分离训练数据后，重要性加权会失去有效性这一经验观察。
• 形式化重要性加权、优化动态与泛化性能之间的相互作用。
• 将理论理解扩展到重要性权重与模型联合训练的设置。
• 提供一个同时考虑加权经验风险和源分布与目标分布之间差异的泛化界。

提出的方法

• 对带重要性加权的线性模型的梯度下降优化动态进行理论分析。
• 推导一个依赖于重要性权重、模型复杂度以及源分布与目标分布之间KL散度的泛化界。
• 使用加权Rademacher复杂度来量化重要性加权对泛化的影响。
• 应用次高斯集中不等式和有界差值不等式来控制加权经验风险的偏差。
• 将基于间隔的泛化理论适配到加权经验风险最小化（ERM）中。
• 形式化加权ERM下的隐式偏差，表明即使经过重加权，模型仍会收敛到最大间隔解。

实验结果

研究问题

• RQ1 在过参数化的深度神经网络中，重要性加权如何影响梯度下降的隐式偏差？
• RQ2 为何一旦实现数据分离，重要性加权对模型性能的影响就会减弱？
• RQ3 重要性加权、泛化误差与分布偏移之间的理论关系是什么？
• RQ4 将重要性权重与模型联合优化如何影响学习动态与泛化性能？
• RQ5 能否推导出一个同时包含加权经验风险和源分布与目标分布之间差异的泛化界？

主要发现

• 当数据线性可分且使用梯度下降时，重要性加权对最终模型的影响极小，这是由于对最大间隔解的隐式偏好。
• 所推导的泛化界依赖于加权经验风险、模型复杂度以及源分布与目标分布之间的KL散度。
• 证明加权Rademacher复杂度与分布差异的平方根成比例，从而将分布偏移与泛化误差联系起来。
• 在弱正则化条件下的非线性网络中，即使经过重要性加权，归一化间隔仍会收敛到最大间隔解。
• 与难以分类程度（如间隔接近度）成反比的重要性权重可带来更好性能，提示了一种有原则的设计策略。
• 当重要性权重与模型置信度或间隔强相关时，若与模型联合训练，其影响会减弱。