[论文解读] What is the Effect of Importance Weighting in Deep Learning?

Jonathon Byrd, Zachary C. Lipton|arXiv (Cornell University)|Dec 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 30被引用 113

一句话总结

这篇论文表明重要性加权在训练初期显著影响深度网络，但随着进一步训练影响会减弱；正则化和批量归一化可以部分恢复这种影响，而 dropout 则无此效果。

ABSTRACT

Importance-weighted risk minimization is a key ingredient in many machine learning algorithms for causal inference, domain adaptation, class imbalance, and off-policy reinforcement learning. While the effect of importance weighting is well-characterized for low-capacity misspecified models, little is known about how it impacts over-parameterized, deep neural networks. This work is inspired by recent theoretical results showing that on (linearly) separable data, deep linear networks optimized by SGD learn weight-agnostic solutions, prompting us to ask, for realistic deep networks, for which many practical datasets are separable, what is the effect of importance weighting? We present the surprising finding that while importance weighting impacts models early in training, its effect diminishes over successive epochs. Moreover, while L2 regularization and batch normalization (but not dropout), restore some of the impact of importance weighting, they express the effect via (seemingly) the wrong abstraction: why should practitioners tweak the L2 regularization, and by how much, to produce the correct weighting effect? Our experiments confirm these findings across a range of architectures and datasets.

研究动机与目标

• 在现实、过参数化设置下，研究重要性加权风险最小化（IW-ERM）对深度神经网络的影响。
• 考察早停、正则化（L2、dropout）和批量归一化在调节 IW-ERM 效应中的作用。
• 评估 IW-ERM 的影响是否在不同体系结构、数据集和任务（图像和文本）中持续存在。
• 为在因果推断、领域自适应和离线/离策略学习等领域中使用重要性加权提供实用指南。

提出的方法

• 以 Soudry 等人和 Gunasekar 等人的关于权重方向与幅度的理论结果为基础，为在可分数据上实现对权重不敏感的行为提供动机。
• 在合成的二维数据集上进行大量实验，以在不同权重下可视化决策边界。
• 在 CIFAR-10 上使用 CNNs 与 ResNet 变体，在有无批量归一化、L2 或 dropout 的情况下，评估二分类和多分类设置的 IW-ERM。
• 在 MRPC 上通过对 BERT 等模型进行不同重要性权重的微调，测试自然语言任务。
• 比较 SGD 与 Adam 优化器，以评估跨优化方法的结果稳健性。

实验结果

研究问题

• RQ1 在可分数据上用 SGD 训练时，重要性加权是否会改变现代深度网络的决策边界？
• RQ2 正则化（L2、dropout）与批量归一化如何与 IW-ERM 在深度网络中相互作用？
• RQ3 随着训练轮次在不同体系结构和数据集上增加，重要性加权的影响是否持续存在？
• RQ4 重要性加权是否能够在深度模型中有意义地纠正标签偏移，并且在何种训练条件下？
• RQ5 研究发现是否在不同架构（MLP、CNN、ResNet、基于变换器的模型）和领域（合成数据、图像、文本）中一致？

主要发现

• 重要性加权在早期训练结果上显著改变，但其效应会随着后续的训练轮次减少。
• L2 正则化和批量归一化可以在一定程度上恢复权重效应，而 dropout 不显示相同的相互作用。
• 跨体系结构、任务和数据集，随着训练进行，模型在不同加权方案下收敛到类似的解。
• 在 CIFAR-10 上，IW-ERM 在早期对标签偏移纠正有益，但随着更多轮次逐渐消失。
• 即使权重很强，在 CIFAR-10 和 MRPC 上训练的模型在不同权重下对测试标签的高一致性也表明决策边界相似。
• 加权可能会减慢收敛，并且在某些网络中为了稳定效应可能需要比通常微调更长的训练周期。