[论文解读] Why resampling outperforms reweighting for correcting sampling bias with stochastic gradients

Jing An, Lexing Ying+1 more|arXiv (Cornell University)|Sep 28, 2020

Machine Learning and Algorithms参考文献 32被引用 11

一句话总结

本文解释了为何在使用随机梯度算法时，重采样相较于重加权在纠正采样偏差方面表现更优，尽管两者在损失函数设计上在统计上是等价的。通过动力学稳定性和随机渐近分析，作者表明重加权由于梯度不连续而引入了SGD中的不稳定性，而重采样则保持了稳定的收敛性，该结论在分类、回归和离策略预测任务中均得到验证，且重采样在所有实验中均表现出一致的优越性。

ABSTRACT

A data set sampled from a certain population is biased if the subgroups of the population are sampled at proportions that are significantly different from their underlying proportions. Training machine learning models on biased data sets requires correction techniques to compensate for the bias. We consider two commonly-used techniques, resampling and reweighting, that rebalance the proportions of the subgroups to maintain the desired objective function. Though statistically equivalent, it has been observed that resampling outperforms reweighting when combined with stochastic gradient algorithms. By analyzing illustrative examples, we explain the reason behind this phenomenon using tools from dynamical stability and stochastic asymptotics. We also present experiments from regression, classification, and off-policy prediction to demonstrate that this is a general phenomenon. We argue that it is imperative to consider the objective function design and the optimization algorithm together while addressing the sampling bias.

研究动机与目标

• 解释为何尽管在损失函数设计上统计等价，重采样在使用随机梯度方法训练模型时始终优于重加权这一经验观察。
• 利用动力系统与随机渐近分析的工具，分析这种性能差距的潜在原因。
• 证明在处理采样偏差时，目标函数设计与优化算法必须联合考虑。
• 在分类、回归和离策略预测等多样化机器学习任务中验证理论发现。

提出的方法

• 通过SGD的随机微分方程（SDE）近似进行理论分析，重点关注更新过程的漂移项和扩散项系数。
• 通过分析损失函数中漂移项的Lipschitz连续性与不连续性，研究重加权与重采样下SGD更新的动力学稳定性。
• 应用双射变换将非光滑的SGD动力学映射至光滑的SDE框架，借助强近似理论建立误差界。
• 分析表明，重加权在梯度不连续点附近会导致动力学不稳定，而重采样则避免了此类不稳定性。
• 在分类、回归和离策略预测的合成示例中进行经验验证，采用不同的学习率和初始条件。
• 在相同优化设置下，比较重加权与重采样在收敛轨迹和最终模型性能上的表现。

实验结果

研究问题

• RQ1 为何在损失函数设计上统计等价的重采样与重加权，在实践中重采样始终表现更优？
• RQ2 在非光滑损失函数存在的情况下，重加权与重采样的随机梯度下降动力学有何不同？
• RQ3 优化算法在决定偏差校正技术有效性方面扮演何种角色？
• RQ4 能否通过动力学稳定性和随机渐近分析解释重加权与重采样之间的性能差距？
• RQ5 重采样的优越性是否在不同机器学习任务中具有普遍性？

主要发现

• 重采样在基于SGD的训练中优于重加权，主要得益于其更优的动力学稳定性，尤其是在损失函数具有不连续梯度时。
• 重加权由于损失函数梯度不满足Lipschitz连续性，导致SGD中出现不稳定性，进而在不连续点附近产生剧烈的收敛波动。
• 重采样通过维持分段光滑的优化景观，避免了此类不稳定性，从而实现更可靠的全局最小值收敛。
• 实验结果表明，即使在较高学习率下（例如，η ≥ 0.4），重采样仍保持稳定与准确，而重加权则出现发散或振荡。
• 该现象具有普适性：在分类、回归和离策略预测任务中，重采样在随机梯度优化下始终优于重加权。
• 本研究结论指出，目标函数设计与优化算法必须联合考虑，忽略后者即使损失函数校正正确，仍可能导致灾难性性能表现。