[论文解读] Stable Learning via Sample Reweighting

Zheyan Shen, Peng Cui+2 more|arXiv (Cornell University)|Nov 28, 2019

Gaussian Processes and Bayesian Inference参考文献 16被引用 6

一句话总结

该论文提出了一种名为样本重加权去相关算子（SRDO）的样本重加权方法，以在模型误设条件下减少线性模型中的共线性问题，从而提升在分布偏移下的预测稳定性。通过学习最优样本权重，使设计矩阵近似正交，SRDO 在测试数据分布与训练数据不同时增强了鲁棒性，在模拟数据和真实数据集上均优于 OLS、Lasso 和 ElasticNet 等基线方法。

ABSTRACT

We consider the problem of learning linear prediction models with model misspecification bias. In such case, the collinearity among input variables may inflate the error of parameter estimation, resulting in instability of prediction results when training and test distributions do not match. In this paper we theoretically analyze this fundamental problem and propose a sample reweighting method that reduces collinearity among input variables. Our method can be seen as a pretreatment of data to improve the condition of design matrix, and it can then be combined with any standard learning method for parameter estimation and variable selection. Empirical studies on both simulation and real datasets demonstrate the effectiveness of our method in terms of more stable performance across different distributed data.

研究动机与目标

• 解决测试数据分布与训练数据不同时线性预测模型不稳定的根本挑战。
• 在模型误设条件下，理论联系预测不稳定性与输入变量间共线性之间的关系。
• 开发一种通用的数据预处理方法，通过减少共线性来提升模型鲁棒性，且无需了解测试数据分布。
• 通过样本重加权，提升标准线性模型（如 OLS、Lasso、逻辑回归）在分布偏移下的鲁棒性。
• 提出一种统一方法，通过学习到的样本权重实现输入特征的去相关，从而增强估计稳定性。

提出的方法

• 提出一种样本重加权去相关算子（SRDO），通过学习样本权重将原始设计矩阵转换为近似正交矩阵。
• 将理想化的“Oracle”设计矩阵定义为无相关性，并通过估计原始分布与 Oracle 分布之间的密度比来学习样本权重。
• 利用估计的密度比对训练样本进行重加权，从而有效降低设计矩阵中的共线性。
• 将学习到的权重集成到标准线性模型（如普通最小二乘法、Lasso 和逻辑回归）中，以提升稳定性。
• 该方法作为预处理步骤，独立于下游学习算法，具备广泛的兼容性。
• 理论分析证明，在理想化设定下存在最优权重以最小化共线性，且可通过密度比估计进行经验估计。

实验结果

研究问题

• RQ1 输入变量间的共线性如何放大误设偏差，并在分布偏移下导致预测不稳定？
• RQ2 是否可利用样本重加权实现设计矩阵的去相关，从而提升在不同数据分布下的模型稳定性？
• RQ3 在模型误设存在的情况下，最优样本权重与设计矩阵正交性之间存在何种理论关联？
• RQ4 SRDO 在分布偏移下的稳定性方面，与现有正则化和变量选择方法相比表现如何？
• RQ5 SRDO 是否可与标准线性模型有效结合，以提升其鲁棒性，且无需依赖测试数据分布知识？

主要发现

• SRDO 显著提升了在不同数据分布下的预测稳定性，尤其在分布偏移较大的时期（如房价销售数据集中第 3–6 个周期）表现优于 OLS、Lasso 和 ElasticNet。
• 在 WeChat 广告分类任务中，SRDO 在不同年龄组间保持了相对稳定的 AUC 表现，证明其对由人口统计差异引起的分布偏移具有鲁棒性。
• OLS 表现最差，因其对共线性高度敏感；而 Lasso 和 ElasticNet 通过正则化提升了稳定性，但在大偏移下仍逊于 SRDO。
• ULasso 和 IILasso 表现不一致，因其对相关变量过度惩罚，导致过稀疏化，从而降低稳定性。
• 在分布偏移较小的时期（如第 1–2 个周期），SRDO 与基线方法性能相当，表明在稳定环境中无性能退化。
• 实证结果证实，通过样本重加权减少共线性可有效缓解误设偏差的膨胀，尤其在测试数据与训练数据显著偏离时效果更明显。