[论文解读] Optimal Subsampling Approaches for Large Sample Linear Regression

Rong Zhu, Ping Ma+2 more|arXiv (Cornell University)|Sep 17, 2015

Machine Learning and Algorithms参考文献 1被引用 13

一句话总结

本文提出了大规模线性回归的最优子采样方法，引入了两种算法——加权与非加权估计，利用渐近理论推导出最优采样概率。基于杠杆值的最优子采样方法，以及基于预测变量L2范数的预测变量长度方法，在计算可扩展性方面表现出高效率，相较于现有方法在估计精度和计算速度上均表现更优。

ABSTRACT

A significant hurdle for analyzing large sample data is the lack of effective statistical computing and inference methods. An emerging powerful approach for analyzing large sample data is subsampling, by which one takes a random subsample from the original full sample and uses it as a surrogate for subsequent computation and estimation. In this paper, we study subsampling methods under two scenarios: approximating the full sample ordinary least-square (OLS) estimator and estimating the coefficients in linear regression. We present two algorithms, weighted estimation algorithm and unweighted estimation algorithm, and analyze asymptotic behaviors of their resulting subsample estimators under general conditions. For the weighted estimation algorithm, we propose a criterion for selecting the optimal sampling probability by making use of the asymptotic results. On the basis of the criterion, we provide two novel subsampling methods, the optimal subsampling and the predictor- length subsampling methods. The predictor-length subsampling method is based on the L2 norm of predictors rather than leverage scores. Its computational cost is scalable. For unweighted estimation algorithm, we show that its resulting subsample estimator is not consistent to the full sample OLS estimator. However, it has better performance than the weighted estimation algorithm for estimating the coefficients. Simulation studies and a real data example are used to demonstrate the effectiveness of our proposed subsampling methods.

研究动机与目标

• 解决大规模数据线性回归分析中的计算与统计挑战。
• 开发高效的子采样方法，以最小精度损失近似全样本OLS估计量。
• 利用渐近理论推导最优采样概率，以提升估计效率。
• 提出一种基于预测变量L2范数的可扩展替代方法，以替代基于杠杆值的子采样。
• 在模拟与真实数据设置下，评估并比较加权与非加权估计算法的性能。

提出的方法

• 提出一种加权估计算法，根据渐近方差分配采样概率，以优化估计量效率。
• 通过推导使子样度假设均方误差最小化的采样概率，提出最优子采样方法。
• 开发基于预测变量L2范数而非杠杆值的预测变量长度子采样方法，以降低计算成本。
• 在一般条件下分析加权与非加权算法下子样度假设估计量的渐近分布。
• 利用渐近结果证明所提采样准则的一致性与效率。
• 通过模拟研究与一个真实数据实例验证所提方法的性能。

实验结果

研究问题

• RQ1 在大规模线性回归中，使子样度假设估计量的渐近均方误差最小化的最优采样概率分布是什么？
• RQ2 基于预测变量长度的子采样方法在计算效率与估计精度方面与基于杠杆值的方法相比表现如何？
• RQ3 为何非加权估计算法对全样本OLS估计量不一致？在何种情境下其仍优于加权方法？
• RQ4 基于预测变量L2范数的子采样方法能否在更低计算成本下实现与基于杠杆值的方法相当或更优的性能？
• RQ5 在何种条件下，基于所提算法的子样度假设估计量能达到渐近正态性与效率？

主要发现

• 基于渐近理论推导出的最优子采样方法，使子样度假设估计量达到最低可能的渐近均方误差。
• 基于预测变量L2范数的预测变量长度子采样方法，为基于杠杆值的采样提供了一种计算可扩展的替代方案，且精度相当。
• 非加权估计算法对全样本OLS估计量不一致，但在某些条件下其在系数估计方面表现更优。
• 模拟研究证实，两种所提子采样方法显著降低了计算成本，同时相比全样本OLS保持了高估计精度。
• 真实数据实例展示了所提方法在大规模回归场景下的实际有效性。
• 渐近分析证实，在一般正则性条件下，加权算法的子样度假设估计量依分布收敛于正态分布。