[论文解读] Optimal Subsampling Algorithms for Big Data Generalized Linear Models

Mingyao Ai, Jun Yu+2 more|arXiv (Cornell University)|Jun 18, 2018

Statistical Methods and Inference参考文献 21被引用 20

一句话总结

本文将A-最优性准则下的最优子采样方法（OSMAC）扩展至具有自然连接函数的广义线性模型（GLMs）。推导了A-和L-最优性下的最优子采样概率，建立了渐近正态性和一致性，并提出了一种自适应两步算法，实现了渐近最优性与有限样本效率，通过模拟和真实数据验证。

ABSTRACT

To fast approximate the maximum likelihood estimator with massive data, Wang et al. (JASA, 2017) proposed an Optimal Subsampling Method under the A-optimality Criterion (OSMAC) for in logistic regression. This paper extends the scope of the OSMAC framework to include generalized linear models with canonical link functions. The consistency and asymptotic normality of the estimator from a general subsampling algorithm are established, and optimal subsampling probabilities under the A- and L-optimality criteria are derived. Furthermore, using Frobenius norm matrix concentration inequality, finite sample properties of the subsample estimator based on optimal subsampling probabilities are derived. Since the optimal subsampling probabilities depend on the full data estimate, an adaptive two-step algorithm is developed. Asymptotic normality and optimality of the estimator from this adaptive algorithm are established. The proposed methods are illustrated and evaluated through numerical experiments on simulated and real datasets.

研究动机与目标

• 通过开发高效的子采样方法，解决在大规模数据集上拟合广义线性模型（GLMs）的计算负担问题。
• 将先前仅限于逻辑回归的OSMAC框架扩展至具有自然连接函数的一般GLMs。
• 为一般子采样算法下的子样本估计量建立一致性与渐近正态性等理论性质。
• 为GLMs推导A-和L-最优性准则下的最优子采样概率。
• 设计并分析一种自适应两步算法，实现渐近最优性与有限样本效率。

提出的方法

• 利用渐近协方差矩阵近似，推导具有自然连接函数的GLMs在A-和L-最优性准则下的最优子采样概率。
• 利用Frobenius范数矩阵集中不等式，建立在最优概率下子样本估计量的有限样本性质。
• 提出一种自适应两步算法：第一步估计完整数据参数，第二步基于这些估计值计算最优子采样概率。
• 确保在所提出的自适应方案下，所得估计量具有一致性和渐近正态性。
• 将子采样算法应用于模拟和真实数据集，以实证方式评估性能。
• 利用GLMs中最大似然估计（MLE）的渐近分布性质，为最优性准则和估计量行为提供理论依据。

实验结果

研究问题

• RQ1 OSMAC框架能否推广至处理超越逻辑回归的广义线性模型？
• RQ2 具有自然连接函数的GLMs在A-和L-最优性准则下的最优子采样概率是什么？
• RQ3 基于最优概率的子样本估计量在GLM设置下是否具有一致性和渐近正态性？
• RQ4 能否设计一种自适应两步算法，当全数据估计未知时仍能实现渐近最优性？
• RQ5 在最优子采样下，子样本估计量的有限样本性质与全数据MLE相比如何？

主要发现

• 为具有自然连接函数的GLMs，推导了A-和L-最优性准则下的最优子采样概率。
• 在正则条件下，基于最优概率的子样本估计量具有一致性和渐近正态性。
• 利用Frobenius范数矩阵集中不等式，建立了估计量的有限样本性质。
• 自适应两步算法即使在使用全数据估计值构造概率时，也能实现渐近正态性和最优性。
• 在模拟和真实数据集上的数值实验表明，该方法相对于全数据MLE在效率和精度方面表现优异。
• 该方法显著降低了计算成本，同时在大规模GLM场景中保持了高统计效率。