[论文解读] Optimal Distributed Subsampling for Maximum Quasi-Likelihood Estimators with Massive Data

Jun Yu, HaiYing Wang+2 more|arXiv (Cornell University)|May 21, 2020

Statistical Methods and Inference参考文献 27被引用 10

一句话总结

本文提出了一种针对大规模数据环境下最大拟似然估计的最优泊松子采样方法，采用基于A-最优性和L-最优性准则推导出的非均匀采样概率。该方法通过避免计算完整数据的概率，实现了分布式、内存高效的计算，与完整数据方法相比，显著降低了计算成本，同时保持了估计量的一致性和渐近正态性。

ABSTRACT

Nonuniform subsampling methods are effective to reduce computational burden and maintain estimation efficiency for massive data. Existing methods mostly focus on subsampling with replacement due to its high computational efficiency. If the data volume is so large that nonuniform subsampling probabilities cannot be calculated all at once, then subsampling with replacement is infeasible to implement. This paper solves this problem using Poisson subsampling. We first derive optimal Poisson subsampling probabilities in the context of quasi-likelihood estimation under the A- and L-optimality criteria. For a practically implementable algorithm with approximated optimal subsampling probabilities, we establish the consistency and asymptotic normality of the resultant estimators. To deal with the situation that the full data are stored in different blocks or at multiple locations, we develop a distributed subsampling framework, in which statistics are computed simultaneously on smaller partitions of the full data. Asymptotic properties of the resultant aggregated estimator are investigated. We illustrate and evaluate the proposed strategies through numerical experiments on simulated and real data sets.

研究动机与目标

• 解决由于内存和处理能力限制，大规模数据环境下完整数据拟似然估计计算不可行的问题。
• 开发一种泊松子采样框架，避免一次性计算所有子采样概率，克服基于替换方法的关键局限性。
• 建立在最优泊松子采样下所得估计量的理论性质——一致性与渐近正态性。
• 将该方法扩展至分布式计算环境，其中数据存储在多个数据块或位置中。
• 与均匀子采样和现有子采样方法相比，展示在估计精度和计算效率方面的优越性能。

提出的方法

• 在A-最优性和L-最优性准则下，推导出用于拟似然估计的最优泊松子采样概率，以最小化渐近方差或方差-协方差矩阵的迹。
• 提出一种实用算法，利用试点估计量近似最优采样概率，而无需访问完整数据。
• 开发一种分布式子采样框架，其中在数据分区上独立选择子样本，并通过加权组合聚合结果。
• 采用两阶段方法：首先从数据块中估计试点参数，然后基于这些估计量计算子采样概率。
• 在最终推断中应用Horvitz-Thompson估计量，以校正不等概率采样带来的偏差。
• 在模拟中使用Newton-Raphson方法计算完整数据QLE，而子采样方法避免了迭代的完整数据优化。

实验结果

研究问题

• RQ1 在大规模数据环境下，使用非均匀概率的泊松子采样能否实现拟似然模型的最优估计效率？
• RQ2 当由于内存限制无法访问完整数据时，如何高效计算最优子采样概率？
• RQ3 在所提出的泊松子采样方案下，所得估计量的理论性质——一致性与渐近正态性——如何？
• RQ4 与完整数据方法和均匀采样方法相比，该算法的分布式版本在估计精度和计算效率方面表现如何？
• RQ5 在不同数据访问场景（如RAM加载与磁盘加载）下，估计误差与计算成本之间存在何种权衡？

主要发现

• MVc方法通过使用压缩的试点估计量，在高维数据下显著降低了计算时间，尤其得益于减少了内存访问开销。
• 在S5案例中，当数据量为500万条记录、维度为140时，MVc方法在基于磁盘加载的场景下，计算时间相比MV方法降低了约10倍。
• 在相同CPU时间下，MVc方法的均方误差（MSE）低于均匀子采样，且随着计算时间增加，性能差距进一步扩大。
• 参数估计的经验分布与正态分布高度吻合，支持了所提方法下估计量的渐近正态性。
• 所有子采样方法（MV、MVc、均匀）的计算时间均显著短于完整数据QLE，尤其在高维设置下，MVc方法将时间复杂度从O(Nd²)降低至O(Nd)。
• 所提出的分布式框架成功处理了存储在多个文件中的数据（如5个1MB文件），实现了可扩展且高效的分析，而无需加载完整数据。