[论文解读] Scalable and Efficient Statistical Inference with Estimating Functions in the MapReduce Paradigm for Big Data

Ling Zhou, Peter X.‐K. Song|arXiv (Cornell University)|Sep 13, 2017

Statistical Methods and Inference参考文献 29被引用 7

一句话总结

本文提出了一种可扩展的、高效的统计推断方法，利用Rao型置信分布（Rao-type confidence distributions）在MapReduce框架下处理大数据。通过利用 estimating functions 和广义矩法（GMM）理论，该方法实现了在大规模数据集上的并行、分布式估计——支持纵向数据、生存分析和分位数回归等模型——同时确保渐近效率不低于或优于完整数据集分析的结果。

ABSTRACT

The theory of statistical inference along with the strategy of divide-and-conquer for large- scale data analysis has recently attracted considerable interest due to great popularity of the MapReduce programming paradigm in the Apache Hadoop software framework. The central analytic task in the development of statistical inference in the MapReduce paradigm pertains to the method of combining results yielded from separately mapped data batches. One seminal solution based on the confidence distribution has recently been established in the setting of maximum likelihood estimation in the literature. This paper concerns a more general inferential methodology based on estimating functions, termed as the Rao-type confidence distribution, of which the maximum likelihood is a special case. This generalization provides a unified framework of statistical inference that allows regression analyses of massive data sets of important types in a parallel and scalable fashion via a distributed file system, including longitudinal data analysis, survival data analysis, and quantile regression, which cannot be handled using the maximum likelihood method. This paper investigates four important properties of the proposed method: computational scalability, statistical optimality, methodological generality, and operational robustness. In particular, the proposed method is shown to be closely connected to Hansen's generalized method of moments (GMM) and Crowder's optimality. An interesting theoretical finding is that the asymptotic efficiency of the proposed Rao-type confidence distribution estimator is always greater or equal to the estimator obtained by processing the full data once. All these properties of the proposed method are illustrated via numerical examples in both simulation studies and real-world data analyses.

研究动机与目标

• 解决在Hadoop等分布式计算框架下对大规模数据集进行统计推断的挑战。
• 克服传统迭代方法在MapReduce中需重复加载数据的局限，实现在无需集中式数据处理的前提下高效、可扩展的估计。
• 将现有置信分布方法从最大似然法扩展至估计函数，从而支持广义估计方程、Cox模型和分位数回归等复杂模型的推断。
• 在分布式环境中确保计算可扩展性、统计最优性、方法通用性以及操作稳健性。
• 提供一个统一框架，在随机数据划分条件下仍能保持或优于完整数据集分析的渐近效率。

提出的方法

• 基于估计函数构建Rao型置信分布（Rao-CD）估计器，将最大似然推断推广至更广泛的参数模型。
• 在MapReduce的Reduce阶段应用广义矩法（GMM）框架，整合独立处理的数据子批次结果。
• 使用加权估计方程：$\hat{\bm{\theta}}_{rcd} = \arg\min_{\bm{\theta}} \left\{ \bm{\psi}^{T}_{n,\eta}(\mathbf{W};\bm{\theta}) \hat{\mathbb{V}}_{n,\eta}^{-1} \bm{\psi}_{n,\eta}(\mathbf{W};\bm{\theta}) \right\}$，其中 $\bm{\psi}$ 为合并的估计函数，$\hat{\mathbb{V}}$ 为估计的方差-协方差矩阵。
• 引入映射函数 $\eta_k$，允许在子数据集之间采用异质参数化，同时保持感兴趣的共同参数不变。
• 采用雅可比矩阵 $\dot{\eta}_k(\bm{\theta})$ 考虑估计方程中的参数变换，从而在模型异质性下实现一致估计。

实验结果

研究问题

• RQ1 能否在MapReduce范式下，为大数据开发出一个既可扩展又高效的统一统计推断框架？
• RQ2 当数据被划分并行处理时，Rao-CD估计器的渐近效率与完整数据集分析相比如何？
• RQ3 在分布式计算环境下，该方法在多大程度上可支持纵向数据、生存分析和分位数回归等复杂模型？
• RQ4 如何在保持估计效率与一致性的同时，对数据批次间的参数异质性进行建模？
• RQ5 在数据污染和模型误设条件下，Rao-CD估计器的稳健性特性如何？

主要发现

• 所提出的Rao型置信分布估计器的渐近效率始终不低于或优于对完整数据集一次性处理所得的估计器。
• 该方法支持广泛的统计模型，包括广义估计方程、Cox比例风险模型和分位数回归，这些模型在分布式环境中通常难以应用标准最大似然方法。
• 该框架具有良好的计算可扩展性，避免了重复数据加载，适用于Hadoop等高性能分布式文件系统。
• 建立了与Hansen的GMM及Crowder最优性准则的理论联系，验证了该方法的统计合理性。
• 数值研究和真实世界数据分析（如FARS数据）证实了该方法在异质数据条件下仍具备稳健性和实际应用价值。
• 该方法在随机数据划分下保持稳健，并展现出较强的有限样本性能，尽管在污染条件下的断点行为仍需进一步探索。