[论文解读] Statistical guarantees for the EM algorithm: From population to sample-based analysis

Sivaraman Balakrishnan, Martin J. Wainwright+1 more|arXiv (Cornell University)|Aug 9, 2014

Bayesian Methods and Mixture Models参考文献 20被引用 35

一句话总结

本文通过分析其在总体层面（无限数据）和有限样本层面的行为，为EM算法和梯度EM算法建立了非渐近统计保证。结果表明，在适当的初始化下，两种算法在少数步骤内以高概率收敛至MLE的邻域，且在温和的正则性条件下成立，为它们在高斯混合模型和缺失数据回归中的经验成功提供了理论依据。

ABSTRACT

We develop a general framework for proving rigorous guarantees on the performance of the EM algorithm and a variant known as gradient EM. Our analysis is divided into two parts: a treatment of these algorithms at the population level (in the limit of infinite data), followed by results that apply to updates based on a finite set of samples. First, we characterize the domain of attraction of any global maximizer of the population likelihood. This characterization is based on a novel view of the EM updates as a perturbed form of likelihood ascent, or in parallel, of the gradient EM updates as a perturbed form of standard gradient ascent. Leveraging this characterization, we then provide non-asymptotic guarantees on the EM and gradient EM algorithms when applied to a finite set of samples. We develop consequences of our general theory for three canonical examples of incomplete-data problems: mixture of Gaussians, mixture of regressions, and linear regression with covariates missing completely at random. In each case, our theory guarantees that with a suitable initialization, a relatively small number of EM (or gradient EM) steps will yield (with high probability) an estimate that is within statistical error of the MLE. We provide simulations to confirm this theoretically predicted behavior.

研究动机与目标

• 通过提供严格的有限样本性能界，弥合EM算法应用中统计保证与计算保证之间的差距。
• 在总体层面（无限数据）和有限样本层面（有限数据）分析EM和梯度EM算法。
• 在适当初始化下，刻画总体似然全局最大化点的吸引域。
• 为基于样本的EM和梯度EM建立非渐近收敛至MLE统计误差邻域的理论。
• 在三个典型不完全数据模型上验证理论：高斯混合模型、回归混合模型和缺失协变量的线性回归。

提出的方法

• 将EM和梯度EM分别视为似然上升和梯度上升的扰动形式，以分析其收敛行为。
• 引入总体层面分析，表明在正则性条件下，EM和梯度EM在MLE附近的球形区域内表现出收缩行为。
• 利用概率偏差界将总体迭代与有限样本下的样本迭代关联，确保收敛至MLE的ε-球内。
• 通过球面上1/2-覆盖的离散化方法，控制高维设置下的统一偏差。
• 利用次高斯和次指数尾部界，推导出在有限样本情形下估计误差的高概率界。
• 通过将一般理论应用于三个具体模型——高斯混合、回归混合和缺失协变量的线性回归——推导出具体的推论。

实验结果

研究问题

• RQ1 在良好初始化条件下，EM算法在有限样本下收敛至MLE邻域的条件是什么？
• RQ2 梯度EM变体与标准EM在收敛保证和样本效率方面有何比较？
• RQ3 基于样本的EM算法的不动点与总体似然全局最大化点之间有何关系？
• RQ4 如何将EM算法在总体层面的收敛性质推广至以高概率成立的有限样本设置？
• RQ5 EM和梯度EM在不完全数据模型中实现统计精度所需的非渐近样本复杂度要求是什么？

主要发现

• 对于高斯混合模型，EM算法在适当初始化下以高概率在O(log(1/ε))步内收敛至MLE的ε-球内。
• 在回归混合模型中，基于样本的EM和梯度EM算法以高概率实现估计误差有界于O(√(d log(1/δ)/n))，其中d为维度，n为样本量。
• 对于缺失协变量的线性回归，理论保证梯度EM以高概率收敛至MLE的邻域，误差量级为O(√(d/n))，在次高斯噪声下成立。
• 总体层面分析表明，只要似然函数足够规则且初始化足够接近，EM和梯度EM在MLE附近的球形区域内均表现出收缩行为。
• 通过总体与样本算子之间偏差的概率界，建立了有限样本收敛性，确保样本迭代以高概率保持在总体MLE的ε-球内。
• 模拟结果验证了理论误差界，表明预测与实际中观察到的收敛行为一致。