[论文解读] On the Global Convergence of (Fast) Incremental Expectation Maximization Methods

Belhal Karimi, Hoi-To Wai+2 more|arXiv (Cornell University)|Oct 28, 2019

Statistical Methods and Inference被引用 16

一句话总结

本文为隐变量模型中的增量式与方差缩减随机EM算法建立了非渐近全局收敛速率，统一了iEM、sEM与sEM-VR的理论框架。提出了一种受SAGA启发的新型增量EM变体，并在温和条件下证明了线性收敛性，收敛速率取决于问题的条件数与数据规模。

ABSTRACT

The EM algorithm is one of the most popular algorithm for inference in latent data models. The original formulation of the EM algorithm does not scale to large data set, because the whole data set is required at each iteration of the algorithm. To alleviate this problem, Neal and Hinton have proposed an incremental version of the EM (iEM) in which at each iteration the conditional expectation of the latent data (E-step) is updated only for a mini-batch of observations. Another approach has been proposed by Cappé and Moulines in which the E-step is replaced by a stochastic approximation step, closely related to stochastic gradient. In this paper, we analyze incremental and stochastic version of the EM algorithm as well as the variance reduced-version of Chen et. al. in a common unifying framework. We also introduce a new version incremental version, inspired by the SAGA algorithm by Defazio et. al. We establish non-asymptotic convergence bounds for global convergence. Numerical applications are presented in this article to illustrate our findings.

研究动机与目标

• 为大规模隐变量模型中的增量式与随机EM算法建立非渐近全局收敛边界。
• 基于充分统计量与参数空间分析，将iEM、sEM与sEM-VR统一于同一理论框架之下。
• 提出一种受SAGA算法启发的新型增量EM变体，以实现方差缩减。
• 在参数空间（通过主要化-最小化方法）与充分统计量空间（通过不动点迭代）中分析收敛性。
• 推导出依赖于问题条件数、数据规模与步长的显式收敛速率。

提出的方法

• 将EM算法在参数空间中表述为一种主要化-最小化（MM）方法，在充分统计量空间中表述为一种不动点迭代。
• 基于条件期望与随机逼近，统一分析增量EM（iEM）、随机EM（sEM）与方差缩减sEM（sEM-VR）。
• 提出一种新颖的受SAGA启发的增量EM方法，通过保留历史充分统计量以减少更新中的方差。
• 通过李雅普诺夫分析推导收敛边界，追踪至最优充分统计量向量的期望平方距离。
• 利用涉及历史迭代与步长的递推不等式，界定期望误差，从而在适当条件下实现线性收敛。
• 应用随机逼近与方差缩减的相关结果（如Defazio等人，2014年）以控制随机更新中的噪声。

实验结果

研究问题

• RQ1 增量式与随机EM方法是否能在显式速率下实现非渐近全局收敛？
• RQ2 在统一的理论框架下，iEM、sEM与sEM-VR的收敛行为如何比较？
• RQ3 通过SAGA式记忆实现的方差缩减对EM算法的收敛速度有何影响？
• RQ4 在非凸设置下，通过合理选择步长，能否为随机EM变体建立线性收敛性？
• RQ5 条件数与数据规模如何影响随机EM方法的收敛速率？

主要发现

• 所提出的受SAGA启发的增量EM方法实现了线性收敛，其收敛速率依赖于问题的条件数与数据规模。
• 在适当步长选择下，iEM与sEM-VR的非渐近全局收敛性得以建立，收敛速率分别为O(1/k)与O(1/k²)。
• 收敛速率被证明为O(1/n)阶条件数，表明在数据集较大时性能更优。
• 推导出线性收敛的充分条件：步长γ ≤ a / (2(b + c(1 + n)))，其中a、b、c为与问题相关的常数。
• 分析证实，方差缩减显著提升了收敛速度，尤其在病态条件问题中效果更明显。
• 理论边界通过数值实验验证，与多种合成数据集及真实世界数据集中的观测收敛行为一致。