[论文解读] Statistical Convergence of the EM Algorithm on Gaussian Mixture Models

Ruofei Zhao, Yuanzhi Li+1 more|arXiv (Cornell University)|Oct 9, 2018

Bayesian Methods and Mixture Models参考文献 24被引用 13

一句话总结

本文建立了在任意数量分量的高斯混合模型中，EM 算法收敛到全局最优解的条件。当分量均值之间的分离度至少为 $Ω(\sqrt{\min\{M,d\}})$ 时，证明了线性收敛性，并刻画了真实参数附近的吸引 basin 大小。

ABSTRACT

We study the convergence behavior of the Expectation Maximization (EM) algorithm on Gaussian mixture models with an arbitrary number of mixture components and mixing weights. We show that as long as the means of the components are separated by at least $Ω(\sqrt{\min\{M,d\}})$, where $M$ is the number of components and $d$ is the dimension, the EM algorithm converges locally to the global optimum of the log-likelihood. Further, we show that the convergence rate is linear and characterize the size of the basin of attraction to the global optimum.

研究动机与目标

• 填补关于多于两个分量的高斯混合模型中 EM 收敛性的理论理解空白。
• 识别 EM 收敛到全局最优解而非局部极小值的条件。
• 刻画高维设置下全局最优解吸引 basin 大小的特征。
• 将先前针对两分量混合模型的结果推广到任意数量分量和任意混合权重的情形。

提出的方法

• 分析总体层面的 EM 算法，以在理想化条件下研究收敛行为。
• 采用主要化-最小化框架，分析高斯混合模型的 EM 更新规则。
• 应用浓度不等式和并集界，控制经验充分统计量与期望充分统计量之间的差异。
• 采用度量熵和覆盖论证，界定参数空间上权重函数的上确界偏差。
• 推导权重函数的次高斯范数界，以控制 E 步中的估计误差。
• 结合经验过程的概率界与中值定理估计，控制 EM 更新的稳定性。

实验结果

研究问题

• RQ1 在多于两个分量的高斯混合模型中，EM 算法在何种条件下收敛到全局最优解？
• RQ2 EM 全局收敛所需的分量均值最小分离度是多少？
• RQ3 在高维设置下，全局最优解的吸引 basin 大小如何？
• RQ4 当初始化靠近真实参数时，EM 算法是否表现出线性收敛？
• RQ5 对于任意混合权重和分量数量，EM 的收敛行为是否可被刻画？

主要发现

• 若分量均值之间的分离度至少为 $Ω(\sqrt{\min\{M,d\}})$，则 EM 算法线性收敛到全局最优解。
• 全局最优解的吸引 basin 大小以分量均值之间的分离度为基准进行刻画。
• 收敛性对任意数量的分量和任意混合权重均成立。
• 该分析通过度量熵和浓度不等式，实现了在参数邻域上对经验权重的高概率一致控制。
• 在所述分离条件下，即使在高维设置下，收敛速率仍为线性。
• 本研究将先前针对两分量模型的工作扩展至具有非均匀权重的一般 M 分量模型。