[论文解读] Statistical Convergence Analysis of Gradient EM on General Gaussian Mixture Models

Bowei Yan, Mingzhang Yin+1 more|arXiv (Cornell University)|Jan 1, 2017

Bayesian Methods and Mixture Models被引用 1

一句话总结

本文分析了在任意分量数量、非均匀混合系数和任意维度下的一般高斯混合模型（GMM）的梯度期望最大化（EM）算法的收敛性。利用学习理论和经验过程的工具，推导出依赖于混合系数、成对中心距离和模型维度的收敛速率，首次在一般情况下建立了近似最优的局部收缩半径。

ABSTRACT

In this paper, we study convergence properties of the gradient Expectation-Maximization algorithm~\cite{lange1995gradient} for Gaussian Mixture Models for general number of clusters and mixing coefficients. We derive the convergence rate depending on the mixing coefficients, minimum and maximum pairwise distances between the true centers and dimensionality and number of components; and obtain a near-optimal local contraction radius. While there have been some recent notable works that derive local convergence rates for EM in the two equal mixture symmetric GMM, in the more general case, the derivations need structurally different and non-trivial arguments. We use recent tools from learning theory and empirical processes to achieve our theoretical results.

研究动机与目标

• 建立梯度EM算法在对称双分量情况之外的一般高斯混合模型中的收敛性质。
• 以混合系数、分量中心之间的成对距离、维度和分量数量为参数，量化收敛速率。
• 推导一般GMM设置下梯度EM的近似最优局部收缩半径。
• 将先前仅限于对称双分量GMM的局部收敛结果扩展到更广泛的非对称、多分量情形。
• 采用学习理论和经验过程的先进工具，以处理一般GMM的结构复杂性。

提出的方法

• 利用学习理论和经验过程的最新理论工具，分析梯度EM算法。
• 通过分析混合系数、真实中心之间的最小与最大成对距离以及维度的依赖关系，推导收敛速率界限。
• 通过考察算法在真实参数附近的性能，建立局部收缩半径。
• 应用非渐近分析技术，刻画高维和非独立同分布设置下的收敛速率。
• 提出一种新颖的结构化分析方法，以处理GMM中的非对称性和一般分量数量，区别于以往针对对称双分量情形的推导。
• 结合使用浓度不等式和经验过程界限，以控制梯度更新步骤中的估计误差。

实验结果

研究问题

• RQ1 对于具有任意分量数量和非均匀混合系数的一般GMM，梯度EM算法的收敛速率是什么？
• RQ2 收敛速率如何依赖于分量均值的几何构型，特别是最小和最大成对距离？
• RQ3 在一般GMM设置下，梯度EM的最优局部收缩半径是什么？
• RQ4 能否利用现代学习理论工具，将梯度EM的理论分析从对称双分量情况推广到更广泛的情形？
• RQ5 维度和分量数量如何共同影响GMM中梯度EM的收敛行为？

主要发现

• 梯度EM算法的收敛速率明确依赖于混合系数，混合权重较小或差异较大时收敛更慢。
• 当分量中心之间的最小成对距离减小时，收敛速率下降，表明紧密邻近的分量更难分离。
• 随着维度增加，收敛速率得到改善，表明在某些条件下高维设置可能促进更快收敛。
• 推导出近似最优的局部收缩半径，表明一旦算法进入真实参数的足够小邻域，将快速收敛。
• 理论框架成功将先前针对对称双分量GMM的结果推广到更广泛、非对称、多分量的情形。
• 分析表明，一般GMM的结构复杂性要求采用非平凡且不同于对称情形的独立论证。