[论文解读] Statistical Guarantees for Estimating the Centers of a Two-component Gaussian Mixture by EM

Jason M. Klusowski, W. D. Brinda|arXiv (Cornell University)|Aug 7, 2016

Bayesian Methods and Mixture Models参考文献 10被引用 12

一句话总结

本文为高维两分量高斯混合模型中EM算法估计中心的统计保证提供了理论依据。通过利用Stein引理，并将收敛的吸引域从围绕真实参数的小球扩展至围绕原点的球与一个半空间的交集，作者证明：当信噪比至少为 $\sqrt{d\log d}$ 的常数倍时，从缩放的多元正态分布进行随机初始化，可高概率成功。这显著提升了EM算法在高维高斯混合模型中的实际适用性。

ABSTRACT

Recently, a general method for analyzing the statistical accuracy of the EM algorithm has been developed and applied to some simple latent variable models [Balakrishnan et al. 2016]. In that method, the basin of attraction for valid initialization is required to be a ball around the truth. Using Stein's Lemma, we extend these results in the case of estimating the centers of a two-component Gaussian mixture in $d$ dimensions. In particular, we significantly expand the basin of attraction to be the intersection of a half space and a ball around the origin. If the signal-to-noise ratio is at least a constant multiple of $ \sqrt{d\log d} $, we show that a random initialization strategy is feasible.

研究动机与目标

• 将高维高斯混合模型中EM收敛的吸引域扩展至真实参数附近的小邻域之外。
• 建立随机初始化以高概率收敛的条件。
• 改进先前研究中要求初始化位于真实参数附近小欧氏球内的限制。
• 为在更大、更实际的区域内初始化的样本EM迭代提供高概率误差界。
• 证明只要信噪比随维度适当增长，EM算法即可在高维设置中可靠使用，且对先验知识要求极低。

提出的方法

• 作者推导了具有对称均值的两分量球对称高斯混合模型的总体EM算子。
• 他们定义了一个新区域——即围绕原点的球与一个半空间的交集——作为吸引域，其范围远大于欧氏球。
• 利用Stein引理，通过有界差值 $\|M(\theta) - M(\theta^*)\|$，建立了该区域上EM算子的压缩性质。
• 他们证明了样本EM算子在该区域上集中在总体算子附近，从而实现高概率误差界。
• 他们表明，当信噪比满足 $\text{SNR} \gtrsim \sqrt{d\log d}$ 时，从多元正态分布进行的随机初始化以高概率落在吸引域内。
• 分析依赖于矩母函数的界和集中不等式，以控制样本统计量与其期望值之间的偏差。

实验结果

研究问题

• RQ1 能否将高斯混合模型中EM算法的吸引域扩展至真实参数附近的小邻域之外？
• RQ2 在高维情形下，信噪比需满足何种条件，才能确保随机初始化以高概率收敛？
• RQ3 如何利用Stein引理在非对称区域中建立EM算子的压缩性质？
• RQ4 当初始化点位于小欧氏球之外时，能否为EM算法推导出高概率误差界？
• RQ5 在高维两分量高斯混合模型中，随机初始化成功的最小信噪比是多少？

主要发现

• EM算法的吸引域被扩展至围绕原点的球与一个半空间的交集，显著扩大了有效初始化的集合。
• 当信噪比至少为 $\sqrt{d\log d}$ 的常数倍时，从缩放的多元正态分布进行的随机初始化可高概率成功。
• 在所提出的区域内，EM算子具有压缩性，确保在适当条件下收敛至真实参数。
• 推导出样本EM迭代的高概率误差界，误差在给定条件下以 $\tilde{O}(\sqrt{d/n})$ 的速率衰减。
• 通过使用Stein引理对 $\|M(\theta) - M(\theta^*)\|$ 的有界性分析，建立了压缩性质，从而控制了高维下算子的行为。
• 分析表明，只要信噪比随维度适当增长，EM算法即可在高维设置中可靠使用，且对先验知识要求极低。