[论文解读] Sharp Analysis of Expectation-Maximization for Weakly Identifiable Models

Raaz Dwivedi, Nhat Ho+4 more|arXiv (Cornell University)|Feb 1, 2019

Bayesian Methods and Mixture Models被引用 10

一句话总结

本文对弱可识别的高斯位置尺度混合模型中的期望最大化（EM）算法提供了精确分析，此类模型因似然函数中存在代数依赖性，导致标准统计速率下降。研究发现，EM 算法在 $ n^{3/4} $ 步内收敛，且参数估计值与真实值的欧氏距离分别在 $ n^{-1/8} $（位置）和 $ n^{-1/4} $（尺度）以内，揭示了其收敛速度远慢于经典的 $ n^{-1/2} $ 速率。

ABSTRACT

We study a class of weakly identifiable location-scale mixture models for which the maximum likelihood estimates based on $n$ i.i.d. samples are known to have lower accuracy than the classical $n^{- \\frac{1}{2}}$ error. We investigate whether the Expectation-Maximization (EM) algorithm also converges slowly for these models. We provide a rigorous characterization of EM for fitting a weakly identifiable Gaussian mixture in a univariate setting where we prove that the EM algorithm converges in order $n^{\\frac{3}{4}}$ steps and returns estimates that are at a Euclidean distance of order ${ n^{- \\frac{1}{8}}}$ and ${ n^{-\\frac{1} {4}}}$ from the true location and scale parameter respectively. Establishing the slow rates in the univariate setting requires a novel localization argument with two stages, with each stage involving an epoch-based argument applied to a different surrogate EM operator at the population level. We demonstrate several multivariate ($d \\geq 2$) examples that exhibit the same slow rates as the univariate case. We also prove slow statistical rates in higher dimensions in a special case, when the fitted covariance is constrained to be a multiple of the identity.

研究动机与目标

• 理解在 Fisher 信息在某集合上退化的弱可识别混合模型中，EM 算法的计算与统计行为。
• 刻画当位置与尺度参数均未知且模型过参数化时，EM 算法的收敛速率。
• 为一元与多元弱可识别高斯混合模型，建立 EM 算法步数与估计误差的严格界。
• 将先前关于弱可识别模型中 MLE 速率的研究结果，拓展至 EM 算法的计算性能分析。
• 提出一种新颖的两阶段定位论证方法，结合对总体层面代理 EM 算子的分阶段分析。

提出的方法

• 作者引入一种两阶段定位论证方法，用于分析弱可识别模型中 EM 的收敛性，采用总体层面的代理 EM 算子。
• 他们定义了总体层面的 EM 算子 $ \widetilde{M}_{n,d} $，并证明了一步收缩界：以高概率有 $ \|\widetilde{M}_{n,d}(\theta^0)\| \leq \sqrt{2/\pi} $。
• 分析利用了经验矩的集中不等式，表明 $ \left| \frac{1}{n} \sum X_j^{2k} - \mathbb{E}[X^{2k}] \right| \leq \frac{C_k \log^k(n/\delta)}{\sqrt{n}} $。
• 对于多元情形，他们在拟合协方差为单位矩阵倍数的约束下分析 EM 算法，从而实现一元结果的推广。
• 他们使用一阶 Wasserstein 距离来衡量拟合模型与真实高斯混合模型之间的估计质量，该距离通过混合成分的最优传输耦合来定义。
• 证明技术结合了分阶段分析与对高斯混沌的对称性及尾部概率的创新应用，以控制 EM 更新步长的行为。

实验结果

研究问题

• RQ1 EM 算法在弱可识别高斯混合模型中的收敛速度如何？
• RQ2 在这些模型中，EM 估计的统计精度如何，特别是与真实参数的欧氏距离？
• RQ3 当对数似然函数的偏导数之间存在代数依赖性时，EM 的缓慢收敛是否可以被严格刻画并界定？
• RQ4 EM 算法在弱可识别设置下是否能达到与 MLE 相当的估计误差？
• RQ5 一元分析能否推广至 $ d \geq 2 $ 的多元模型？其对应的收敛与误差速率如何？

主要发现

• 对于一元弱可识别高斯混合模型，EM 在 $ \mathcal{O}(n^{3/4}) $ 步内收敛。
• EM 算法返回的估计值与真实位置参数的欧氏距离在 $ \mathcal{O}(n^{-1/8}) $ 以内。
• 尺度参数的估计误差为 $ \mathcal{O}(n^{-1/4}) $，远慢于经典的 $ n^{-1/2} $ 速率。
• 在多元情形（$ d \geq 2 $）中也观察到相同的缓慢速率，尤其当协方差被约束为单位矩阵的倍数时。
• 提出一种新颖的两阶段定位论证方法，结合对代理 EM 算子的分阶段分析，对证明收敛与误差界至关重要。
• 拟合模型与真实模型之间的 Wasserstein 距离被界定为 $ \|\theta - \theta_*\|_2 + \sqrt{d} \sqrt{|\sigma^2 - \sigma_*^2|} $，将估计误差与模型质量联系起来。