[论文解读] On the Convergence of the EM Algorithm: A Data-Adaptive Analysis

Chong Wu, Can Yang+2 more|arXiv (Cornell University)|Nov 2, 2016

Bayesian Methods and Mixture Models参考文献 8被引用 14

一句话总结

本文提出了对EM算法有限样本收敛速率的数据自适应分析，表明其为一个依赖于数据生成分布的随机变量 $\overline{K}_n$。该研究建立了非渐近浓度不等式，证明当 $n \to \infty$ 时 $\overline{K}_n \to \overline{\kappa}$ 在概率上收敛，从而解释了为何有限样本下的EM序列有时会比总体水平的版本收敛得更快。

ABSTRACT

The Expectation-Maximization (EM) algorithm is an iterative method to maximize the log-likelihood function for parameter estimation. Previous works on the convergence analysis of the EM algorithm have established results on the asymptotic (population level) convergence rate of the algorithm. In this paper, we give a data-adaptive analysis of the sample level local convergence rate of the EM algorithm. In particular, we show that the local convergence rate of the EM algorithm is a random variable $\overline{K}_{n}$ derived from the data generating distribution, which adaptively yields the convergence rate of the EM algorithm on each finite sample data set from the same population distribution. We then give a non-asymptotic concentration bound of $\overline{K}_{n}$ on the population level optimal convergence rate $\overlineκ$ of the EM algorithm, which implies that $\overline{K}_{n} o\overlineκ$ in probability as the sample size $n o\infty$. Our theory identifies the effect of sample size on the convergence behavior of sample EM sequence, and explains a surprising phenomenon in applications of the EM algorithm, i.e. the finite sample version of the algorithm sometimes converges faster even than the population version. We apply our theory to the EM algorithm on three canonical models and obtain specific forms of the adaptive convergence theorem for each model.

研究动机与目标

• 理解来自同一总体的不同数据集中EM算法的有限样本收敛行为。
• 解释一个反直觉现象：有限样本下的EM序列有时会比总体水平的版本收敛得更快。
• 构建一个反映样本特定动态而非仅依赖渐近近似的自适应收敛速率框架。
• 推导出将样本层面收敛速率 $\overline{K}_n$ 与总体层面最优速率 $\overline{\kappa}$ 联系起来的非渐近浓度不等式。
• 将理论应用于典型模型（如高斯混合模型），推导出模型特定的自适应收敛定理。

提出的方法

• 引入一个数据自适应的收敛速率 $\overline{K}_n$，其定义为从经验 $Q$-函数和数据生成分布中导出的随机变量。
• 利用次高斯和次指数随机向量的浓度不等式，控制 $\overline{K}_n$ 与总体速率 $\overline{\kappa}$ 的偏离程度。
• 采用基于网的覆盖论证和矩生成函数技术，控制独立同分布随机向量样本均值的算子范数。
• 使用切尔诺夫不等式，推导出高概率浓度不等式形式 $\left\|\frac{1}{n}\sum_{k=1}^n Y_k\right\| \leq CK\sqrt{\frac{\log(L/\delta)}{n}}$。
• 证明当 $n \to \infty$ 时 $\overline{K}_n \to \overline{\kappa}$ 在概率上收敛，验证了数据自适应速率的一致性。
• 为三个典型模型（包括高斯混合模型）推导出自适应收敛定理的显式形式。

实验结果

研究问题

• RQ1 为何有限样本下的EM序列有时会比总体水平的EM算法收敛得更快？
• RQ2 EM算法在从同一分布中抽取的不同有限样本上的收敛速率如何变化？
• RQ3 样本层面的收敛速率能否被建模为一个数据自适应的随机变量，而非固定的渐近值？
• RQ4 样本层面收敛速率 $\overline{K}_n$ 围绕总体速率 $\overline{\kappa}$ 的非渐近浓度行为是什么？
• RQ5 在典型潜变量模型中，如何正式表征并界定数据自适应收敛速率？

主要发现

• 任何有限样本上EM算法的局部收敛速率是一个随机变量 $\overline{K}_n$，其会根据从总体分布中抽取的具体数据集自适应调整。
• 随着样本量 $n$ 增大，数据自适应速率 $\overline{K}_n$ 以概率收敛于总体水平的最优速率 $\overline{\kappa}$。
• 建立了非渐近浓度不等式：不等式 $\left\|\frac{1}{n}\sum_{k=1}^n Y_k\right\| \leq CK\sqrt{\frac{\log(L/\delta)}{n}}$ 以至少 $1 - \delta$ 的概率成立。
• 该理论解释了经验观察：由于有利的数据实现，有限样本下的EM序列在收敛速度上可能优于总体水平版本。
• 对于高斯混合模型等典型模型，本文推导出自适应收敛定理的显式形式，将模型结构与收敛动力学联系起来。
• 研究结果为理解样本特定的收敛行为提供了理论基础，推动了对总体水平渐近分析的超越。