[论文解读] Regularized EM Algorithms: A Unified Framework and Statistical Guarantees

Xinyang Yi, Constantine Caramanis|arXiv (Cornell University)|Nov 27, 2015

Sparse and Compressive Sensing Techniques参考文献 20被引用 32

一句话总结

本文提出了一种统一的正则化期望最大化（EM）框架，适用于高维潜变量模型，其中M步中的自适应正则化在优化误差与统计误差之间实现平衡。在对正则化序列和估计误差的假设最小化条件下，该框架为稀疏高斯混合模型、高维混合回归以及缺失数据回归建立了线性局部收敛性，并提供了统计保证。

ABSTRACT

Latent variable models are a fundamental modeling tool in machine learning applications, but they present significant computational and analytical challenges. The popular EM algorithm and its variants, is a much used algorithmic tool; yet our rigorous understanding of its performance is highly incomplete. Recently, work in Balakrishnan et al. (2014) has demonstrated that for an important class of problems, EM exhibits linear local convergence. In the high-dimensional setting, however, the M-step may not be well defined. We address precisely this setting through a unified treatment using regularization. While regularization for high-dimensional problems is by now well understood, the iterative EM algorithm requires a careful balancing of making progress towards the solution while identifying the right structure (e.g., sparsity or low-rank). In particular, regularizing the M-step using the state-of-the-art high-dimensional prescriptions (e.g., Wainwright (2014)) is not guaranteed to provide this balance. Our algorithm and analysis are linked in a way that reveals the balance between optimization and statistical errors. We specialize our general framework to sparse gaussian mixture models, high-dimensional mixed regression, and regression with missing variables, obtaining statistical guarantees for each of these examples.

研究动机与目标

• 解决高维设置下EM算法缺乏严格统计保证的问题，其中由于过度参数化，M步变得病态无定义。
• 克服在迭代EM更新中选择正则化序列的挑战，以平衡优化误差（如稀疏性）与统计误差。
• 提供一个通用的收敛框架，将优化进展与估计误差控制相联系，适用于多种高维模型。
• 即使总体M步无定义，仍为正则化EM建立局部线性收敛性，并提供非渐近统计误差界。
• 将该框架具体化到实际模型——稀疏高斯混合模型、高维混合回归以及协变量缺失的回归，提供模型特定的保证。

提出的方法

• 提出一种正则化EM算法，其中M步通过随迭代演化、依赖数据的自适应正则化序列进行修改。
• 引入一种新颖的正则化序列 $\lambda_m^{(t)} = \frac{1 - \kappa^t}{1 - \kappa} \Delta + \kappa^t \frac{\gamma_m}{5\Psi(\overline{\mathcal{S}})} \|\bm{\beta}^{(0)} - \bm{\beta}^*\|$，通过平衡估计误差与优化误差来确保收敛。
• 使用涉及对偶范数 $\mathcal{R}(\cdot)$ 和相容性条件 $\gamma_m$ 的局部误差表征，以控制与真实参数的距离。
• 通过归纳法建立收敛性：若 $\|\bm{\beta}^{(t)} - \bm{\beta}^*\| \leq r$，则 $\|\bm{\beta}^{(t+1)} - \bm{\beta}^*\| \leq r$，从而保持迭代点在局部邻域内。
• 推导出关键不等式 $\|\Theta\| \leq 5\Psi(\overline{\mathcal{S}}) \frac{\lambda_m^{(t)}}{\gamma_m}$，将估计误差与正则化参数及真实参数结构相联系。
• 应用概率联合界，在子高斯设计假设和有界噪声条件下，确保高概率收敛。

实验结果

研究问题

• RQ1 在高维设置下，如何对EM算法进行正则化，以确保当M步无定义时仍能保证收敛？
• RQ2 在EM迭代过程中，应选择何种正则化参数序列，以在统计误差与优化误差之间实现平衡？
• RQ3 能否开发一个统一框架，为多种高维模型中的正则化EM提供统计保证？
• RQ4 在何种条件下可保证正则化EM的局部线性收敛性，并具备非渐近误差界？
• RQ5 自适应正则化序列如何与最终估计误差及真实参数结构相关联？

主要发现

• 所提出的正则化EM算法在温和正则性条件下，即使总体M步无定义，也能以高概率实现线性局部收敛。
• 估计误差被限制在 $\|\bm{\beta}^{(t)} - \bm{\beta}^*\| \leq \frac{5\Psi(\overline{\mathcal{S}})}{\gamma_m} \frac{1 - \kappa^t}{1 - \kappa} \Delta + \kappa^t \|\bm{\beta}^{(0)} - \bm{\beta}^*\|$ 范围内，当 $\kappa < 3/4$ 时，误差呈指数衰减。
• 正则化序列 $\lambda_m^{(t)}$ 显式构造为收敛于与最终估计误差成比例的值，从而实现稳定且一致的更新。
• 对于稀疏高斯混合模型，该框架可得到与已知极小极大率一致的非渐近统计误差界。
• 在高维混合回归与缺失协变量回归中，只要正则化序列满足 $\lambda_m^{(t)} \geq 3\Delta_m + \frac{\alpha\mu\tau}{\gamma\Psi(\overline{\mathcal{S}})} \|\bm{\beta}^{(t-1)} - \bm{\beta}^*\|$，算法即可实现一致的参数估计，并具备最优样本复杂度。
• 分析揭示了优化误差（由 $\lambda_m$ 控制）与统计误差（由 $\Delta_m$ 控制）之间的根本权衡，该权衡通过正则化强度的迭代自适应得以解决。