[论文解读] On the Minimax Optimality of the EM Algorithm for Learning Two-Component Mixed Linear Regression

Jeongyeol Kwon, Nhat Ho+1 more|arXiv (Cornell University)|Jun 3, 2020

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文在所有信噪比（SNR）范围内证明了两分量混合线性回归中EM算法的极小极大最优性。在温和初始化条件下，它证明了EM实现了最优的统计收敛速率——高SNR下为$ olimits\mathcal{O}((d/n)^{1/2})$，低SNR下为$ olimits\mathcal{O}((d/n)^{1/4})$，从而解决了关于EM在弱分离设置下行为的长期理论理解空白。

ABSTRACT

We study the convergence rates of the EM algorithm for learning two-component mixed linear regression under all regimes of signal-to-noise ratio (SNR). We resolve a long-standing question that many recent results have attempted to tackle: we completely characterize the convergence behavior of EM, and show that the EM algorithm achieves minimax optimal sample complexity under all SNR regimes. In particular, when the SNR is sufficiently large, the EM updates converge to the true parameter $\ heta^{*}$ at the standard parametric convergence rate $\\mathcal{O}((d/n)^{1/2})$ after $\\mathcal{O}(\\log(n/d))$ iterations. In the regime where the SNR is above $\\mathcal{O}((d/n)^{1/4})$ and below some constant, the EM iterates converge to a $\\mathcal{O}({\ m SNR}^{-1} (d/n)^{1/2})$ neighborhood of the true parameter, when the number of iterations is of the order $\\mathcal{O}({\ m SNR}^{-2} \\log(n/d))$. In the low SNR regime where the SNR is below $\\mathcal{O}((d/n)^{1/4})$, we show that EM converges to a $\\mathcal{O}((d/n)^{1/4})$ neighborhood of the true parameters, after $\\mathcal{O}((n/d)^{1/2})$ iterations. Notably, these results are achieved under mild conditions of either random initialization or an efficiently computable local initialization. By providing tight convergence guarantees of the EM algorithm in middle-to-low SNR regimes, we fill the remaining gap in the literature, and significantly, reveal that in low SNR, EM changes rate, matching the $n^{-1/4}$ rate of the MLE, a behavior that previous work had been unable to show.

研究动机与目标

• 解决混合线性回归中EM算法在低至中等SNR范围内的收敛行为这一长期悬而未决的开放问题。
• 建立两分量混合线性回归中EM算法的极小极大最优样本复杂度。
• 对EM在所有SNR范围内的收敛行为提供完整表征，包括低SNR、中SNR和高SNR。
• 证明EM可从随机初始化或可高效计算的局部初始化出发实现全局收敛，且无需样本划分。
• 表明EM在低SNR下的收敛速率从$n^{-1/2}$过渡到$n^{-1/4}$，与MLE的速率一致。

提出的方法

• 通过使用种群级EM算子来研究大样本极限下的收敛动力学。
• 通过分析不同SNR范围内EM更新算子的谱性质，推导出收敛边界。
• 利用二次型和经验过程的集中不等式控制有限样本偏差。
• 通过将EM更新精确分解为信号和噪声分量，以界收缩速率。
• 建立经验EM算子相对于其种群对应物的统一偏差边界。
• 在初始化条件较弱的假设下推导出理论保证，包括随机初始化或局部初始化。

实验结果

研究问题

• RQ1 EM算法是否在所有SNR范围内均实现两分量混合线性回归中的极小极大最优样本复杂度？
• RQ2 在低SNR范围内EM的确切收敛速率是什么，特别是当SNR低于$\mathcal{O}((d/n)^{1/4})$时？
• RQ3 收敛所需的迭代次数如何随SNR变化，特别是在$\mathcal{O}((d/n)^{1/4})$附近的过渡区域？
• RQ4 EM能否在不使用样本划分或强分离假设的前提下，从随机初始化实现全局收敛？
• RQ5 EM在低SNR下的收敛速率是否与该问题的已知极小极大下界一致？

主要发现

• 在高至中SNR范围内，当$\|\theta^*\| \gtrsim (d/n)^{1/4}$时，EM在$\mathcal{O}(\max\{1,\|\theta^*\|^{-1}\}(d/n)^{1/2})$邻域内收敛至真实参数$\theta^*$，迭代次数为$\mathcal{O}(\max\{1,\|\theta^*\|^{-2}\}\log(n/d))$。
• 在低SNR范围内，当$\|\theta^*\| \lesssim (d/n)^{1/4}$时，EM在$\mathcal{O}((d/n)^{1/4})$邻域内收敛至$\theta^*$，迭代次数为$\mathcal{O}((n/d)^{1/2})$。
• 低SNR下的收敛速率与MLE的$n^{-1/4}$速率一致，证实EM在该范围内实现了极小极大最优速率。
• 随着SNR降低，迭代次数随$\|\theta^*\|^{-2}$的平方增长，在$\|\theta^*\| = (d/n)^{1/4}$处平滑过渡，从$\|\theta^*\|^{-2}\log(n/d)$过渡到$\sqrt{n/d}$。
• 在高概率下建立了从随机初始化的全局收敛性，无需样本划分或强初始化条件。
• 估计误差的上界在所有SNR范围内均与该问题的已知极小极大下界一致，证实了分析的紧致性。