[论文解读] Statistical Inference with Local Optima

Yen‐Chi Chen|arXiv (Cornell University)|Jul 12, 2018

Statistical Methods and Inference参考文献 44被引用 4

一句话总结

本文研究在非凸、多峰似然函数中，通过多次随机初始化进行梯度上升所得到估计量的统计推断。它识别了此类估计量所针对的总体量，分析了由于初始化数量有限导致置信区间覆盖不足的问题，并在最大似然估计（MLE）不可计算时提出了两样本检验方法。主要贡献在于对估计量在局部最优解下的极限行为及置信区间有效性进行了理论刻画。

ABSTRACT

We study the statistical properties of an estimator derived by applying a gradient ascent method with multiple initializations to a multi-modal likelihood function. We derive the population quantity that is the target of this estimator and study the properties of confidence intervals (CIs) constructed from asymptotic normality and the bootstrap approach. In particular, we analyze the coverage deficiency due to finite number of random initializations. We also investigate the CIs by inverting the likelihood ratio test, the score test, and the Wald test, and we show that the resulting CIs may be very different. We propose a two-sample test procedure even when the MLE is intractable. In addition, we analyze the performance of the EM algorithm under random initializations and derive the coverage of a CI with a finite number of initializations.

研究动机与目标

• 理解在多峰似然函数中，通过多次随机初始化进行梯度上升所获得估计量的统计性质。
• 识别此类估计量所针对的总体量，特别是当它们收敛至局部最大值而非全局 MLE 时的情况。
• 分析基于渐近正态性、自助法以及似然比、得分和 Wald 检验构建的置信区间的覆盖性质。
• 量化由于初始化数量有限而导致的置信区间覆盖不足问题。
• 当由于非凸性导致 MLE 不可计算时，提出一种两样本检验程序。

提出的方法

• 通过理论分析，推导在多峰似然函数中，使用多次初始化的梯度上升估计量所针对的总体量。
• 分析基于渐近正态性和自助法的置信区间，表明其覆盖概率可能因初始化数量有限而不足。
• 比较三种基于检验的置信区间：似然比、得分和 Wald 检验，表明它们在结果上可能显著不同。
• 使用集中不等式和 Hoeffding 不等式，对在有限初始化下遗漏全局模式的概率进行上界估计。
• 引入基于事件的分析（E1, E2, E3, E4），以控制覆盖概率中的误差项，同时考虑密度和梯度估计中的偏差与估计误差。
• 推导置信区间覆盖概率的下界，表明其至少为 $1 - \alpha - (1 - \frac{1}{3}P(\mathcal{A}_{\sf mode}))^n + O(\sqrt{1/(nh^{d+2})}) + O(\sqrt{nh^{d+6}})$。

Figure 1: Log-likelihood function of fitting a 2-Gaussian mixture model to a data that is generated from a 3-Gaussian mixture model. The true distribution has a density function: $p_{0}(x)=0.5\phi(x;0,0.2^{2})+0.45\phi(x;0.75,0.2^{2})+0.05\phi(x;3,0.2^{2})$ , where $\phi(x;\mu,\sigma^{2})$ is the de

实验结果

研究问题

• RQ1 当似然函数为多峰时，基于多次随机初始化的梯度上升估计量所针对的总体量是什么？
• RQ2 有限数量的随机初始化如何影响基于渐近正态性或自助法构建的置信区间的覆盖概率？
• RQ3 当 MLE 未被达到时，基于似然比、得分和 Wald 检验的置信区间在覆盖性方面有何差异？
• RQ4 当估计量因收敛至局部最大值而非真实 MLE 时，置信区间的理论覆盖保证是什么？
• RQ5 当由于非凸性导致 MLE 不可计算时，能否构造一种两样本检验方法？其理论性质如何？

主要发现

• 基于多次随机初始化的估计量所针对的总体量并非全局 MLE，而是一个依赖于初始化分布的局部模式。
• 基于渐近正态性或自助法的置信区间由于初始化数量有限而存在覆盖不足问题，其覆盖概率下界为 $1 - \alpha - (1 - \frac{1}{3}P(\mathcal{A}_{\sf mode}))^n + O(\sqrt{1/(nh^{d+2})}) + O(\sqrt{nh^{d+6}})$。
• 基于似然比、得分和 Wald 检验的置信区间可能产生显著不同的覆盖结果，凸显在局部最优解下对检验选择的高度敏感性。
• 在有限初始化下遗漏全局模式的概率被上界控制为 $ (1 - \frac{1}{3}P(\mathcal{A}_{\sf mode}))^n $，该值随样本量 $n$ 指数衰减。
• 所提出的两样本检验在 MLE 不可计算时依然有效，为非凸模型中的推断提供了一种实用替代方案。
• 理论覆盖界表明，覆盖不足主要由遗漏全局模式的概率主导，该概率在弱正则性条件下呈指数级小。

Figure 3: A modal regression method to the mixture regression problem. Left: we display a data generated by a 4-mixture regression model. Right: the objective function of the linear modal regression as a function of the parameter $\theta$ . The three red vertical lines display the boundary of basins