[论文解读] The phase transition for the existence of the maximum likelihood estimate in high-dimensional logistic regression

Emmanuel J. Candès, Pragya Sur|arXiv (Cornell University)|Apr 25, 2018

Statistical Methods and Inference被引用 7

一句话总结

本文在高维逻辑斯蒂回归模型中，针对高斯协变量，建立了最大似然估计（MLE）存在的尖锐相变。利用凸几何与随机矩阵理论的工具，推导出在 $ \kappa = p/n $ 平面上的显式阈值曲线 $ h_{\text{MLE}} $，表明在高维渐近下，当 $ \kappa < h_{\text{MLE}} $ 时，MLE 以概率一存在；当 $ \kappa > h_{\text{MLE}} $ 时，MLE 以概率一不存在。

ABSTRACT

This paper rigorously establishes that the existence of the maximum likelihood estimate (MLE) in high-dimensional logistic regression models with Gaussian covariates undergoes a sharp `phase transition'. We introduce an explicit boundary curve $h_{\ ext{MLE}}$, parameterized by two scalars measuring the overall magnitude of the unknown sequence of regression coefficients, with the following property: in the limit of large sample sizes $n$ and number of features $p$ proportioned in such a way that $p/n \ ightarrow \\kappa$, we show that if the problem is sufficiently high dimensional in the sense that $\\kappa &gt; h_{\ ext{MLE}}$, then the MLE does not exist with probability one. Conversely, if $\\kappa &lt; h_{\ ext{MLE}}$, the MLE asymptotically exists with probability one.

研究动机与目标

• 解决高维逻辑斯蒂回归模型中最大似然估计（MLE）存在的长期悬而未决问题。
• 通过高维渐近框架下的具体可计算阈值，而非抽象的几何分离条件，刻画 MLE 的存在性。
• 在高斯协变量假设下，建立 MLE 存在性关于比值 $ \kappa = p/n $ 的尖锐相变。
• 利用凸几何与随机矩阵理论，为高维设置下 MLE 的行为提供严谨的理论框架。

提出的方法

• 作者在 $ n, p \to \infty $ 且 $ p/n \to \kappa $ 的高维渐近框架下建模逻辑斯蒂回归问题。
• 他们采用凸几何中的运动公式（kinematic formula），即 Gordon 的逃逸通过网格定理的现代变体，分析似然函数的几何结构。
• 该方法涉及通过对偶变量 $ \bm{\lambda} $ 的重参数化，研究对数似然函数 $ \ell(\bm{b}) $ 及其临界点的行为。
• 关键步骤是围绕其最小化点对对数似然函数进行二阶展开，利用大数集中律与高斯过程技术。
• MLE 的存在性与 Hessian 的非退化性及分离超平面的缺失相关，通过其对偶形式分析。
• 相变边界 $ h_{\text{MLE}} $ 显式地以信噪比和回归系数整体大小为参数导出。

实验结果

研究问题

• RQ1 在高斯协变量的高维逻辑斯蒂回归中，MLE 在何种条件下会不存在？
• RQ2 在 $ p/n $ 比值超过某一临界值后，MLE 是否存在一个高概率不成立的尖锐阈值？
• RQ3 在高维渐近下，能否用一个定量且可计算的阈值替代数据可分性的几何条件？
• RQ4 截距项的存在如何影响 MLE 存在性的相变边界？

主要发现

• 在高维极限下，当比值 $ \kappa = p/n $ 低于临界阈值 $ h_{\text{MLE}} $ 时，MLE 以概率一存在；当 $ \kappa > h_{\text{MLE}} $ 时，MLE 以概率一不存在。
• 相变边界 $ h_{\text{MLE}} $ 显式地作为信号强度与回归系数整体大小的函数导出。
• MLE 的存在性由数据与似然曲面的几何结构决定，当数据在高维下渐近可分时发生相变。
• 分析表明，即使 $ p \ll n $，若数据近乎完全可分，MLE 仍可能不存在，这一现象由相变所捕捉。
• 该方法为 Cover 早期的启发式相变结果提供了严格的理论依据，并将其推广至响应变量依赖于协变量的情形。
• 所导出的阈值 $ h_{\text{MLE}} $ 在含截距与不含截距的情况下均适用，且论文为两种情形提供了显式公式。