[论文解读] Sparse High-Dimensional Linear Regression. Algorithmic Barriers and a Local Search Algorithm

David Gamarnik, Ilias Zadik|arXiv (Cornell University)|Nov 14, 2017

Sparse and Compressive Sensing Techniques参考文献 44被引用 14

一句话总结

本文识别出稀疏高维线性回归中的一个基本算法差距，表明尽管在样本量 n* 时，真实稀疏向量 β* 的恢复在信息论上是可能的，但目前尚无高效算法能在 n_alg ≈ k log p 之前成功实现。本文证明 LASSO 在 n ∈ [n*, c n_alg] 的区间内无法稳定恢复 β*，并建立 n_alg 处的重叠间隙性质（OGP）相变信号了算法困难性。最后，提出一种局部搜索算法，当 n > C n_alg 且 C 足够大时，可证明恢复 β* 及其支持。

ABSTRACT

We consider a sparse high dimensional regression model where the goal is to recover a $k$-sparse unknown vector $β^*$ from $n$ noisy linear observations of the form $Y=Xβ^*+W \in \mathbb{R}^n$ where $X \in \mathbb{R}^{n imes p}$ has iid $N(0,1)$ entries and $W \in \mathbb{R}^n$ has iid $N(0,σ^2)$ entries. Under certain assumptions on the parameters, an intriguing assymptotic gap appears between the minimum value of $n$, call it $n^*$, for which the recovery is information theoretically possible, and the minimum value of $n$, call it $n_{\mathrm{alg}}$, for which an efficient algorithm is known to provably recover $β^*$. In \cite{gamarnikzadik} it was conjectured that the gap is not artificial, in the sense that for sample sizes $n \in [n^*,n_{\mathrm{alg}}]$ the problem is algorithmically hard. We support this conjecture in two ways. Firstly, we show that the optimal solution of the LASSO provably fails to $\ell_2$-stably recover the unknown vector $β^*$ when $n \in [n^*,c n_{\mathrm{alg}}]$, for some sufficiently small constant $c>0$. Secondly, we establish that $n_{\mathrm{alg}}$, up to a multiplicative constant factor, is a phase transition point for the appearance of a certain Overlap Gap Property (OGP) over the space of $k$-sparse vectors. The presence of such an Overlap Gap Property phase transition, which originates in statistical physics, is known to provide evidence of an algorithmic hardness. Finally we show that if $n>C n_{\mathrm{alg}}$ for some large enough constant $C>0$, a very simple algorithm based on a local search improvement rule is able both to $\ell_2$-stably recover the unknown vector $β^*$ and to infer correctly its support, adding it to the list of provably successful algorithms for the high dimensional linear regression problem.

研究动机与目标

• 理解稀疏高维线性回归中信息论恢复（n*）与算法恢复（n_alg）之间的差距。
• 探究 n* 与 n_alg 之间的差距是否为当前算法的缺陷，还是真实存在的算法困难性。
• 分析 LASSO 在 n ∈ [n*, c n_alg] 区间内对小的 c > 0 的失败原因。
• 建立 n_alg 处重叠间隙性质（OGP）的存在，表明算法不可解性。
• 设计并分析一种局部搜索算法，当 n > C n_alg 且 C 足够大时，可证明恢复 β* 及其支持。

提出的方法

• 使用 i.i.d. N(0,1) 项的测量矩阵 X ∈ ℝ^{n×p} 和噪声 W ∼ N(0,σ²I) 的概率分析，对高维回归进行建模。
• 分析当 n ∈ [n*, c n_alg] 时，LASSO 估计量无法实现 ℓ₂ 稳定恢复，证明其无法在 σ 水平误差内收敛至 β*。
• 在 k-稀疏向量空间上引入重叠间隙性质（OGP），表明其在 n_alg ≈ k log p 处出现，提示算法困难性。
• 利用集中不等式和指数矩界控制解空间中稀疏向量邻域的大小。
• 提出一种基于迭代改进规则的局部搜索算法，通过探索候选解的 ℓ₂ 邻域来逃离局部最优。
• 证明当 n > C n_alg 且 C > 0 足够大时，该局部搜索算法以高概率实现 ℓ₂ 稳定恢复和正确支持恢复。

实验结果

研究问题

• RQ1 稀疏高维线性回归中，信息论恢复（n*）与算法恢复（n_alg）之间的差距是当前算法的缺陷，还是根本性的算法障碍？
• RQ2 LASSO 估计量在 n ∈ [n*, c n_alg] 区间内对小的 c > 0 是否无法稳定恢复 β*？
• RQ3 n_alg 处重叠间隙性质（OGP）的存在是否为该问题中算法困难性的证据？
• RQ4 一种简单的局部搜索算法能否克服 LASSO 等凸松弛方法的局限性，并在 n > C n_alg 时成功恢复 β*？
• RQ5 样本量 n 的精确阈值是多少，使得局部搜索算法可证明恢复 β* 的支持和 ℓ₂ 范数？

主要发现

• 当 n ∈ [n*, c n_alg] 且 c > 0 足够小时，LASSO 估计量可证明无法实现 β* 的 ℓ₂ 稳定恢复，尽管恢复在信息论上是可能的。
• n_alg ≈ k log p 的值标志着 k-稀疏向量空间上重叠间隙性质（OGP）的相变，为该区间内算法困难性提供了强有力证据。
• 当样本量 n > C n_alg 且 C 足够大时，基于迭代邻域改进的局部搜索算法可证明实现 β* 的 ℓ₂ 稳定恢复。
• 同一局部搜索算法在 n > C n_alg 时，以高概率正确推断出 β* 的支持。
• n_alg 处的 OGP 相变被证明具有鲁棒性，并与稀疏解空间的内在几何结构相关，提示存在根本性的高效恢复障碍。
• 分析表明，阈值 n_alg 到常数因子内是紧致的：低于该阈值时，尚无已知高效算法能成功，且 OGP 阻碍搜索；高于该阈值时，简单的局部搜索可成功。