[论文解读] Variable Selection is Hard

Dean P. Foster, Howard Karloff+1 more|arXiv (Cornell University)|Dec 15, 2014

Sparse and Compressive Sensing Techniques参考文献 16被引用 26

一句话总结

该论文证明，即使允许多项式时间算法在稀疏性上比真实稀疏性高出近乎指数因子，并容忍较大的残差误差，稀疏线性回归中的变量选择仍然是计算上困难的。在标准复杂性假设下，任何此类算法都无法保证获得稀疏性 $ k' = k ⋅ 2^{\log^{1-\delta} p} $ 和误差 $ h(m,p) \leq p^{C_1} m^{1-C_2} $ 的解，即使存在精确的 $ k $-稀疏解。

ABSTRACT

Variable selection for sparse linear regression is the problem of finding, given an m x p matrix B and a target vector y, a sparse vector x such that Bx approximately equals y. Assuming a standard complexity hypothesis, we show that no polynomial-time algorithm can find a k'-sparse x with ||Bx-y||^2<=h(m,p), where k'=k*2^{log^{1-delta} p} and h(m,p)<=p^(C_1)*m^(1-C_2), where delta>0, C_1>0,C_2>0 are arbitrary. This is true even under the promise that there is an unknown k-sparse vector x^* satisfying Bx^*=y. We prove a similar result for a statistical version of the problem in which the data are corrupted by noise. To the authors' knowledge, these are the first hardness results for sparse regression that apply when the algorithm simultaneously has k'>k and h(m,p)>0.

研究动机与目标

• 在放宽稀疏性和残差误差约束的条件下，建立稀疏线性回归的计算困难性。
• 证明不存在多项式时间算法能够获得显著多于真实稀疏解非零项的解，同时仍保持次优误差界。
• 首次提供同时允许稀疏性增加和正残差误差的稀疏回归困难性结果。
• 将困难性结果扩展到存在高斯噪声的回归设置中。
• 将稀疏回归的不可解性与通过最小二乘法求解的噪声回归的可解性进行对比。

提出的方法

• 通过 Feige 的约化方法，将 NP-难的集合覆盖问题约化为一个稀疏回归实例，该约化保持了存在 $ k $-集合覆盖当且仅当目标向量可精确表示为 $ k $ 个列向量的线性组合。
• 通过堆叠 $ r $ 个集合覆盖关联矩阵 $ B $ 的副本，构造块矩阵 $ B' $，从而增加不可满足实例的残差误差。
• 使用概率放大技术：在目标向量的多个噪声版本上多次运行候选算法，以放大成功概率。
• 应用马尔可夫不等式，界定残差误差超过阈值 $ h(m,p) $ 的概率，从而确保高概率正确性。
• 通过生成独立同分布的高斯噪声并利用多次试验来放大成功率，建立从噪声稀疏回归到精确稀疏回归的约化。
• 采用复杂性理论假设（例如，SAT 不属于 $ \textsc{DTime}(n^{O(\log\log n)}) $）来推导可实现误差和稀疏性的下界。

实验结果

研究问题

• RQ1 在存在精确 $ k $-稀疏解的前提下，多项式时间稀疏回归算法能否实现稀疏性 $ k' = k \cdot 2^{\log^{1-\delta} p} $ 和误差 $ h(m,p) \leq p^{C_1} m^{1-C_2} $ 的解？
• RQ2 即使在容许更大的误差容忍度的情况下，是否存在根本性的计算障碍，使得解的稀疏性无法显著优于真实稀疏解？
• RQ3 与已知可通过最小二乘法高效求解的噪声回归相比，精确稀疏回归的困难性如何？
• RQ4 是否可以在不依赖强预言机的前提下，基于标准复杂性假设证明稀疏回归的困难性？
• RQ5 当允许算法输出比真实稀疏解多出少量非零项的解时，任何多项式时间算法所能达到的最小误差界是什么？

主要发现

• 在假设 $ \textsc{SAT} \notin \textsc{DTime}(n^{O(\log\log n)}) $ 的前提下，任何多项式时间算法都无法求解 $ (g,h) $-稀疏回归，其中 $ g(p) = (1-\delta)\ln p $ 且 $ h(m,p) = m^{1-\delta} $。
• 该论文首次建立了同时允许 $ k' > k $ 和 $ h(m,p) > 0 $ 的稀疏回归困难性结果，填补了先前研究的空白。
• 对于噪声回归变体，论文证明即使稀疏性近乎指数增加，任何多项式时间算法也无法实现风险被限制在 $ p^{C_1} m^{1-C_2} $ 以内的结果。
• 通过重复采样和马尔可夫不等式，构建了从噪声稀疏回归到精确稀疏回归的约化，表明噪声情况下的困难性蕴含了精确情况下的困难性。
• 该结果与通过最小二乘法求解噪声回归的可解性形成鲜明对比，后者可实现与 $ m $ 无关的风险 $ p $，凸显了精确与噪声设置之间根本性的差距。
• 即使允许算法输出具有 $ k' = k \cdot 2^{\log^{1-\delta} p} $ 个非零项的解，该困难性结果依然成立，表明此类‘作弊’手段也无法使问题变得可解。