[论文解读] Robust High Dimensional Sparse Regression and Matching Pursuit

Yudong Chen, Constantine Caramanis+1 more|arXiv (Cornell University)|Jan 12, 2013

Sparse and Compressive Sensing Techniques参考文献 31被引用 13

一句话总结

本文提出鲁棒正交匹配追踪（RoMP），一种在协变量和响应变量均遭受对抗性行内及分布式污染的高维稀疏回归中计算高效的算法。其在高达 $ n_1 = O(n/(√k \log p)) $ 个被污染点下实现支持恢复，显著优于暴力搜索与现有鲁棒方法，即使在无分布假设的最坏情况对抗污染下亦表现优异。

ABSTRACT

We consider high dimensional sparse regression, and develop strategies able to deal with arbitrary -- possibly, severe or coordinated -- errors in the covariance matrix $X$. These may come from corrupted data, persistent experimental errors, or malicious respondents in surveys/recommender systems, etc. Such non-stochastic error-in-variables problems are notoriously difficult to treat, and as we demonstrate, the problem is particularly pronounced in high-dimensional settings where the primary goal is {\em support recovery} of the sparse regressor. We develop algorithms for support recovery in sparse regression, when some number $n_1$ out of $n+n_1$ total covariate/response pairs are {\it arbitrarily (possibly maliciously) corrupted}. We are interested in understanding how many outliers, $n_1$, we can tolerate, while identifying the correct support. To the best of our knowledge, neither standard outlier rejection techniques, nor recently developed robust regression algorithms (that focus only on corrupted response variables), nor recent algorithms for dealing with stochastic noise or erasures, can provide guarantees on support recovery. Perhaps surprisingly, we also show that the natural brute force algorithm that searches over all subsets of $n$ covariate/response pairs, and all subsets of possible support coordinates in order to minimize regression error, is remarkably poor, unable to correctly identify the support with even $n_1 = O(n/k)$ corrupted points, where $k$ is the sparsity. This is true even in the basic setting we consider, where all authentic measurements and noise are independent and sub-Gaussian. In this setting, we provide a simple algorithm -- no more computationally taxing than OMP -- that gives stronger performance guarantees, recovering the support with up to $n_1 = O(n/(\sqrt{k} \log p))$ corrupted points, where $p$ is the dimension of the signal to be recovered.

研究动机与目标

• 解决当协变量与响应变量均遭受任意对抗性污染时，高维稀疏回归中支持恢复的挑战。
• 开发一种计算高效的算法，在确定性污染边界下提供可证明的保证，不同于以往的鲁棒回归或异常值剔除方法。
• 弥合理论性能与高维设定下实际鲁棒性之间的差距，因为在标准算法即使仅有少数被污染点时亦会失效。
• 分析在行污染与分布式污染模型下支持恢复的根本极限，特别是当污染为协同且无结构时。
• 证明即使在 $ O(n/k) $ 个被污染点下，暴力子集搜索也无效，凸显对更智能、更结构化的算法的迫切需求。

提出的方法

• 提出鲁棒正交匹配追踪（RoMP），一种受 OMP 启发的序列贪心算法，通过裁剪过程改进以处理污染数据。
• 采用裁剪机制，移除协变量与响应之间内积绝对值最大的项，假设异常值具有极端值。
• 利用次高斯浓度不等式分别界定内点与异常值的贡献，确保对对抗性污染的鲁棒性。
• 分析裁剪后每个协变量与响应之间的相关性，选择绝对相关性最高的索引作为下一个支持候选。
• 通过测度集中与内点独立性假设，推导估计误差与支持恢复的高概率界。
• 采用两阶段分析：首先界定每个系数估计误差的上界；其次建立 RoMP 正确识别真实支持的条件。

实验结果

研究问题

• RQ1 在协变量与响应变量均遭受无分布假设的对抗性污染时，能否保证高维稀疏回归中的支持恢复？
• RQ2 在仍能恢复真实支持的前提下，最多可容忍多少被污染点 $ n_1 $ ？
• RQ3 为何标准鲁棒回归与异常值剔除技术在协变量中存在对抗性污染的高维设定下会失效？
• RQ4 在对抗性污染下，RoMP 与暴力子集选择的性能相比如何？
• RQ5 基于凸优化的方法在此设定下是否能提供优于 RoMP 的鲁棒性保证？

主要发现

• RoMP 在对抗性行污染与分布式污染下，可实现高达 $ n_1 = O(n/(√k \log p)) $ 个被污染点的支持恢复，其中 $ k $ 为稀疏度，$ p $ 为维度。
• 即使内点与噪声服从次高斯分布，暴力搜索所有大小为 $ n $ 的子集与所有可能支持的算法，在 $ n_1 = O(n/k) $ 个被污染点下仍会失败。
• 理论分析表明，RoMP 的估计误差每系数有界于 $ O(\sqrt{\log p / n}) $，并因污染额外增加一项 $ n_1 \cdot (\log p / n) \cdot \|\beta^*\|_2 $。
• 当信噪比与稀疏度满足 $ n \gtrsim \max_j (\|\beta^*\|_2^2 / \beta_j^{*2}) \cdot \log p \cdot (1 + \sigma_e^2 / \|\beta^*\|_2^2) $ 时，算法可保证正确选择支持。
• 该分析适用于行污染与分布式污染模型，且对污染模式无额外假设，仅要求其基数有界。
• RoMP 在支持恢复方面优于现有方法，如正义追踪（Justice Pursuit）与基于凸松弛的方法，在鲁棒性与计算效率上均表现更优。