[论文解读] Orthogonal Matching Pursuit with Noisy and Missing Data: Low and High Dimensional Results

Yudong Chen, Constantine Caramanis|arXiv (Cornell University)|Jun 5, 2012

Sparse and Compressive Sensing Techniques参考文献 15被引用 11

一句话总结

该论文提出了一种基于正交匹配追踪（OMP）的新算法，用于在存在噪声和缺失协变量的条件下进行稀疏回归，且无需事先了解噪声统计特性。该算法在高维设置下可实现可证明的精确支持恢复，并通过避免协方差矩阵估计，将问题简化为稳定的小维问题，从而在高维和低维情形下均优于现有方法。

ABSTRACT

Many models for sparse regression typically assume that the covariates are known completely, and without noise. Particularly in high-dimensional applications, this is often not the case. This paper develops efficient OMP-like algorithms to deal with precisely this setting. Our algorithms are as efficient as OMP, and improve on the best-known results for missing and noisy data in regression, both in the high-dimensional setting where we seek to recover a sparse vector from only a few measurements, and in the classical low-dimensional setting where we recover an unstructured regressor. In the high-dimensional setting, our support-recovery algorithm requires no knowledge of even the statistics of the noise. Along the way, we also obtain improved performance guarantees for OMP for the standard sparse regression problem with Gaussian noise.

研究动机与目标

• 为解决在高维数据采集中协变量受噪声或缺失影响这一常见问题，提出稀疏回归的解决方案。
• 设计一种计算高效的算法，其运行速度与OMP相当，同时提升对噪声和不完整测量的鲁棒性。
• 在无需噪声统计知识的前提下，为高维设置下的支持恢复提供理论保证。
• 改进标准稀疏回归中OMP在高斯噪声下的性能边界。
• 在支持识别后，将高维问题简化为稳定的小维问题，提升计算与统计稳定性。

提出的方法

• 提出一种类似OMP的贪婪算法，通过与含噪声/缺失协变量的相关性最大化，迭代识别稀疏信号的支持集。
• 避免估计协方差矩阵 $X^ op X$，该矩阵在高维下可能病态或非半正定。
• 利用次高斯浓度不等式，控制随机矩阵与向量之间内积的偏离程度。
• 采用覆盖论证与矩阵偏离界，控制涉及含噪声数据矩阵的双线性形式的上确界。
• 在正确支持被识别后，将高维稀疏恢复问题转化为低维回归问题。
• 通过次高斯随机矩阵的概率界提供理论保证，确保在温和条件下以高概率实现支持恢复。

实验结果

研究问题

• RQ1 能否设计一种计算高效的稀疏回归算法，在无需噪声统计信息的前提下，对噪声和缺失协变量保持鲁棒性？
• RQ2 在协变量被污染的高维稀疏回归中，何种条件可确保高概率支持恢复？
• RQ3 与改进的Lasso和Dantzig选择器方法相比，该方法在统计性能和计算稳定性方面表现如何？
• RQ4 通过适配OMP以处理测量污染，能否在高斯噪声下获得比标准OMP更优的性能保证？
• RQ5 避免协方差矩阵估计是否能在高维设置下提升稳定性和准确性？

主要发现

• 所提算法在无需噪声协方差矩阵知识的前提下，实现了高维设置下的高概率支持恢复，相较于以往工作具有关键优势。
• 该方法为标准稀疏回归中OMP的 $ε$-误差界提供了改进，增强了现有理论保证。
• 在高维设置下，当样本数为 $n = k\log p$ 时，算法在支持识别后成功将问题简化为低维回归，确保计算与统计稳定性。
• 理论分析表明，在次高斯噪声假设下，该算法性能达到极小极大最优，与文献中最佳已知边界一致。
• 该算法保持了与标准OMP相当的计算效率，同时显著优于依赖凸优化或噪声协方差估计的方法。
• 实验结果验证了标准Lasso和OMP在数据被污染时失效，而所提方法保持强性能，证实了其鲁棒性。