[论文解读] Regularity Properties of High-dimensional Covariate Matrices ∗

Edgar Dobriban, Jianqing Fan|arXiv (Cornell University)|May 22, 2013

Sparse and Compressive Sensing Techniques参考文献 30被引用 4

一句话总结

该论文证明，当设计矩阵从具有规则协方差结构的总体中采样时，高维协变量矩阵的 lq 敏感性——一种普遍的正则性性质——以高概率成立。作者证明了验证此类条件的 NP-难问题，表明 lq 敏感性在自然数据操作下保持不变，并根据噪声尾部行为（有界、次高斯、有限矩）推导出样本量和概率的边界。

ABSTRACT

Regularity properties such as the incoherence condition, the restricted isometry property, compatibility, restricted eigenvalue and lq sensitivity of covariate matrices play a pivotal role in high-dimensional regression and compressed sensing. Yet, like computing the spark of a matrix, we first show that it is NP-hard to check the conditions involving all submatrices of a given size. This motivates us to investigate what classes of design matrices sat- isfy these conditions. We demonstrate that the most general property, lq sensitivity, holds with high probability for covariate matrices sam- pled from populations with a suitably regular covariance matrix. The probability lower bound and sample size required depend on the tail be- havior of the random noise. We examine this for three important cases, bounded, sub-Gaussian, and finite moment random noises. We further show that lq sensitivity is preserved under natural opera- tions on the data. Our work is particularly important for many statisti- cal applications, in which the covariates are observational and correlated and can be thought of as fixed in advance. AMS 2000 subject classifications: Primary 62J05; secondary 68Q17, 62H12.

研究动机与目标

• 研究在高维协变量矩阵中验证诸如无偏性与限制等距性等正则性条件的计算复杂性。
• 确定在何种总体分布假设下，这些正则性性质以高概率成立。
• 建立 lq 敏感性——一种统一的正则性性质——以高概率适用于具有规则协方差结构的随机设计矩阵。
• 分析 lq 敏感性在自然数据变换和操作下的保持性。
• 根据噪声尾部分布，提供显式的样本量要求以及正则性的概率下限。

提出的方法

• 证明检查涉及给定大小所有子矩阵的正则性条件是 NP-难的，从而确立了基本的计算障碍。
• 将 lq 敏感性定义为一种涵盖无偏性、限制等距性、相容性及限制特征值条件的通用正则性性质。
• 分析从具有规则协方差矩阵的总体中抽取的随机设计矩阵，其 lq 敏感性成立的概率。
• 根据噪声尾部分布（有界、次高斯、有限矩）推导出 lq 敏感性成立的高概率下界。
• 证明 lq 敏感性在诸如列缩放、行置换和线性变换等自然操作下保持不变。
• 利用集中不等式和矩界，量化在不同噪声假设下实现高概率正则性所需的样本量。

实验结果

研究问题

• RQ1 对于高维协变量矩阵，验证诸如无偏性或限制等距性等正则性条件在计算上是否可行？
• RQ2 在协变量的何种分布假设下，lq 敏感性以高概率成立？
• RQ3 噪声尾部行为（有界、次高斯、有限矩）如何影响实现高概率正则性所需的样本量？
• RQ4 诸如 lq 敏感性等正则性性质是否在常见数据预处理操作下保持不变？
• RQ5 lq 敏感性能否作为高维回归与压缩感知中现有正则性条件的统一框架？

主要发现

• 验证涉及所有给定大小子矩阵的正则性条件是 NP-难的，表明存在根本性的计算不可行性。
• 当从协方差结构适当规则的总体中采样时，lq 敏感性在高维协变量矩阵中以高概率成立。
• lq 敏感性的概率下界及所需样本量在很大程度上取决于噪声分布的尾部行为。
• 对于有界噪声，所需样本量随维度对数增长；而对于次高斯和有限矩情形，则需要更强的矩假设。
• lq 敏感性在诸如列缩放和行置换等自然数据操作下保持不变。
• 研究结果为在观测研究中协变量为固定且相关时，高维回归与压缩感知方法的有效性提供了理论基础。