[论文解读] Restricted Eigenvalue Conditions on Subgaussian Random Matrices

Shuheng Zhou|ArXiv.org|Dec 21, 2009

Topological and Geometric Data Analysis参考文献 19被引用 64

一句话总结

该论文证明，当样本量超过某一阈值时，具有独立行和一般协方差结构的子高斯随机矩阵以高概率满足受限特征值（RE）条件。通过利用几何泛函分析工具，作者表明，此类矩阵即使在列不独立的情况下，也能在高维设置下实现Lasso和Dantzig选择器的一致估计。

ABSTRACT

It is natural to ask: what kinds of matrices satisfy the Restricted Eigenvalue (RE) condition? In this paper, we associate the RE condition (Bickel-Ritov-Tsybakov 09) with the complexity of a subset of the sphere in $\R^p$, where $p$ is the dimensionality of the data, and show that a class of random matrices with independent rows, but not necessarily independent columns, satisfy the RE condition, when the sample size is above a certain lower bound. Here we explicitly introduce an additional covariance structure to the class of random matrices that we have known by now that satisfy the Restricted Isometry Property as defined in Candes and Tao 05 (and hence the RE condition), in order to compose a broader class of random matrices for which the RE condition holds. In this case, tools from geometric functional analysis in characterizing the intrinsic low-dimensional structures associated with the RE condition has been crucial in analyzing the sample complexity and understanding its statistical implications for high dimensional data.

研究动机与目标

• 确定子高斯随机矩阵满足受限特征值（RE）条件的条件，这是高维统计估计的关键要求。
• 通过引入一般协方差结构，将已知满足RE条件的矩阵类扩展至非i.i.d.条目的情形。
• 利用几何泛函分析工具分析RE条件的样本复杂度与统计影响。
• 证明对于包括列间存在依赖关系在内的广泛类随机设计，RE条件以高概率成立。
• 为高维线性模型中Lasso和Dantzig选择器在RE条件下的性能提供理论保证。

提出的方法

• 引入一类具有独立行和指定协方差结构Σ的随机矩阵，允许列之间存在依赖。
• 通过在满足||δ_{J₀^c}||₁ ≤ k₀||δ_{J₀}||₁的可接受δ上取||Xδ||₂ / (√n ||δ_J₀||₂)的下确界，定义受限特征值条件。
• 应用Slepian引理和Gordon的高斯比较不等式，对可接受δ集合上||Xδ||₂的期望下确界和上确界进行有界。
• 利用高斯空间中的测度集中性，推导||Xδ||₂的样本范数的高概率偏差界。
• 利用|⟨h, Σ^{1/2}δ⟩|在集合E_s中的期望上确界，控制||Xδ||₂与其均值的偏差。
• 在适当的样本量条件下，推导出对所有可接受δ成立的高概率界：(1−θ−o(1))||Σ^{1/2}δ||₂ ≤ ||Xδ||₂/√n ≤ (1+θ)||Σ^{1/2}δ||₂。

实验结果

研究问题

• RQ1 哪些类型的随机矩阵满足受限特征值（RE）条件，尤其是在列不独立的情况下？
• RQ2 将一般协方差结构Σ引入后，对子高斯随机矩阵的RE条件有效性有何影响？
• RQ3 在高维设置下，使RE条件以高概率成立所需的最小样本量是多少？
• RQ4 Slepian引理和测度集中性等几何泛函分析工具如何有助于分析RE条件？
• RQ5 RE条件在多大程度上能确保在高维模型中通过Lasso和Dantzig选择器实现一致估计？

主要发现

• 当样本量n超过依赖于稀疏度s和维度p的对数的阈值时，具有独立行和一般协方差结构Σ的子高斯随机矩阵以高概率满足受限特征值条件。
• 只要样本量相对于s log(p/s)足够大，该条件成立的概率至少为1−4/p^d（d>0）。
• 本文证明，当对所有可接受δ，经验范数||Xδ||₂/√n被||Σ^{1/2}δ||₂的常数倍上下均匀有界时，RE条件成立。
• 分析表明，RE条件在一般协方差结构下保持稳定，扩展了以往仅适用于i.i.d.或各向同性设计的研究结果。
• 对||Xδ||₂的期望下确界和上确界的推导结果表明，RE条件在所有s-稀疏方向上一致成立，从而实现了对估计误差的统一控制。
• 结果证实，在列之间存在依赖关系的情况下，Lasso和Dantzig选择器在RE条件下仍能实现最优的ℓ₂和ℓ₁估计误差率。