[论文解读] The lower tail of random quadratic forms, with applications to ordinary least squares and restricted eigenvalue properties

Roberto I. Oliveira|arXiv (Cornell University)|Dec 10, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用 65

一句话总结

本文在四阶矩条件下建立了随机二次型下尾的次高斯浓度，使高维统计中有限样本界限更紧密。该结果被应用于改进稀疏恢复中的普通最小二乘估计和受限特征值性质，即使在重尾分布下也成立。

ABSTRACT

Finite sample properties of random covariance-type matrices have been the subject of much research. In this paper we focus on the "lower tail" of such a matrix, and prove that it is subgaussian under a simple fourth moment assumption on the one-dimensional marginals of the random vectors. A similar result holds for more general sums of random positive semidefinite matrices, and the (relatively simple) proof uses a variant of the so-called PAC-Bayesian method for bounding empirical processes. We give two applications of the main result. In the first one we obtain a new finite-sample bound for ordinary least squares estimator in linear regression with random design. Our result is model-free, requires fairly weak moment assumptions and is almost optimal. Our second application is to bounding restricted eigenvalue constants of certain random ensembles with "heavy tails". These constants are important in the analysis of problems in Compressed Sensing and High Dimensional Statistics, where one recovers a sparse vector from a small umber of linear measurements. Our result implies that heavy tails still allow for the fast recovery rates found in efficient methods such as the LASSO and the Dantzig selector. Along the way we strengthen, with a fairly short argument, a recent result of Rudelson and Zhou on the restricted eigenvalue property.

研究动机与目标

• 在最小矩假设下，推导随机协方差矩阵下尾的有限样本浓度界限。
• 在仅假设有限矩的随机设计回归中，改进普通最小二乘估计的有限样本误差界限。
• 为重尾随机集合建立受限特征值性质，支持压缩感知中的快速恢复。
• 通过新颖的PAC-Bayesian论证，加强现有受限特征值结果。

提出的方法

• 使用PAC-Bayesian方法的一种变体，以控制涉及独立同分布的正定随机矩阵之和的经验过程。
• 在四阶矩条件下，建立二次型下尾的次高斯尾部界限：$ \sqrt{\mathbb{E}[(v^T X_1)^4]} \leq h \cdot v^T \Sigma v $。
• 结合局部鞅论证与指数矩界限，以控制非负随机变量之和的下尾。
• 在矩的准齐次性条件下，推导随机矩阵迹的一般浓度不等式。
• 通过独立副本的对称化技术，以控制中心增量的矩生成函数。
• 使用可选停时和马尔可夫不等式，推导二次型下尾的高概率界限。

实验结果

研究问题

• RQ1 在仅对一维边际具有四阶矩条件时，能否为随机二次型建立次高斯下尾界限？
• RQ2 当仅假设有限矩时，能否为随机设计回归中普通最小二乘估计推导出有限样本误差界限？
• RQ3 能否为重尾随机集合的受限特征值常数建立界限，且其是否支持压缩感知中的快速恢复率？
• RQ4 如何将PAC-Bayesian方法调整，以在高维统计中为经验过程获得更紧的浓度界限？
• RQ5 能否通过简短且通用的论证，在更弱的矩假设下加强受限特征值性质？

主要发现

• 在四阶矩条件下，随机二次型的下尾为次高斯：当 $ n = O(h^2 p / \varepsilon^2) $ 时，有 $ \mathbb{P}(\forall v, \, v^T \widehat{\Sigma}_n v \geq (1-\varepsilon) v^T \Sigma v) \geq 1 - e^{-p} $。
• 该界限在 $ \varepsilon^{-2} $ 上是最优的，如Bai-Yin定理所证实。
• 在仅假设 $ X $ 和 $ Y $ 具有有限二阶矩的条件下，推导出新的普通最小二乘有限样本界限，优于以往需要无穷阶矩的结果。
• 重尾集合的受限特征值常数被证明有界，确保LASSO和Dantzig选择器即使在次指数尾部下也能实现快速恢复率。
• 通过一个简短的证明，利用对称化和矩生成函数论证，加强了Rudelson与Zhou近期关于受限特征值性质的结果。
• 主要结果表明，只要满足四阶矩条件，重尾分布不会阻碍高维线性模型中的高效恢复。