[论文解读] Sparsistency and rates of convergence in large covariance matrix estimation

Clifford Lam, Jianqing Fan|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|Nov 26, 2007

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

本文通过非凹惩罚似然方法，建立了高维协方差矩阵与精度矩阵估计的稀疏一致性（sparsistency）及收敛速率。结果表明，在一般惩罚函数下，Frobenius 范数的收敛速率为 (sn log pn/n)^1/2，其中 L1 惩罚要求较低的非稀疏率（s′_n = O(pn)），而 SCAD 与硬阈值惩罚则允许更高的稀疏性且无此限制。

ABSTRACT

This paper studies the sparsistency and rates of convergence for estimating sparse covariance and precision matrices based on penalized likelihood with nonconvex penalty functions. Here, sparsistency refers to the property that all parameters that are zero are actually estimated as zero with probability tending to one. Depending on the case of applications, sparsity priori may occur on the covariance matrix, its inverse or its Cholesky decomposition. We study these three sparsity exploration problems under a unified framework with a general penalty function. We show that the rates of convergence for these problems under the Frobenius norm are of order $(s_n\log p_n/n)^{1/2}$, where $s_n$ is the number of nonzero elements, $p_n$ is the size of the covariance matrix and $n$ is the sample size. This explicitly spells out the contribution of high-dimensionality is merely of a logarithmic factor. The conditions on the rate with which the tuning parameter $λ_n$ goes to 0 have been made explicit and compared under different penalties. As a result, for the $L_1$-penalty, to guarantee the sparsistency and optimal rate of convergence, the number of nonzero elements should be small: $s_n'=O(p_n)$ at most, among $O(p_n^2)$ parameters, for estimating sparse covariance or correlation matrix, sparse precision or inverse correlation matrix or sparse Cholesky factor, where $s_n'$ is the number of the nonzero elements on the off-diagonal entries. On the other hand, using the SCAD or hard-thresholding penalty functions, there is no such a restriction.

研究动机与目标

• 建立稀疏一致性——即零参数被估计为零的概率收敛于 1——在惩罚似然下的稀疏协方差与精度矩阵中。
• 推导在 Frobenius 范数下估计稀疏协方差与精度矩阵的最优收敛速率。
• 比较不同惩罚函数（L1、SCAD、硬阈值）在稀疏一致性与收敛速率上的表现。
• 显式量化不同惩罚函数在高维设定下引入的偏差。
• 通过将维度（pn）与非稀疏元素数量（sn）关联，弥补先前研究的局限性，以建立收敛性与稀疏一致性的结果。

提出的方法

• 采用统一框架，使用一般惩罚函数来估计稀疏协方差、精度或 Cholesky 分解矩阵。
• 使用非凹惩罚的惩罚负对数似然，以在估计矩阵中诱导稀疏性。
• 在真实参数空间与惩罚函数的正则性条件下，推导渐近正态性与一致性结果。
• 应用矩阵扰动理论与 Neumann 级数展开，分析 Hessian 矩阵与 Fisher 信息矩阵的行为。
• 使用 Frobenius 范数度量估计误差，并以样本量（n）、维度（pn）与非零元素数量（sn）表示收敛速率。
• 通过将目标函数分解为偏差、方差与惩罚项，严格控制算子范数与 Frobenius 范数，完成证明。

实验结果

研究问题

• RQ1 在一般非凹惩罚下，惩罚似然估计量是否对高维协方差与精度矩阵实现稀疏一致性？
• RQ2 在 Frobenius 范数下，估计稀疏协方差与精度矩阵的最优收敛速率为何？
• RQ3 不同惩罚函数（L1、SCAD、硬阈值）如何影响稀疏一致性与收敛速率？
• RQ4 每种惩罚函数下，惩罚估计量的显式偏差为何？
• RQ5 在非零元素数量（s′_n）满足何种条件下，可保证 L1 惩罚估计的稀疏一致性？

主要发现

• 在 Frobenius 范数下，估计稀疏协方差或精度矩阵的收敛速率为 (sn log pn/n)^1/2，其中 sn 为非稀疏元素的数量。
• 对于 L1 惩罚估计，稀疏一致性与最优速率要求 s′_n = O(pn)，即非零非对角元素的数量必须随维度缓慢增长。
• SCAD 与硬阈值惩罚不对 s′_n 施加相同限制，允许更高的非稀疏率而不损失稀疏一致性。
• L1 惩罚估计量的偏差被显式推导，并表明其阶与估计误差相同。
• 证明表明，在温和正则性条件下，估计量可实现稀疏一致性，正确估计零参数的概率趋于 1。
• 收敛速率在对数因子内为极小极大最优，表明高维性仅对误差贡献对数级影响。