[论文解读] Sparse Matrix Inversion with Scaled Lasso

Tingni Sun, Cun‐Hui Zhang|arXiv (Cornell University)|Feb 13, 2012

Sparse and Compressive Sensing Techniques参考文献 26被引用 69

一句话总结

本文提出了一种新型稀疏矩阵求逆方法，通过列方向应用缩放Lasso来估计高维精度矩阵。该方法在比现有μat-正则化方法更弱的条件下，实现了谱范数下最快的已证明收敛速度，具备数据驱动的惩罚选择与理论保证，当μat-范数与谱范数之比发散时，收敛速度更快。

ABSTRACT

We propose a new method of learning a sparse nonnegative-definite target matrix. Our primary example of the target matrix is the inverse of a population covariance or correlation matrix. The algorithm first estimates each column of the target matrix by the scaled Lasso and then adjusts the matrix estimator to be symmetric. The penalty level of the scaled Lasso for each column is completely determined by data via convex minimization, without using cross-validation. We prove that this scaled Lasso method guarantees the fastest proven rate of convergence in the spectrum norm under conditions of weaker form than those in the existing analyses of other $\ell_1$ regularized algorithms, and has faster guaranteed rate of convergence when the ratio of the $\ell_1$ and spectrum norms of the target inverse matrix diverges to infinity. A simulation study demonstrates the computational feasibility and superb performance of the proposed method. Our analysis also provides new performance bounds for the Lasso and scaled Lasso to guarantee higher concentration of the error at a smaller threshold level than previous analyses, and to allow the use of the union bound in column-by-column applications of the scaled Lasso without an adjustment of the penalty level. In addition, the least squares estimation after the scaled Lasso selection is considered and proven to guarantee performance bounds similar to that of the scaled Lasso.

研究动机与目标

• 开发一种计算上可行且理论上最优的高维稀疏逆协方差矩阵估计方法。
• 通过在更弱假设下实现更快的收敛速度，克服现有μat-正则化方法的局限性。
• 通过凸优化推导数据驱动的惩罚水平，消除惩罚选择中对交叉验证的需求。
• 建立缩放Lasso及其后选择最小二乘法改进版本的理论性能边界。
• 实现列方向估计，并兼容并集界方法，无需调整惩罚水平。

提出的方法

• 该方法通过缩放Lasso对目标精度矩阵的每一列进行估计，缩放Lasso是回归系数与噪声方差的联合估计器。
• 每列的惩罚水平通过凸最小化数据依赖准则确定，避免使用交叉验证。
• 由此得到的非对称矩阵估计器经对称化处理，生成对称且半正定的矩阵估计。
• 理论分析基于数据的正态性假设，以及对真实精度矩阵的μat范数和谱范数的有界性。
• 该方法利用精度矩阵估计与高维线性回归之间的联系，对每一列独立应用缩放Lasso。
• 性能边界通过浓度不等式推导，并控制谱范数下的估计误差。

实验结果

研究问题

• RQ1 列方向的缩放Lasso方法是否能在谱范数下实现比现有μat-正则化方法更快的收敛速度？
• RQ2 在何种条件下，所提方法在收敛速度上优于现有方法？
• RQ3 能否通过凸优化实现的数据驱动惩罚选择替代高维精度矩阵估计中的交叉验证？
• RQ4 与标准Lasso相比，缩放Lasso是否能实现更紧密的估计误差集中？
• RQ5 在不调整惩罚水平的情况下，是否可将并集界应用于列方向的缩放Lasso，其理论保证有何影响？

主要发现

• 在比以往对μat-正则化算法分析更弱的条件下，所提方法在谱范数下实现了最快的已证明收敛速度。
• 当真实精度矩阵的μat范数与谱范数之比趋于无穷时，该方法的保证收敛速度优于现有方法。
• 与以往分析相比，缩放Lasso估计器在更小的阈值水平下实现了更高的误差集中性，提升了有限样本性能。
• 该方法允许在列方向应用中使用并集界，而无需调整惩罚水平，简化了理论分析。
• 在缩放Lasso选择后进行的最小二乘估计器，其性能边界与缩放Lasso本身相近。
• 理论结果表明，当惩罚水平超过一个数据驱动的阈值时，估计器为次优，误差下界与$c_{0}m^{3/2}L_{n}(m/p)$成正比。