[论文解读] Sparse Inverse Covariance Matrix Estimation Using Quadratic Approximation

Cho‐Jui Hsieh, Mátyás A. Sustik+2 more|arXiv (Cornell University)|Jun 13, 2013

Sparse and Compressive Sensing Techniques参考文献 24被引用 280

一句话总结

本文提出QUIC，一种基于二次逼近和坐标下降的超线性收敛二阶算法，用于稀疏逆协方差矩阵估计。通过利用问题结构及动态的自由/固定变量选择，QUIC在高维稀疏问题上相比一阶方法实现了更快的收敛速度。

ABSTRACT

The L1-regularized Gaussian maximum likelihood estimator (MLE) has been shown to have strong statistical guarantees in recovering a sparse inverse covariance matrix, or alternatively the underlying graph structure of a Gaussian Markov Random Field, from very limited samples. We propose a novel algorithm for solving the resulting optimization problem which is a regularized log-determinant program. In contrast to recent state-of-the-art methods that largely use first order gradient information, our algorithm is based on Newton's method and employs a quadratic approximation, but with some modifications that leverage the structure of the sparse Gaussian MLE problem. We show that our method is superlinearly convergent, and present experimental results using synthetic and real-world application data that demonstrate the considerable improvements in performance of our method when compared to other state-of-the-art methods.

研究动机与目标

• 解决在 $ p \gg n $ 的高维设置下估计稀疏逆协方差矩阵的挑战。
• 克服在高斯图模型的大型对数行列式规划中一阶方法收敛缓慢的问题。
• 开发一种二阶优化方法，实现超线性收敛的同时保持计算效率。
• 利用解中的结构稀疏性，加速收敛，而无需显式矩阵分解。
• 通过基于Armijo规则的线搜索和Hessian近似，确保正定性与充分下降。

提出的方法

• 将 $ \ell_1 $-正则化高斯MLE表述为带有负对数似然二次逼近的对数行列式规划。
• 使用Hessian近似进行牛顿法，保持强凸性并确保收敛到正定解。
• 通过坐标下降计算牛顿方向，通过缓存中间计算结果，将每次更新的复杂度优化至 $ O(p) $。
• 根据最优性系统的平稳条件，动态维护一个待更新的自由变量集和一个保持恒定的固定变量集。
• 应用Armijo规则进行线搜索，以保证充分下降并维持迭代过程的正定性。
• 通过自由/固定集合选择隐式利用阈值样本协方差矩阵中的块对角结构，避免显式分解。

实验结果

研究问题

• RQ1 在高维约束下，二阶方法是否能在稀疏逆协方差估计中实现超线性收敛？
• RQ2 在大规模对数行列式问题中，如何高效计算基于Hessian的更新，而无需承担 $ O(p^3) $ 的开销？
• RQ3 动态变量选择（自由/固定集合）在多大程度上能利用解中的结构稀疏性以加速收敛？
• RQ4 当真实逆协方差为稀疏或分块对角时，该算法相对于一阶方法的表现如何？
• RQ5 在二次逼近中，该算法是否能在不显式强制正定锥约束的情况下，仍保持收敛保证与正定性？

主要发现

• QUIC实现了超线性收敛，在迭代次数和运行时间上显著优于坐标下降和近端梯度方法等一阶方法。
• 在Hereditarybc数据集上，单次迭代中自由集的大小从超过340万个变量减少至不足12万个，展示了快速的稀疏性利用能力。
• 在 $ \lambda $ 较大（解稀疏）时，QUIC在高维数据上比内点法（IPM）和近端梯度法（PSM）收敛更快，尤其在大规模问题中优势明显。
• 当阈值协方差矩阵为分块对角时，QUIC能自动识别并利用该结构，即使未显式执行分解，也能保持高效性。
• 在具有分块对角结构的合成实验中，QUIC在连通分量数量减少时仍保持高效，而glasso因缺乏结构利用而性能急剧下降。
• 对于 $ \lambda = 0.011 $（解为稠密且不可分解），QUIC仍优于glasso，因其能够固定稀疏的非对角元素，从而减少更新中的活跃变量数。