[论文解读] Two New Algorithms for Solving Covariance Graphical Lasso Based on Coordinate Descent and ECM

Hao Wang|arXiv (Cornell University)|May 18, 2012

Statistical Methods and Inference参考文献 3被引用 3

一句话总结

本文提出了两种新算法——坐标下降法和ECM算法，用于求解协方差图lasso问题，该问题通过L1惩罚项估计稀疏协方差矩阵，以识别边际独立结构。与Bien & Tibshirani（2011）提出的现有算法相比，所提方法更简单、更快且更稳定，在各种模拟设置下，实证结果表明其在速度、收敛性和稀疏性恢复方面表现更优。

ABSTRACT

Covariance graphical lasso applies a lasso penalty on the elements of the covariance matrix. This method is useful because it not only produces sparse estimation of covariance matrix but also discovers marginal independence structures by generating zeros in the covariance matrix. We propose and explore two new algorithms for solving the covariance graphical lasso problem. Our new algorithms are based on coordinate descent and ECM. We show that these two algorithms are more attractive than the only existing competing algorithm of Bien and Tibshirani (2011) in terms of simplicity, speed and stability. We also discuss convergence properties of our algorithms.

研究动机与目标

• 为解决协方差图lasso中非凸目标函数的计算挑战，该目标函数对协方差矩阵施加L1惩罚。
• 开发比Bien & Tibshirani（2011）提出的主流最小化方法更简单、更快且数值更稳定的算法。
• 实现高效估计稀疏协方差矩阵，通过非对角线元素为零揭示边际独立结构。
• 将坐标下降法与ECM算法——此前应用于其他正则化模型——扩展至非凸协方差图lasso问题。
• 提供MATLAB与R语言的开源实现，以促进广泛采用与结果可复现性。

提出的方法

• 坐标下降算法每次更新协方差矩阵的一个列和行，固定其余所有元素，利用分块矩阵求逆简化目标函数。
• ECM算法通过迭代执行期望步骤与条件最大化步骤来优化目标函数，充分利用协方差矩阵的结构。
• 两种算法均应用于非凸目标函数：在正定矩阵上最小化 log(det(Σ)) + tr(SΣ⁻¹) + ρ||Σ||₁，其中Σ为协方差矩阵，S为样本协方差矩阵。
• 坐标下降法采用基于将Σ划分为子矩阵并更新β与γ（最后一列/行及其方差）的分块优化策略。
• ECM算法在估计条件期望与在主导函数下最大化期望对数似然之间交替进行。
• 两种算法均证明具有收敛性，且坐标下降法在每一步均单调递减目标函数。

实验结果

研究问题

• RQ1 坐标下降法与ECM能否有效适配至带有L1惩罚的非凸协方差图lasso问题？
• RQ2 所提算法在速度、稳定性与收敛性方面与Bien & Tibshirani（2011）的主流最小化算法相比表现如何？
• RQ3 初始值选择（全矩阵 vs. 对角矩阵）是否显著影响估计协方差矩阵的性能与稀疏性？
• RQ4 新算法能否实现比现有方法更低的目标函数值与更优的稀疏性模式？
• RQ5 所提算法在不同样本大小与稀疏水平下的计算效率如何？

主要发现

• 在所有模拟设置下，包括L1惩罚较小、稀疏性较低的情形，坐标下降法始终获得最低的目标函数值。
• ECM算法显著快于Bien & Tibshirani（2011）的算法，在大多数情形下中位运行时间降低2至5倍。
• 在高维情形（p=200）下，坐标下降法所需CPU时间多于ECM，但其在目标函数最小化与稳定性方面仍优于基准方法。
• 初始值影响显著：对角初始矩阵产生的解比全初始矩阵更稀疏，反映出初始化对稀疏性的显著影响。
• Bien & Tibshirani（2011）的算法对初始化高度敏感，需仔细调参，常在默认设置下无法收敛或产生较差结果。
• 所提算法在数值上比基准方法更稳定，在所有测试模拟中均未出现发散或收敛失败的情况。