[论文解读] Optimization Methods for Sparse Pseudo-Likelihood Graphical Model Selection

Sang Min Oh, Onkar Dalal+2 more|arXiv (Cornell University)|Sep 12, 2014

Sparse and Compressive Sensing Techniques参考文献 10被引用 19

一句话总结

该论文提出了 CONCORD-ISTA 和 CONCORD-FISTA 两种近端梯度方法，用于在非高斯图形模型中通过凸伪似然框架进行稀疏精度矩阵估计。这些方法在速度上显著优于坐标逐次最小化方法——实现了数量级的提升——同时确保了与已知收敛速率一致的收敛性，为超越高斯假设的非高斯偏相关图估计提供了最快且最可扩展的解决方案。

ABSTRACT

Sparse high dimensional graphical model selection is a popular topic in contemporary machine learning. To this end, various useful approaches have been proposed in the context of $\ell_1$-penalized estimation in the Gaussian framework. Though many of these inverse covariance estimation approaches are demonstrably scalable and have leveraged recent advances in convex optimization, they still depend on the Gaussian functional form. To address this gap, a convex pseudo-likelihood based partial correlation graph estimation method (CONCORD) has been recently proposed. This method uses coordinate-wise minimization of a regression based pseudo-likelihood, and has been shown to have robust model selection properties in comparison with the Gaussian approach. In direct contrast to the parallel work in the Gaussian setting however, this new convex pseudo-likelihood framework has not leveraged the extensive array of methods that have been proposed in the machine learning literature for convex optimization. In this paper, we address this crucial gap by proposing two proximal gradient methods (CONCORD-ISTA and CONCORD-FISTA) for performing $\ell_1$-regularized inverse covariance matrix estimation in the pseudo-likelihood framework. We present timing comparisons with coordinate-wise minimization and demonstrate that our approach yields tremendous payoffs for $\ell_1$-penalized partial correlation graph estimation outside the Gaussian setting, thus yielding the fastest and most scalable approach for such problems. We undertake a theoretical analysis of our approach and rigorously demonstrate convergence, and also derive rates thereof.

研究动机与目标

• 解决在非高斯伪似然框架下稀疏图形模型选择中缺乏先进优化方法的问题。
• 将此前仅用于高斯设定的现代近端梯度技术扩展至 CONCORD 凸伪似然方法，以实现稳健的非高斯偏相关估计。
• 为所提出的近端方法在非高斯设定下的理论收敛速率提供理论保证。
• 在合成数据和真实世界数据集上，展示相对于现有坐标逐次最小化方法的显著计算加速性能。
• 通过凸优化方法，对非高斯图形模型选择提供全面且自包含的处理方式。

提出的方法

• 提出 CONCORD-ISTA 和 CONCORD-FISTA 作为近端梯度方法，用于最小化 CONCORD 目标函数，该函数是基于偏相关性的凸伪似然公式。
• 采用基于 ℓ₁-范数次梯度导出的软阈值算子的迭代更新，并使用回溯线搜索法选择步长。
• 采用 CONCORD 问题的对偶形式，以支持替代优化策略和收敛性分析。
• 推导出 CONCORD-ISTA 和 CONCORD-FISTA 的收敛速率，证明其分别具有全局收敛性，收敛速率分别为 O(1/k) 和 O(1/k²)。
• 通过利用伪似然结构和坐标逐次更新规则作为对比基线，将方法应用于高维数据。
• 在合成数据和真实世界数据集（如乳腺癌基因表达数据）上验证性能，数据维度为 p=4433，样本量满足 n≪p。

实验结果

研究问题

• RQ1 近端梯度方法能否被有效适配至非高斯 CONCORD 伪似然框架，以实现稀疏精度矩阵估计？
• RQ2 在非高斯设定下，CONCORD-ISTA 和 CONCORD-FISTA 的理论收敛速率可否被建立？
• RQ3 所提出的近端方法在计算效率上与 CONCORD 中使用的标准坐标逐次最小化方法相比如何？
• RQ4 在非高斯、高维且含异常值的现实世界数据上，新方法是否能保持稳健的模型选择性能？
• RQ5 能否利用 CONCORD 问题的对偶形式来提升优化性能和理论分析？

主要发现

• CONCORD-ISTA 和 CONCORD-FISTA 分别实现了 O(1/k) 和 O(1/k²) 的收敛速率，为非高斯伪似然优化提供了理论保证。
• 在 p=5000 的合成数据上，CONCORD-ISTA 的运行时间相比坐标逐次最小化方法最多减少了 10 倍，且加速效果随维度增加而增强。
• 在乳腺癌数据集（p=4433）上，ccista_1（CONCORD-ISTA 的变体）在测试的 9 个 λ 值中有 8 个表现最快，优于标准 CONCORD 方法。
• 对于 λ=0.800（0.002 NZ%），CONCORD-ISTA 将运行时间从坐标逐次方法的 193.6 秒减少至 92.2 秒，提速达 52%。
• 在高维设定（p=5000）下，CONCORD-ISTA 相比坐标逐次最小化方法实现了超过 10 倍的加速，展现出数量级的性能提升。
• 所提出的方法在非高斯、高维及 n≪p 数据上保持了稳健性和模型选择准确性，经真实生物数据集验证有效。