[论文解读] Projected Subgradient Methods for Learning Sparse Gaussians

John C. Duchi, Stephen J. Gould+1 more|arXiv (Cornell University)|Jun 13, 2012

Gene expression and cancer classification参考文献 22被引用 129

一句话总结

本文提出一种投影次梯度方法，通过在精度矩阵上施加l1-正则化，实现稀疏高斯马尔可夫随机场（GMRFs）的高效学习，从而支持高维推断。该方法在实践中收敛更快，且达到最优的渐近复杂度，同时自然地扩展至块状稀疏性，在生物和图像建模任务中表现出更优的泛化性能。

ABSTRACT

Gaussian Markov random fields (GMRFs) are useful in a broad range of applications. In this paper we tackle the problem of learning a sparse GMRF in a high-dimensional space. Our approach uses the l1-norm as a regularization on the inverse covariance matrix. We utilize a novel projected gradient method, which is faster than previous methods in practice and equal to the best performing of these in asymptotic complexity. We also extend the l1-regularized objective to the problem of sparsifying entire blocks within the inverse covariance matrix. Our methods generalize fairly easily to this case, while other methods do not. We demonstrate that our extensions give better generalization performance on two real domains--biological network analysis and a 2D-shape modeling image task.

研究动机与目标

• 解决在高维设置下学习稀疏高斯马尔可夫随机场（GMRFs）的挑战。
• 开发一种可扩展的优化方法，高效处理l1-正则化精度矩阵估计问题。
• 将方法扩展至精度矩阵中的块状稀疏性，以提升建模灵活性。
• 在真实世界的生物网络和图像建模任务中展示优越的性能和泛化能力。
• 提供一种在高维设置下兼具计算效率和理论严谨性的方法。

提出的方法

• 该方法采用投影次梯度算法，求解稀疏GMRFs的l1-正则化最大似然估计问题。
• 在每一步迭代中，将迭代点投影到正定锥上，以保持有效的协方差矩阵。
• 通过l1-范数的次梯度，强制精度矩阵中的稀疏性。
• 通过在精度矩阵的整个块上施加正则化，将方法扩展至处理块状稀疏性。
• 优化框架设计为可扩展，并保持较低的每轮迭代成本，适用于高维数据。
• 该方法可轻松推广至结构化稀疏模式，而不同于许多先前的方法。

实验结果

研究问题

• RQ1 投影次梯度方法是否能在学习稀疏GMRFs时实现比现有方法更快的收敛速度？
• RQ2 在高维设置下，对精度矩阵施加l1-正则化是否能带来更好的稀疏性和泛化性能？
• RQ3 该方法是否能自然地扩展至精度矩阵中的块状稀疏性？
• RQ4 与现有方法相比，该方法在真实世界的生物网络和图像建模任务中的表现如何？
• RQ5 所提出的方法是否在计算效率和渐近复杂度上均达到最优？

主要发现

• 尽管渐近复杂度相似，投影次梯度方法在实践中实现了比先前方法更快的收敛速度。
• 该方法达到了已知最优的渐近收敛速率，证实了其理论最优性。
• 扩展至块状稀疏性后，生物网络分析任务中的泛化性能得到提升。
• 该块结构方法在2D形状建模图像任务中也表现出更优的性能。
• 与竞争方法相比，该方法在结构化稀疏性上的泛化能力更强，后者通常无法超越逐元素正则化。
• 实证结果证实了该方法在真实世界数据集上的有效性，表现出鲁棒性和可扩展性。