[论文解读] Smoothing Proximal Gradient Method for General Structured Sparse Learning

Xi Chen, Qihang Lin+3 more|arXiv (Cornell University)|Feb 14, 2012

Sparse and Compressive Sensing Techniques参考文献 23被引用 80

一句话总结

本文提出了一种平滑近端梯度方法，以高效求解具有非可分惩罚项（如重叠组lasso和图引导融合）的结构化稀疏学习问题。通过利用Nesterov的平滑技术，该方法在收敛速度上优于次梯度方法，在可扩展性上优于内点法，在具有结构化稀疏性的高维回归任务中表现出色。

ABSTRACT

We study the problem of learning high dimensional regression models regularized by a structured-sparsity-inducing penalty that encodes prior structural information on either input or output sides. We consider two widely adopted types of such penalties as our motivating examples: 1) overlapping group lasso penalty, based on the l1/l2 mixed-norm penalty, and 2) graph-guided fusion penalty. For both types of penalties, due to their non-separability, developing an efficient optimization method has remained a challenging problem. In this paper, we propose a general optimization approach, called smoothing proximal gradient method, which can solve the structured sparse regression problems with a smooth convex loss and a wide spectrum of structured-sparsity-inducing penalties. Our approach is based on a general smoothing technique of Nesterov. It achieves a convergence rate faster than the standard first-order method, subgradient method, and is much more scalable than the most widely used interior-point method. Numerical results are reported to demonstrate the efficiency and scalability of the proposed method.

研究动机与目标

• 解决由非可分结构化稀疏性诱导惩罚项正则化的高维回归模型的优化挑战。
• 开发一种适用于广泛结构化稀疏性惩罚项的可扩展且高效的优化框架。
• 克服次梯度方法（收敛速度慢）和内点方法（可扩展性差）在结构化稀疏学习中的局限性。
• 在输入或输出变量具有先验结构信息时，实现有效学习。
• 提供一种通用的优化方法，适用于光滑凸损失函数和多种结构化惩罚项。

提出的方法

• 该方法采用Nesterov的平滑技术来近似非光滑的结构化惩罚项，从而实现基于梯度的优化。
• 通过将平滑技术与近端梯度下降结合，处理目标函数中的非光滑部分。
• 该方法将原始的非光滑问题转化为一系列可高效求解的光滑子问题。
• 采用线搜索策略自适应调整步长，确保收敛性和稳定性。
• 该算法适用于重叠组lasso和图引导融合惩罚项。
• 对于光滑凸问题，该方法实现了最优的收敛速率 O(1/k²)，优于标准次梯度方法。

实验结果

研究问题

• RQ1 能否为具有非可分惩罚项的结构化稀疏学习开发一种通用的优化框架？
• RQ2 如何提升一阶方法在非光滑结构化稀疏性问题中的收敛速度？
• RQ3 所提出的方法能否在保持高精度的同时，实现优于内点法的可扩展性？
• RQ4 平滑近端梯度方法在收敛速率和计算效率方面是否优于标准次梯度方法？
• RQ5 该方法在不同类型的结构化稀疏性诱导惩罚项之间具有多大程度的通用性？

主要发现

• 平滑近端梯度方法实现了 O(1/k²) 的收敛速率，快于标准次梯度方法的 O(1/√k) 速率。
• 与内点法相比，该方法在可扩展性方面表现更优，能够高效求解大规模结构化稀疏学习问题。
• 数值实验表明，该方法在重叠组lasso和图引导融合问题上，收敛速度显著快于基于次梯度的方法。
• 该算法能有效处理如 l1/l2 混合范数和图结构融合等非可分惩罚项，同时保持高精度。
• 该方法在不同问题规模下均表现出鲁棒性，并在高维数据集上实现一致的性能。
• 该方法具有足够的通用性，可应用于除两个典型示例外的广泛结构化稀疏性诱导惩罚项。