[论文解读] Random coordinate descent methods for $\ell_0$ regularized convex optimization

Andrei Pătraşcu, Ion Necoara|arXiv (Cornell University)|Mar 26, 2014

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出了一类用于求解 $β_0$ 正则化凸优化问题的随机块坐标下降方法，其中目标函数由一个光滑凸函数和一个 $β_0$ 正则化项组成。该文建立了在基于目标函数近似版本定义的受限类中几乎必然收敛至局部极小值的结果，并在强凸性假设下证明了概率线性收敛。

ABSTRACT

In this paper we analyze a family of general random block coordinate descent methods for the minimization of $\ell_0$ regularized optimization problems, i.e. the objective function is composed of a smooth convex function and the $\ell_0$ regularization. Our family of methods covers particular cases such as random block coordinate gradient descent and random proximal coordinate descent methods. We analyze necessary optimality conditions for this nonconvex $\ell_0$ regularized problem and devise a separation of the set of local minima into restricted classes based on approximation versions of the objective function. We provide a unified analysis of the almost sure convergence for this family of block coordinate descent algorithms and prove that, for each approximation version, the limit points are local minima from the corresponding restricted class of local minimizers. Under the strong convexity assumption, we prove linear convergence in probability for our family of methods.

研究动机与目标

• 分析 $β_0$ 正则化优化问题的一体化随机块坐标下降方法族。
• 刻画非凸 $β_0$ 正则化问题的必要最优性条件。
• 根据目标函数的近似版本，将局部极小值分类至受限类。
• 建立算法在对应受限类中几乎必然收敛至局部极小值的结果。
• 在强凸性假设下证明概率线性收敛性。

提出的方法

• 该方法在变量块上采用随机块坐标下降，推广了随机梯度下降和近端坐标下降方法。
• 利用 $β_0$ 正则化项的近似版本来定义局部极小值的受限类。
• 算法每次仅更新一个变量块，使用由目标函数梯度或近端算子导出的下降方向。
• 收敛性分析依赖于构造一个类似李雅普诺夫的函数，并分析在随机块选择下的迭代行为。
• 通过区分 $β_0$ 范数的不同近似层次来定义局部极小值的受限类。
• 假设强凸性，以推导出迭代序列的概率线性收敛性。

实验结果

研究问题

• RQ1 非凸 $β_0$ 正则化优化问题的必要最优性条件是什么？
• RQ2 如何基于目标函数的近似对局部极小值进行分类？
• RQ3 所提出的随机块坐标下降方法是否在受限类中几乎必然收敛至局部极小值？
• RQ4 在何种条件下该方法能实现概率线性收敛？
• RQ5 目标函数的近似版本如何影响收敛行为以及极限点的性质？

主要发现

• 所提出的随机块坐标下降方法几乎必然收敛至由目标函数近似版本定义的受限类中的局部极小值。
• 迭代序列的极限点在每个近似层次对应的受限类中被保证为局部极小值。
• 在强凸性假设下，该方法实现了概率线性收敛。
• 该分析将现有的随机块坐标梯度下降和随机近端坐标下降方法统一于同一框架之下。
• 将局部极小值分类至受限类，为非凸 $β_0$-正则化问题中的收敛行为提供了更精细的理解。
• 收敛结果的建立不依赖于全局凸性，使得该方法适用于更广泛的非凸问题类别。