[论文解读] On the Q-linear convergence of forward-backward splitting method and uniqueness of optimal solution to Lasso

Yunier Bello-Cruz, G. Li+1 more|arXiv (Cornell University)|Jun 17, 2018

Sparse and Compressive Sensing Techniques参考文献 24被引用 4

一句话总结

该论文在不假设梯度全局Lipschitz连续性的前提下，建立了Beck-Teboulle线搜索策略下前向-后向分裂法在凸非光滑优化中的Q线性收敛性。此外，通过二阶变分分析与约束正规性，提出了Lasso问题最优解唯一性的新型可验证刻画。

ABSTRACT

In this paper, by using tools of second-order variational analysis, we study the popular forward-backward splitting method with Beck-Teboulle's line-search for solving convex optimization problem where the objective function can be split into the sum of a differentiable function and a possible nonsmooth function. We first establish that this method exhibits global convergence to an optimal solution of the problem (if it exists) without the usual assumption that the gradient of the differentiable function involved is globally Lipschitz continuous. We also obtain the $o(k^{-1})$ complexity for the functional value sequence when this usual assumption is weaken from global Lipschitz continuity to local Lipschitz continuity, improving the existing $\mathcal{O}(k^{-1})$ complexity result. We then derive the local and global Q-linear convergence of the method in terms of both the function value sequence and the iterative sequence, under a general metric subregularity assumption which is automatically satisfied for convex piecewise-linear-quadratic optimization problems. In particular, we provide verifiable sufficient conditions for metric subregularity assumptions, and so, local and global Q-linear convergence of the proposed method for broad structured optimization problems arise in machine learning and signal processing including Poisson linear inverse problem, the partly smooth optimization problems, as well as the $\ell_1$-regularized optimization problems. Our results complement the current literature by providing $Q$-linear convergence result to the forward-backward splitting method under weaker assumptions. Moreover, via this approach, we obtain several full characterizations for the uniqueness of optimal solution to Lasso problem, which covers some recent results in this direction.

研究动机与目标

• 在比以往更弱的梯度连续性假设下，建立前向-后向分裂法的全局收敛性与改进的迭代复杂度。
• 通过次微分的度量次正则性，推导出迭代序列与目标值序列的Q线性收敛性。
• 为机器学习与信号处理中常见的结构化问题，提供新型可验证的线性收敛充分条件。
• 利用二阶变分分析，对Lasso问题最优解的唯一性提供完整的刻画。
• 将分析结果推广至更广泛的优化问题类别，包括泊松反问题与核范数正则化问题。

提出的方法

• 采用Beck-Teboulle的线搜索策略，避免对梯度全局Lipschitz连续性的依赖。
• 应用二阶变分分析工具，分析次微分的度量次正则性与二阶增长条件。
• 在一般度量次正则性假设下建立Q线性收敛性，该假设对凸分段线性二次问题自动成立。
• 为Lasso、泊松反问题与部分光滑优化等结构化问题，推导出度量次正则性的可验证条件。
• 在前向-后向迭代中使用近端算子：$ x^{k+1} = \text{prox}_{\alpha_k g}(x^k - \alpha_k \nabla f(x^k)) $，并采用自适应步长选择。
• 将Lasso解的唯一性与次微分的度量次正则性及二阶增长联系起来，从而导出新的刻画。

实验结果

研究问题

• RQ1 在不假设梯度全局Lipschitz连续性的前提下，前向-后向分裂法结合Beck-Teboulle线搜索在何种条件下能实现全局收敛？
• RQ2 当仅假设梯度局部Lipschitz连续时，迭代复杂度能否提升至$ o(k^{-1}) $？
• RQ3 在函数值与迭代序列两方面，何种条件可保证前向-后向方法的Q线性收敛？
• RQ4 如何利用变分分析对Lasso问题最优解的唯一性进行完整刻画？
• RQ5 次微分的度量次正则性与Lasso解的唯一性之间存在何种关系？

主要发现

• 在不假设光滑部分梯度全局Lipschitz连续的前提下，结合Beck-Teboulle线搜索的前向-后向分裂法可全局收敛至最优解。
• 当梯度仅满足局部Lipschitz连续时，目标函数值序列的收敛速率提升至$ o(k^{-1}) $，优于标准的$ \mathcal{O}(k^{-1}) $复杂度。
• 在一般度量次正则性假设下，目标值序列与迭代序列的Q线性收敛性得以建立，且该假设对凸分段线性二次问题自动成立。
• 推导出度量次正则性的可验证充分条件，从而实现对Lasso、泊松反问题与部分光滑优化等广泛问题类的Q线性收敛。
• 本文提供了Lasso问题最优解唯一性的多个新型完整刻画，拓展并统一了近期研究成果。
• 通过二阶变分分析揭示，Lasso解的唯一性等价于解处次微分的强度量次正则性，从而提供了更深层次的理论理解。