[论文解读] Perturbation techniques for convergence analysis of proximal gradient method and other first-order algorithms via variational analysis

Xiangfeng Wang, Jane J. Ye+3 more|arXiv (Cornell University)|Oct 23, 2018

Sparse and Compressive Sensing Techniques参考文献 42被引用 7

一句话总结

本文提出了一种基于变分分析的新型扰动技术，用于建立梯度类一阶方法（如近端梯度（PG）方法、ADMM 和 PDHG）的线性收敛性。通过将连续迭代之间的差异建模为扰动，证明了诱导集值映射的平稳性与驻点值的局部适当分离性可推出线性收敛性，从而在非凸与非光滑设置下提供了可验证的收敛条件。

ABSTRACT

We develop new perturbation techniques for conducting convergence analysis of various first-order algorithms for a class of nonsmooth optimization problems. We consider the iteration scheme of an algorithm to construct a perturbed stationary point set-valued map, and define the perturbing parameter by the difference of two consecutive iterates. Then, we show that the calmness condition of the induced set-valued map, together with a local version of the proper separation of stationary value condition, is a sufficient condition to ensure the linear convergence of the algorithm. The equivalence of the calmness condition to the one for the canonically perturbed stationary point set-valued map is proved, and this equivalence allows us to derive some sufficient conditions for calmness by using some recent developments in variational analysis. These sufficient conditions are different from existing results (especially, those error-bound-based ones) in that they can be easily verified for many concrete application models. Our analysis is focused on the fundamental proximal gradient (PG) method, and it enables us to show that any accumulation of the sequence generated by the PG method must be a stationary point in terms of the proximal subdifferential, instead of the limiting subdifferential. This result finds the surprising fact that the solution quality found by the PG method is in general superior. Our analysis also leads to some improvement for the linear convergence results of the PG method in the convex case. The new perturbation technique can be conveniently used to derive linear rate convergence of a number of other first-order methods including the well-known alternating direction method of multipliers and primal-dual hybrid gradient method, under mild assumptions.

研究动机与目标

• 开发一种统一的收敛性分析框架，用于非凸与非光滑优化中的梯度类一阶算法。
• 填补在非凸性条件下验证 PG、ADMM 和 PDHG 等算法线性收敛速率的空白。
• 通过扰动技术，以更易验证的平稳性条件替代基于误差界（error-bound）的条件。
• 证明 PG 迭代收敛到近端次微分驻点，其解质量优于极限次微分点。
• 将分析扩展至 ADMM 和 PDHG，基于温和且可验证的假设建立其线性收敛性。

提出的方法

• 利用连续迭代之间的差值作为扰动参数，定义一个带扰动的驻点集值映射。
• 通过证明扰动映射的平稳性与驻点值的局部适当分离性可确保线性收敛，从而建立线性收敛性。
• 证明所提出的扰动与 KKT 映射的标准扰动等价，从而可应用近期的变分分析工具。
• 将该技术应用于近端梯度方法，证明其累积点为近端次微分驻点。
• 通过引入与各自迭代结构相匹配的问题特异性扰动，将该框架扩展至 ADMM 和 PDHG。
• 利用所得扰动 KKT 映射的平稳性，推导出不依赖误差界假设的线性收敛速率。

实验结果

研究问题

• RQ1 能否开发一种新型扰动技术，以分析非凸与非光滑设置下一阶方法的线性收敛性？
• RQ2 扰动驻点映射的平稳性与 PG 方法线性收敛性之间有何关系？
• RQ3 与传统的基于误差界的分析方法相比，该方法是否能更简便地验证收敛条件？
• RQ4 当通过近端次微分而非极限次微分分析时，PG 方法是否收敛到更优的解质量？
• RQ5 该扰动框架能否扩展至 ADMM 和 PDHG，以在温和假设下建立其线性收敛性？

主要发现

• 所提出的扰动技术在诱导集值映射的平稳性与驻点值的局部适当分离性条件下，建立了 PG 方法的线性收敛性。
• 该方法表明，PG 迭代的任意累积点均为近端次微分驻点，其作为解概念比极限次微分更强，且通常更优。
• 平稳性条件与 KKT 映射的标准扰动等价，从而可应用现代变分分析工具进行验证。
• 该框架提供了可验证的平稳性充分条件，相较于现有基于误差界的方法更易检验。
• 该技术成功扩展至 ADMM 和 PDHG，在问题特异性扰动下，基于温和假设确保了线性收敛性。
• 与现有凸情形下 PG 方法的线性收敛结果相比，该分析提供了更严格、更通用的条件。