[论文解读] New Analysis of Linear Convergence of Gradient-type Methods via Unifying Error Bound Conditions

Huigang Zhang|arXiv (Cornell University)|Jun 1, 2016

Sparse and Compressive Sensing Techniques参考文献 56被引用 11

一句话总结

本文提出了一种基于残差度量算子的误差界（EB）条件统一框架，实现了梯度型算法线性收敛的必要与充分EB条件的推导。该框架确立了目前已知最弱的条件，可保证梯度下降、邻近点法、前向-后向分裂法以及Nesterov加速方法等基础算法实现Q-线性收敛，即使在不假设强凸性的情况下亦成立。

ABSTRACT

This paper reveals that a common and central role, played in many error bound (EB) conditions and a variety of gradient-type methods, is a residual measure operator. On one hand, by linking this operator with other optimality measures, we define a group of abstract EB conditions, and then analyze the interplay between them; on the other hand, by using this operator as an ascent direction, we propose an abstract gradient-type method, and then derive EB conditions that are necessary and sufficient for its linear convergence. The former provides a unified framework that not only allows us to find new connections between many existing EB conditions, but also paves a way to construct new EB conditions. The latter allows us to claim the weakest conditions guaranteeing linear convergence for a number of fundamental algorithms, including the gradient method, the proximal point algorithm, and the forward-backward splitting algorithm. In addition, we show linear convergence for the proximal alternating linearized minimization algorithm under a group of equivalent EB conditions, which are strictly weaker than the traditional strongly convex condition. Moreover, by defining a new EB condition, we show Q-linear convergence of Nesterov's accelerated forward-backward algorithm without strong convexity. Finally, we verify EB conditions for a class of dual objective functions.

研究动机与目标

• 将梯度型方法收敛性分析中使用的多种分散的误差界（EB）条件统一为一个单一的抽象框架。
• 识别残差度量算子作为不同EB条件与梯度方法之间统一的核心要素。
• 为基本算法（包括非凸情形）建立线性收敛的必要与充分EB条件。
• 在弱于以往已知条件的前提下，证明Nesterov加速前向-后向算法的Q-线性收敛性。
• 利用原始-对偶结构验证对偶目标函数的EB条件，避免对共轭函数的强凸性假设。

提出的方法

• 引入一个抽象的残差度量算子作为连接最优性度量与收敛行为的核心组件。
• 基于残差度量算子定义一组抽象EB条件，并利用Kurdyka-Łojasiewicz不等式框架中的技术分析其相互作用。
• 提出一种抽象的梯度型方法，其中残差度量算子作为上升方向。
• 推导出该抽象方法线性收敛的必要与充分EB条件，该方法涵盖经典算法。
• 将该框架应用于证明Nesterov加速前向-后向算法在新提出的、更弱的EB条件下实现Q-线性收敛。
• 利用KL不等式全局化技术验证对偶目标函数的EB条件，放宽了对共轭函数的先前假设。

实验结果

研究问题

• RQ1 能否开发一个统一框架，将梯度型方法收敛性分析中使用的各种分散的误差界条件联系起来？
• RQ2 残差度量算子是否是梯度方法中同时支撑最优性条件与收敛行为的根本要素？
• RQ3 现有的线性收敛EB充分条件是否也是必要的？最弱的可能条件是什么？
• RQ4 能否在不假设强凸性的情况下，为Nesterov加速前向-后向算法建立Q-线性收敛性？
• RQ5 在不需共轭函数全局强凸性假设的前提下，对偶目标函数的EB条件在何种条件下可被验证？

主要发现

• 残差度量算子被识别为贯穿多种误差界条件与梯度型方法的统一要素。
• 定义了一组新的抽象EB条件，使新发现现有EB条件之间的联系并可构造新的EB条件成为可能。
• 首次为梯度法、邻近点算法与前向-后向分裂算法的线性收敛性推导出必要与充分EB条件。
• 证明了邻近交替线性化最小化（PALM）算法在一组等价EB条件下实现Q-线性收敛，其条件严格弱于强凸性。
• Nesterov加速前向-后向算法在新提出的、更弱的EB条件下实现Q-线性收敛，且无需强凸性假设。
• 通过原始-对偶结构验证了对偶目标函数的EB条件，仅需在某点处次微分的平稳性，而无需共轭函数的全局强凸性。