[论文解读] On the Optimal Linear Convergence Rate of a Generalized Proximal Point Algorithm

Min Tao, Xiaoming Yuan|arXiv (Cornell University)|May 18, 2016

Optimization and Variational Analysis参考文献 30被引用 3

一句话总结

本文在 Rockafellar 条件下建立了广义邻近点算法（PPA）的最优线性收敛速率，将先前结果扩展至不精确和松弛变体。证明了确保经典 PPA 线性收敛的同一条件，同样可保证广义 PPA（包括增广拉格朗日法和 ADMM 方法）的最优线性收敛，且在凸优化背景下给出了更精细、更弱的条件。

ABSTRACT

The proximal point algorithm (PPA) has been well studied in the literature. In particular, its linear convergence rate has been studied by Rockafellar in 1976 under certain condition. We consider a generalized PPA in the generic setting of finding a zero point of a maximal monotone operator, and show that the condition proposed by Rockafellar can also sufficiently ensure the linear convergence rate for this generalized PPA. Indeed we show that these linear convergence rates are optimal. Both the exact and inexact versions of this generalized PPA are discussed. The motivation to consider this generalized PPA is that it includes as special cases the relaxed versions of some splitting methods that are originated from PPA. Thus, linear convergence results of this generalized PPA can be used to better understand the convergence of some widely used algorithms in the literature. We focus on the particular convex minimization context and specify Rockafellar's condition to see how to ensure the linear convergence rate for some efficient numerical schemes, including the classical augmented Lagrangian method proposed by Hensen and Powell in 1969 and its relaxed version, the original alternating direction method of multipliers (ADMM) by Glowinski and Marrocco in 1975 and its relaxed version (i.e., the generalized ADMM by Eckstein and Bertsekas in 1992). Some refined conditions weaker than existing ones are proposed in these particular contexts.

研究动机与目标

• 将 Rockafellar（1976）关于经典 PPA 的线性收敛条件扩展至广义 PPA 框架，用于寻找极大单调算子的零点。
• 在与原始 PPA 相同的条件下，建立广义 PPA 的精确与不精确版本的线性收敛性。
• 将广义 PPA 应用于凸优化问题，特别是增广拉格朗日法（ALM）和交替方向乘子法（ADMM），并推导出更精细的收敛条件。
• 证明该收敛条件是最优的，且弱于文献中已知的 ALM 和 ADMM 变体的条件。
• 在单一理论框架下统一分析主要的分裂算子方法（包括 ALM、ADMM 及其松弛版本）的收敛性。

提出的方法

• 将广义 PPA 表述为 $ z^{k+1} = J_{c_k T}(z^k) $，其中 $ T $ 为极大单调算子，$ c_k $ 为邻近参数。
• 分析广义 PPA 的精确与不精确版本，其中不精确性通过相对误差容差进行控制。
• 应用 Rockafellar（1976）的条件——即 $ T^{-1} $ 在 0 处为利普希茨连续——以确保线性收敛。
• 利用预解算子理论和度量次正则性建立收敛速率，特别关注算子 $ S_{\lambda,\mathcal{A},\mathcal{B}} $ 的逆。
• 通过将一般框架特化为 ALM 和 ADMM，推导出凸最小化问题中线性收敛的具体条件。
• 将广义 ADMM 视为广义 PPA 的特例，证明在弱化假设下，原始变量 $ \{x^k\} $ 和对偶变量 $ \{p^k\} $ 以及 $ \{Mx^k\} $ 均具有 R-线性收敛性。

实验结果

研究问题

• RQ1 Rockafellar 关于经典 PPA 的线性收敛条件能否扩展至具有不精确子问题的广义 PPA 框架？
• RQ2 广义 PPA 的线性收敛最弱充分条件是什么，特别是在凸优化设置下？
• RQ3 广义 PPA 的收敛结果如何应用于 ALM 和 ADMM 等广泛使用的方法？
• RQ4 本文的收敛条件是否最优？与文献中已知条件相比如何？
• RQ5 广义 PPA 框架能否统一 ALM、ADMM 及其松弛变体等多重分裂方法的收敛性分析？

主要发现

• 在不精确子问题下，广义 PPA 在与经典 PPA 相同的条件下实现线性收敛——即 $ T^{-1} $ 在 0 处为利普希茨连续。
• 所建立的线性收敛速率是最优的，意味着在相同假设下无法保证更快的收敛速率。
• 对于增广拉格朗日法（ALM），本文给出的线性收敛条件弱于以往已知条件，尤其当 $ f $ 为强凸函数且 $ \nabla f $ 为利普希茨连续时。
• 对于广义 ADMM，本文证明了在 $ M $ 满列秩的条件下，原始变量 $ \{x^k\} $、对偶变量 $ \{p^k\} $ 以及 $ \{Mx^k\} $ 均具有 R-线性收敛性。
• 证明 $ S_{\lambda,\mathcal{A},\mathcal{B}}^{-1} $ 在 0 处为利普希茨连续的条件弱于文献中现有假设，例如 [9] 和 [8] 中的条件。
• 该框架统一了 ALM、ADMM、Douglas-Rachford、Peaceman-Rachford 及其广义版本的收敛性分析，为其线性收敛提供了统一的理论基础。