[论文解读] Optimal Nonergodic Sublinear Convergence Rate of Proximal Point Algorithm for Maximal Monotone Inclusion Problems

Guoyong Gu, Junfeng Yang|arXiv (Cornell University)|Apr 11, 2019

Sparse and Compressive Sensing Techniques参考文献 33被引用 6

一句话总结

本文在至少二维的有限维欧几里得空间中，建立了近似点算法（PPA）求解极大单调包含问题的精确最优非遍历次线性收敛速率。通过性能估计框架建模最坏情况收敛速率，并将其重新表述为半定规划（SDP），作者通过构造一个对偶可行解得到了紧致上界，并通过一个二维例子精确匹配该上界，从而得出精确收敛速率 $\frac{1}{(1 + \frac{1}{N})^N (N+1)}$。

ABSTRACT

We establish the optimal nonergodic sublinear convergence rate of the proximal point algorithm for maximal monotone inclusion problems. First, the optimal bound is formulated by the performance estimation framework, resulting in an infinite dimensional nonconvex optimization problem, which is then equivalently reformulated as a finite dimensional semidefinite programming (SDP) problem. By constructing a feasible solution to the dual SDP, we obtain an upper bound on the optimal nonergodic sublinear rate. Finally, an example in two dimensional space is constructed to provide a lower bound on the optimal nonergodic sublinear rate. Since the lower bound provided by the example matches exactly the upper bound obtained by the dual SDP, we have thus established the worst case nonergodic sublinear convergence rate which is optimal in terms of both the order as well as the constants involved. Our result sharpens the understanding of the fundamental proximal point algorithm.

研究动机与目标

• 确定近似点算法（PPA）求解极大单调包含问题的精确最坏情况非遍历次线性收敛速率。
• 通过建立紧致的上界与下界，弥合已知上界与真实最坏情况速率之间的差距。
• 通过构造性例子证明，已知的 $O(1/N)$ 收敛速率不仅在阶次上最优，而且在常数因子上也最优，从而精确确定常数。
• 将性能估计框架（PEP）应用于无限维非凸优化问题，将其重新表述为有限维半定规划（SDP）。

提出的方法

• 将性能估计框架应用于建模 PPA 的最坏情况收敛速率，将其表示为无限维非凸优化问题。
• 利用 PEP 方法论，将无限维问题等价地重新表述为有限维凸半定规划（SDP）。
• 通过显式构造 SDP 的对偶可行解，推导出最优收敛速率的上界。
• 构造一个二维例子，其中 PPA 迭代满足算法框架，且固定点残差达到推导出的上界。
• 证明该例子具有 ${\cal M}$-可插值性，确认所构造的算子为极大单调算子，且迭代遵循 PPA 动力学。
• 在该例子中显式计算固定点残差，得出的收敛速率与上界完全一致，从而证明了最优性。

实验结果

研究问题

• RQ1 在维度 $n \geq 2$ 的情况下，近似点算法求解极大单调包含问题的精确最坏情况非遍历次线性收敛速率是什么？
• RQ2 已知的 $O(1/N)$ 收敛速率能否在常数因子上进一步收紧？若能，最优常数是多少？
• RQ3 性能估计框架是否能够在缺乏正则性假设的情况下，为非遍历 PPA 生成精确的最坏情况界？
• RQ4 能否构造一个二维例子，使其达到由对偶 SDP 推导出的上界，从而证明最优性？
• RQ5 该界 $\frac{1}{(1 + \frac{1}{N})^N (N+1)}$ 是否在阶次与常数因子上均代表 PPA 可能的最紧收敛速率？

主要发现

• 在 $\mathbb{R}^n$（$n \geq 2$）中，近似点算法求解极大单调包含问题的精确最坏情况非遍历次线性收敛速率为 $\frac{1}{(1 + \frac{1}{N})^N (N+1)}$，其中 $N$ 为迭代次数。
• 该速率在收敛阶次与常数因子上均达到最优，由上下界完全匹配所证实。
• 上界通过半定规划（SDP）性能估计问题的对偶可行解推导得出。
• 下界由一个涉及旋转型单调算子 $A(w) = \tan(\theta) \begin{pmatrix} 0 & 1 \\ -1 & 0 \end{pmatrix} w$ 的二维例子实现，该算子满足所有 PPA 动力学与单调性条件。
• 所构造的例子确认了上界在阶次与常数因子上均不可改进，从而证明了精确的最坏情况收敛速率。
• 该结果相比先前的 $O(1/N)$ 界改进了 $\exp(-1)$ 倍，消除了已知界与真实最坏情况速率之间的差距。