[论文解读] On the Optimal Ergodic Sublinear Convergence Rate of the Relaxed Proximal Point Algorithm for Variational Inequalities

Guoyong Gu, Junfeng Yang|arXiv (Cornell University)|May 15, 2019

Optimization and Variational Analysis参考文献 27被引用 4

一句话总结

本文利用性能评估框架，为求解单调变分不等式问题的松弛近端点算法（RPPA）建立了最优的遍历次线性收敛速率。证明了最坏情况下的收敛速率恰好为 $\frac{1}{2(\lambda N + 2)}$，该结果与数值计算得到的上界以及构造出的下界完全一致，从而在阶和常数两方面均证实了其最优性。

ABSTRACT

This paper investigates the optimal ergodic sublinear convergence rate of the relaxed proximal point algorithm for solving monotone variational inequality problems. The exact worst case convergence rate is computed using the performance estimation framework. It is observed that, as the number of iterations getting larger, this numerical rate asymptotically coincides with an existing sublinear rate, whose optimality is unknown. This hints that, without further assumptions, sublinear convergence rate is likely the best achievable rate. A concrete example is constructed, which provides a lower bound for the exact worst case convergence rate. Amazingly, this lower bound coincides with the exact worst case bound computed via the performance estimation framework. This observation motivates us to conjecture that the lower bound provided by the example is exactly the worse case iteration bound, which is then verified theoretically. We thus have established an ergodic sublinear convergence rate that is optimal in terms of both the order of the sublinear rate and all the constants involved.

研究动机与目标

• 确定松弛近端点算法（RPPA）在单调变分不等式问题中的精确最坏情况收敛速率。
• 通过性能评估框架，弥合现有理论次线性界与数值计算得到的最坏情况速率之间的差距。
• 构造一个具体实例，提供最坏情况收敛速率的下界，以验证最优性。
• 建立子线性速率 $\frac{1}{2(\lambda N + 2)}$ 在阶和常数两方面均为最优，确认界值的紧致性。

提出的方法

• 应用性能评估框架，计算RPPA在单调变分不等式问题中的精确最坏情况收敛速率。
• 采用非凸二次矩阵问题的表述形式，经松弛与对偶化处理，推导最坏情况性能的上界。
• 通过凸插值技术，将性能评估问题转化为半定规划问题。
• 构造一个具有单调连续映射 $F$ 和凸集 $\Omega$ 的具体实例，推导最坏情况收敛速率的下界。
• 运用代数恒等变形与不等式（柯西-施瓦茨不等式、三角不等式）将遍历迭代误差以 $\|w - w_0\|_H^2$ 的形式进行有界控制。
• 证明所推导的下界与数值计算得到的上界完全一致，从而完成最优性证明。

实验结果

研究问题

• RQ1 松弛PPA在单调变分不等式问题中的精确最坏情况遍历次线性收敛速率是多少？
• RQ2 通过性能评估框架数值计算得到的最坏情况速率是否与理论下界一致？
• RQ3 所构造的实例能否提供一个与性能评估上界完全匹配的下界，从而暗示最优性？
• RQ4 子线性收敛速率 $\frac{1}{2(\lambda N + 2)}$ 在阶和常数两方面是否均为最优？
• RQ5 性能评估框架是否可在无需额外假设的条件下，为RPPA建立紧致的、非渐近的收敛界？

主要发现

• 松弛PPA在单调变分不等式问题中的精确最坏情况收敛速率为 $\varepsilon^*(N) = \frac{1}{2(\lambda N + 2)}$。
• 性能评估框架所得的数值最坏情况界与已知的理论次线性速率在渐近意义下完全一致。
• 所构造的实例提供了最坏情况收敛速率的下界，该下界与性能评估框架所得的上界完全匹配。
• 该匹配关系导致理论证明：$\frac{1}{2(\lambda N + 2)}$ 是在阶和常数两方面均最优的遍历次线性收敛速率。
• 该界值从经典形式 $\frac{1}{2\lambda(N+1)}$ 改进为 $\frac{1}{2\lambda N + 4}$，消除了原有间隙，实现了紧致性。
• 结果表明，在不附加额外假设的前提下，该设置下子线性收敛是松弛PPA可达到的最佳收敛速率。