[论文解读] RECAPP: Crafting a More Efficient Catalyst for Convex Optimization

Yair Carmon, Arun Jambulapati+2 more|arXiv (Cornell University)|Jun 17, 2022

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出了RECAPP，一种用于加速近端点方法的宽松误差准则，消除了凸优化中对高精度子问题解的依赖。通过将标准精度要求替换为更宽松的条件，RECAPP在有限和结构化问题上实现了最优复杂度界——消除了对数因子——其性能与现有基于Catalyst的方法或问题特定方法相比达到最优或更优。

ABSTRACT

The accelerated proximal point algorithm (APPA), also known as "Catalyst", is a well-established reduction from convex optimization to approximate proximal point computation (i.e., regularized minimization). This reduction is conceptually elegant and yields strong convergence rate guarantees. However, these rates feature an extraneous logarithmic term arising from the need to compute each proximal point to high accuracy. In this work, we propose a novel Relaxed Error Criterion for Accelerated Proximal Point (RECAPP) that eliminates the need for high accuracy subproblem solutions. We apply RECAPP to two canonical problems: finite-sum and max-structured minimization. For finite-sum problems, we match the best known complexity, previously obtained by carefully-designed problem-specific algorithms. For minimizing $\max_y f(x,y)$ where $f$ is convex in $x$ and strongly-concave in $y$, we improve on the best known (Catalyst-based) bound by a logarithmic factor.

研究动机与目标

• 解决现有基于Catalyst/加速近端点方法在理论和实践上的低效问题，这些方法要求子问题解具有高精度。
• 消除由于近端点计算中严格精度要求而产生的收敛速率中的额外对数因子。
• 开发一种通用框架，在保持加速优势的同时，降低子问题求解带来的计算开销。
• 在不依赖问题特定设计的前提下，实现有限和最大结构化最小化问题的最优或近似最优复杂度界。

提出的方法

• 提出一种新的宽松误差条件（RECAPP），允许以较低精度计算子问题解，从而减少所需迭代次数。
• 引入一种新颖的误差界，使标准子问题求解器（如SVRG、镜像近端）可被使用，且不会在复杂度中引入额外的对数项。
• 通过将RECAPP与SVRG结合，应用于有限和问题，实现目前已知的最佳复杂度界 $ O(n\log\log n + \sqrt{nLR^2/\epsilon}) $。
• 通过使用镜像近端作为子问题求解器，将RECAPP扩展至最大结构化问题，实现 $ O(LR/\sqrt{\mu\epsilon}) $ 梯度查询次数，消除了先前基于Catalyst方法复杂度中的对数因子。
• 采用重启策略，实现强凸目标函数的线性收敛。
• 通过一种新型近似近端预言机变体（允许误差容限）的形式化复杂度分析，确保收敛性且不引入额外对数项。

实验结果

研究问题

• RQ1 是否可以在不损害凸优化中通用性或稳定性的前提下，消除基于Catalyst方法收敛速率中的对数因子？
• RQ2 是否可能为近端点方法设计一种宽松误差条件，使其在保持加速性能的同时降低子问题精度要求？
• RQ3 RECAPP是否能在不依赖问题特定算法设计的前提下，实现有限和问题的最优复杂度界？
• RQ4 RECAPP是否能改进具有凸-凹目标的最小-最大问题的最先进复杂度？
• RQ5 该框架是否可扩展至同时处理非强凸与强凸设置，并实现最优收敛速率？

主要发现

• 对于有限和问题，RECAPP与SVRG结合可实现目前已知的最佳复杂度界 $ O(n\log\log n + \sqrt{nLR^2/\epsilon}) $，与专用算法的最优速率一致。
• 对于最小化 $ \max_y f(x,y) $ 的问题，其中 $ f $ 在 $ x $ 上为凸函数且在 $ y $ 上为 $ \mu $-强凹函数，RECAPP消除了一个对数因子，实现 $ O(LR/\sqrt{\mu\epsilon}) $ 梯度查询次数，该结果渐近最优。
• 与先前基于Catalyst的复杂度界 $ O(LR/\sqrt{\mu\epsilon} \log(LR/\sqrt{\mu\epsilon})) $ 相比，该方法通过消除对数项实现了改进。
• 该方法在减少昂贵子问题求解次数的同时，保持了全局收敛保证，从而提升了实际效率。
• 在逻辑回归上的初步实验表明，RECAPP在实践中与Catalyst-SVRG具有竞争力。
• 理论分析证实，RECAPP在非强凸与强凸设置下均能实现最优复杂度，且对梯度和子问题查询复杂度均有紧致的界。