[论文解读] Restarting accelerated gradient methods with a rough strong convexity estimate

Olivier Fercoq, Zheng Qu|arXiv (Cornell University)|Sep 23, 2016

Stochastic Gradient Optimization Techniques参考文献 2被引用 21

一句话总结

本文提出了一种用于加速梯度和坐标下降方法的新型重启策略，该策略在任意重启频率下均能实现几何（线性）收敛，即使对强凸性参数的估计较粗糙。该方法通过过去迭代点的凸组合来定义重启点，从而在无需精确掌握真实强凸性系数的情况下实现可证明的收敛性。

ABSTRACT

We propose new restarting strategies for accelerated gradient and accelerated coordinate descent methods. Our main contribution is to show that the restarted method has a geometric rate of convergence for any restarting frequency, and so it allows us to take profit of restarting even when we do not know the strong convexity coefficient. The scheme can be combined with adaptive restarting, leading to the first provable convergence for adaptive restarting schemes with accelerated gradient methods. Finally, we illustrate the properties of the algorithm on a regularized logistic regression problem and on a Lasso problem.

研究动机与目标

• 解决在加速梯度方法中，当强凸性参数估计不准确时导致收敛性能下降的挑战。
• 开发一种重启方案，确保无论重启频率或强凸性参数估计质量如何，均能实现线性收敛。
• 将该方法扩展至加速坐标下降方法（如 APPROX），并提供理论保证。
• 为加速方法设计一个可证明收敛的自适应重启框架，克服以往启发式方法的局限性。

提出的方法

• 提出一种新型重启点定义方式，即过去迭代点的凸组合，而非依赖梯度或目标函数值的评估。
• 基于强凸性系数的粗糙估计，设计参数化的重启规则，该估计值可大于或小于真实值。
• 利用李雅普诺夫函数和涉及最优性间隙与估计强凸性的递归不等式，推导收敛边界。
• 将该策略应用于加速梯度（APG、FISTA）和加速坐标下降（APPROX）方法。
• 证明即使估计值次优，该方法仍能实现依赖于估计强凸性的线性收敛速率。
• 表明当估计值处于真实值的宽范围内时，收敛速率显著提升，支持实际中的重启启发式策略。

实验结果

研究问题

• RQ1 当强凸性参数估计不佳时，加速梯度方法是否能在任意重启频率下实现线性收敛？
• RQ2 基于过去迭代点凸组合的重启策略，是否优于基于梯度或目标函数值的重启条件？
• RQ3 所提出的重启方案能否扩展至如 APPROX 等加速坐标下降方法，并提供理论收敛保证？
• RQ4 能否设计一种无需精确掌握强凸性参数的、可证明收敛的自适应重启框架？

主要发现

• 所提出的重启方法在任意重启频率下均能实现几何（线性）收敛，即使强凸性参数估计粗糙。
• 收敛速率取决于估计的强凸性，且当估计值超过真实值时方法仍具有效性。
• 该方法优于非加速方案，并在强凸性参数已知时，性能可匹配或超过标准加速方法。
• 在 Lasso 和正则化逻辑回归上的数值实验表明，该方法在实践中具有鲁棒性和有效性，即使无需精确参数调优。
• 理论分析表明，收敛速率受估计与真实强凸性比值的因子限制，且明显优于非加速方法。
• 该方法首次为加速梯度方法中的自适应重启方案提供了可证明的收敛性，解决了关键的理论空白。