[论文解读] Non-ergodic Convergence Analysis of Heavy-Ball Algorithms

Tao Sun, Penghang Yin+4 more|arXiv (Cornell University)|Nov 5, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用 6

一句话总结

本文首次对加速梯度法（Heavy-ball算法）进行了非遍历收敛性分析，建立了在凸、强制函数下的$O(1/k)$次线性收敛速率，并在放宽的强凸条件下实现了线性收敛。该方法基于一种改进的二阶微分系统构造了新颖的李雅普诺夫函数，使得在步长和惯性参数假设更弱的条件下，获得了更紧致的复杂度界，优于以往工作。

ABSTRACT

In this paper, we revisit the convergence of the Heavy-ball method, and present improved convergence complexity results in the convex setting. We provide the first non-ergodic O(1/k) rate result of the Heavy-ball algorithm with constant step size for coercive objective functions. For objective functions satisfying a relaxed strongly convex condition, the linear convergence is established under weaker assumptions on the step size and inertial parameter than made in the existing literature. We extend our results to multi-block version of the algorithm with both the cyclic and stochastic update rules. In addition, our results can also be extended to decentralized optimization, where the ergodic analysis is not applicable.

研究动机与目标

• 通过建立非遍历收敛速率，弥合Heavy-ball方法收敛分析中的空白，其结果比遍历速率更具实际意义。
• 在较弱凸性条件下，放松线性收敛区域中对步长和惯性参数的假设。
• 将非遍历分析扩展至采用循环和随机更新规则的多块变体。
• 在去中心化优化设置中实现收敛分析，其中遍历分析不适用。
• 基于改进的二阶动力系统，提出一种新的李雅普诺夫函数，以实现更紧致的收敛证明。

提出的方法

• 提出一种受改进二阶常微分方程启发的新型李雅普诺夫函数，其中包含约束$\|\ddot{x}(t)\| \leq \theta \|\dot{x}(t)\|$。
• 利用该李雅普诺夫函数推导出递推不等式，以界定向量误差$f(x^k) - \min f$的下降。
• 应用该李雅普诺夫函数，证明在常数步长下，对强制凸函数实现$O(1/k)$收敛。
• 在放宽的强凸条件下建立线性收敛，其对步长和惯性参数的假设弱于以往工作。
• 通过分块李雅普诺夫分析，将分析扩展至采用循环和随机更新规则的多块Heavy-ball方法。
• 通过依赖非遍历收敛性，将该框架适配至去中心化Heavy-ball设置，其中遍历平均不可行。

实验结果

研究问题

• RQ1 在常数步长下，能否在凸设置中为Heavy-ball方法建立非遍历的$O(1/k)$收敛速率？
• RQ2 当目标函数满足放宽的强凸条件时，能否在对步长和惯性参数假设更弱的条件下证明线性收敛？
• RQ3 能否将非遍历收敛分析扩展至采用循环和随机更新规则的多块Heavy-ball方法？
• RQ4 所提出的框架能否应用于去中心化优化场景，其中遍历分析失效？
• RQ5 基于改进动力系统的新型李雅普诺夫函数，相较于现有方法，如何改善收敛界？

主要发现

• 本文首次在常数步长下，为凸、强制设置下的Heavy-ball方法建立了非遍历$O(1/k)$收敛速率。
• 该收敛速率在步长和惯性参数假设上弱于以往的遍历分析。
• 在放宽的强凸条件下，证明了线性收敛，其允许的步长和惯性参数范围比现有文献更广。
• 采用循环更新规则的多块Heavy-ball方法实现次线性收敛，而采用随机更新规则的方法在相同放宽条件下实现线性收敛。
• 该分析可扩展至去中心化Heavy-ball，尽管遍历平均不可行，但成功建立了非遍历收敛性。
• 数值实验表明，在循环更新下，较大的惯性参数（$\beta \in [0.3, 0.4]$）可加速线性回归和逻辑回归任务的收敛，但在随机设置中由于块重用频率较低，该优势减弱。