[论文解读] PAGE: A Simple and Optimal Probabilistic Gradient Estimator for Nonconvex Optimization

Zhize Li, Hongyan Bao+2 more|arXiv (Cornell University)|Aug 25, 2020

Stochastic Gradient Optimization Techniques参考文献 50被引用 22

一句话总结

本文提出 PAGE，一种用于非凸优化的新型概率梯度估计器，通过结合普通小批量 SGD 与梯度重用，实现了最优收敛速率。PAGE 在有限和问题与在线非凸问题中均达到目前已知最紧的下界，分别实现 $O(n + \frac{\sqrt{n}}{\epsilon^2})$ 和 $O(b + \frac{\sqrt{b}}{\epsilon^2})$ 的梯度复杂度，且在 Polyak-Łojasiewicz 条件下实现自动加速。

ABSTRACT

In this paper, we propose a novel stochastic gradient estimator -- ProbAbilistic Gradient Estimator (PAGE) -- for nonconvex optimization. PAGE is easy to implement as it is designed via a small adjustment to vanilla SGD: in each iteration, PAGE uses the vanilla minibatch SGD update with probability $p_t$ or reuses the previous gradient with a small adjustment, at a much lower computational cost, with probability $1-p_t$. We give a simple formula for the optimal choice of $p_t$. Moreover, we prove the first tight lower bound $Ω(n+\frac{\sqrt{n}}{ε^2})$ for nonconvex finite-sum problems, which also leads to a tight lower bound $Ω(b+\frac{\sqrt{b}}{ε^2})$ for nonconvex online problems, where $b:= \min\{\frac{σ^2}{ε^2}, n\}$. Then, we show that PAGE obtains the optimal convergence results $O(n+\frac{\sqrt{n}}{ε^2})$ (finite-sum) and $O(b+\frac{\sqrt{b}}{ε^2})$ (online) matching our lower bounds for both nonconvex finite-sum and online problems. Besides, we also show that for nonconvex functions satisfying the Polyak-Łojasiewicz (PL) condition, PAGE can automatically switch to a faster linear convergence rate $O(\cdot\log \frac{1}ε)$. Finally, we conduct several deep learning experiments (e.g., LeNet, VGG, ResNet) on real datasets in PyTorch showing that PAGE not only converges much faster than SGD in training but also achieves the higher test accuracy, validating the optimal theoretical results and confirming the practical superiority of PAGE.

研究动机与目标

• 解决非凸有限和与在线优化问题中最优梯度复杂度的空白。
• 设计一种简单但最优的随机梯度估计器，使其在理论上和实践中均优于现有方法。
• 为非凸有限和与在线问题建立紧致的下界，证明所提方法的最优性。
• 在无需事先知晓条件的情况下，实现 Polyak-Łojasiewicz (PL) 条件下的自动加速。
• 通过在真实数据集上的大量深度学习实验，验证 PAGE 的理论优势。

提出的方法

• PAGE 使用概率切换机制：以概率 $p_t$ 应用普通小批量 SGD；以概率 $1-p_t$ 重用前一梯度并进行小幅调整。
• 最优的 $p_t$ 推导为 $p_t = \frac{b'}{b + b'}$，其中 $b$ 为小批量大小，$b'$ 为次级小批量大小。
• 该方法采用李雅普诺夫函数分析证明收敛性，通过梯度重用实现方差减少。
• 提出一种新颖的分析框架，将梯度重用与方差控制联系起来，从而实现紧致的收敛边界。
• 该算法设计为与 SGD 向后兼容，仅需对标准训练循环进行微小修改。
• 对于 PL 正则化问题，PAGE 无需参数调优即可自动切换至线性收敛。

实验结果

研究问题

• RQ1 非凸有限和优化中梯度复杂度的最紧可能下界是什么？
• RQ2 能否设计一种简单的梯度估计器，在无需复杂方差减少机制的情况下实现最优收敛速率？
• RQ3 如何最优地平衡梯度重用与新梯度计算，以最小化计算成本？
• RQ4 所提方法是否在无需显式知晓条件的情况下，于 Polyak-Łojasiewicz 条件下实现线性收敛？
• RQ5 该方法的理论最优性是否可在实际深度学习场景中得到验证？

主要发现

• 本文为非凸有限和问题建立了紧致下界 $\Omega(n + \frac{\sqrt{n}}{\epsilon^2})$，该下界与 PAGE 实现的上界完全匹配。
• 对于在线非凸问题，紧致下界为 $\Omega(b + \frac{\sqrt{b}}{\epsilon^2})$，其中 $b = \min\{\frac{\sigma^2}{\epsilon^2}, n\}$，PAGE 完全匹配该下界。
• PAGE 在有限和问题中实现最优梯度复杂度 $O(n + \frac{\sqrt{n}}{\epsilon^2})$，在在线问题中实现 $O(b + \frac{\sqrt{b}}{\epsilon^2})$。
• 在 Polyak-Łojasiewicz (PL) 条件下，PAGE 实现线性收敛速率 $O(\cdot \log \frac{1}{\epsilon})$，且无需事先知晓该条件。
• 在 LeNet、VGG 和 ResNet 的深度学习实验中，PAGE 在多个真实数据集上收敛速度更快，且测试准确率高于 SGD。
• 在 PL 条件下，PAGE 的梯度复杂度为 $O((b + \sqrt{b}\kappa)\log \frac{1}{\epsilon})$，证实其在有利设置下的高效性。