[论文解读] On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization

Dongruo Zhou, Jinghui Chen+3 more|arXiv (Cornell University)|Aug 16, 2018

Sparse and Compressive Sensing Techniques参考文献 41被引用 82

一句话总结

本论文为自适应梯度方法（AMSGrad、RMSProp、AdaGrad）在随机非凸优化中的细粒度收敛分析，给出期望与高概率保证，并在梯度稀疏性下展示相对于 SGD 的优势。

ABSTRACT

Adaptive gradient methods are workhorses in deep learning. However, the convergence guarantees of adaptive gradient methods for nonconvex optimization have not been thoroughly studied. In this paper, we provide a fine-grained convergence analysis for a general class of adaptive gradient methods including AMSGrad, RMSProp and AdaGrad. For smooth nonconvex functions, we prove that adaptive gradient methods in expectation converge to a first-order stationary point. Our convergence rate is better than existing results for adaptive gradient methods in terms of dimension. In addition, we also prove high probability bounds on the convergence rates of AMSGrad, RMSProp as well as AdaGrad, which have not been established before. Our analyses shed light on better understanding the mechanism behind adaptive gradient methods in optimizing nonconvex objectives.

研究动机与目标

• 激发研究自适应梯度方法在随机非凸优化中的收敛性保证，解决实践与理论之间的差距。
• 在平滑非凸目标下，为 AMSGrad、RMSProp、AdaGrad 构建统一、细粒度的收敛分析。
• 建立对一阶驻点的期望型和高概率收敛界。
• 展示相比 SGD 的改进的迭代复杂度和维度依赖，特别是在梯度稀疏性下。

提出的方法

• 在带 L-光滑目标的随机非凸优化中分析一般类自适应梯度方法（AMSGrad、RMSProp、AdaGrad）。
• 在有限-无穷大界的随机梯度假设（G_infty）与 L-光滑性下工作；引入辅助序列 z_t 以处理随机动量。
• 推导收敛到驻点的速率：E[||∇f(x_t)||^2] ≤ M1/(Tα) + Md/T + αMd/(T^{1/2−s})，在增长条件 ||g_{1:T,i}||_2 ≤ G_infty T^s 下。
• 通过假设子高斯随机梯度，给出高概率收敛界，得到具有同样形式的带概率保证的速率。
• 与现有结果比较，显示 d 的依赖性改进，在梯度稀疏情形（s<1/2）下，速率严格优于 SGD。

实验结果

研究问题

• RQ1 AMSGrad、RMSProp、AdaGrad 在随机非凸优化中会收敛到一阶驻点吗？
• RQ2 用维度 d、迭代次数 T 和梯度稀疏性（由 s 表征）来精确描述这些自适应方法的收敛速率是多少？
• RQ3 在非凸设定下，是否可以为这些自适应方法建立高概率的收敛保证？
• RQ4 与 SGD 相比，特别是在梯度稀疏的情况下，所推导的速率表现如何？
• RQ5 算法修正（如 AMSGrad 的非增学习率）在确保收敛中起到什么作用？

主要发现

• 对 AMSGrad、RMSProp 和 AdaGrad 在期望意义下对平滑非凸目标收敛到驻点。
• 在对累计梯度有增长界的条件下，AMSGrad 的速率为 O(d^{1/2}/T^{3/4−s/2} + d/T)，在梯度稀疏时（s < 1/2）优于 SGD。
• 在最坏情况下（s = 1/2），速率为 O(√d/√T + d/T)，维度依赖性优于以往界。
• 为 AMSGrad、RMSProp 和 AdaGrad 建立了高概率收敛界，覆盖单次运行的性能保证。
• AdaGrad、RMSProp 和 AMSGrad 在所述条件下具有相同的速率形式，且为每种方法提供了明确常数。
• 分析引入了辅助序列 z_t 以处理随机动量，并证明了辅助有界引理以实现速率推导。