[论文解读] On the Convergence of A Class of Adam-Type Algorithms for Non-Convex Optimization

Xiangyi Chen, Sijia Liu+2 more|arXiv (Cornell University)|Aug 8, 2018

Stochastic Gradient Optimization Techniques被引用 117

一句话总结

本文为在非凸优化中Adam型自适应梯度方法提供统一的收敛框架，给出在何种条件下这些方法收敛到驻点，收敛速率为 O(log T / sqrt(T))。它还引入 AdaFom 并分析如 AMSGrad 和 AdaFom 等常量动量变体。

ABSTRACT

This paper studies a class of adaptive gradient based momentum algorithms that update the search directions and learning rates simultaneously using past gradients. This class, which we refer to as the "Adam-type", includes the popular algorithms such as the Adam, AMSGrad and AdaGrad. Despite their popularity in training deep neural networks, the convergence of these algorithms for solving nonconvex problems remains an open question. This paper provides a set of mild sufficient conditions that guarantee the convergence for the Adam-type methods. We prove that under our derived conditions, these methods can achieve the convergence rate of order $O(\\log{T}/\\sqrt{T})$ for nonconvex stochastic optimization. We show the conditions are essential in the sense that violating them may make the algorithm diverge. Moreover, we propose and analyze a class of (deterministic) incremental adaptive gradient algorithms, which has the same $O(\\log{T}/\\sqrt{T})$ convergence rate. Our study could also be extended to a broader class of adaptive gradient methods in machine learning and optimization.

研究动机与目标

• 激发对非凸优化中自适应梯度方法的研究并理解其收敛性保证。
• 开发一个涵盖 Adam、AMSGrad、AdaGrad、AdaFom 和 SGD 变体的通用 Ada 型算法框架。
• 推导关于步长和矩量参数的温和、实用条件，确保以次线性速率收敛到驻点。
• 引入 AdaFom（带有一阶动量的 AdaGrad）并展示其收敛特性。
• 通过给出在违反条件时潜在发散的示例，展示条件的尖锐性。
• 展示对常量动量设置和有限和问题的适用性。

提出的方法

• 提出一个广义的 Adam 型更新，m_t = β1,t m_{t-1} + (1−β1,t) g_t 且自适应 〈hat{v}〉_t = h_t(g_1,...,g_t)。
• 将有效步长定义为 α_t / sqrt(〈hat{v}〉_t)，并分析其在收敛性上的振荡影响。
• 给出一个主定理，给出梯度内积之和的上界，并将其与两个项增长 A 和 B（Term A 与 Term B）相关联。
• 推导 E[min_{t∈[T]} ||∇f(x_t)||^2] = O(s1(T)/s2(T)) 的收敛速率，其中 s1(T) = o(s2(T)。
• 给出 AMSGrad 与 AdaFom 在 α_t = 1/√t 时的推论，并显示带 log T 因子的次线性速率。
• 讨论仅对一阶矩加入动量（AdaFom）如何纠正 AdaGrad 风格的发散趋势。

实验结果

研究问题

• RQ1 在步长和动量参数的温和条件下，Adam 型算法能否在非凸设定下收敛到一阶驻点？
• RQ2 有效步长的振荡如何影响收敛性与 AdaGrad/Adam 型方法的速率？
• RQ3 像 AdaFom 和常量动量的 AMSGrad 是否能实现收敛，以及它们的速率如何？
• RQ4 实践者可以使用哪些实际标准来证明收敛或监控 Adam 型方法的进展？
• RQ5 在理论框架中，观察到的 Adam 不收敛是因为 Term A 还是 Term B？

主要发现

• 在温和假设下建立了一个通用的 Adam 型收敛框架，得到 O(log T / sqrt(T)) 的收敛速率。
• 在标准假设下证明 AdaFom 收敛，而原生 Adam 在某些条件下可能发散。
• 带有常量动量的 AMSGrad 在非凸设置中也收敛，阐明其相对于 Adam 的行为。
• 分析识别出两个关键组成：Term A（梯度幅值累积）和 Term B（有效步长的振荡），它们决定收敛性并能解释实际性能差异。
• 推论表明在 α_t = 1/√t 时，AMSGrad 与 AdaFom 具有次线性速率，且与已知速率只多一个 log T 因子。
• 所给条件是紧的，并为在实际训练中的收敛监控提供了实用工具。