[论文解读] SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients

Feihu Huang, Junyi Li+1 more|arXiv (Cornell University)|Jun 15, 2021

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文提出 SUPER-ADAM，一种通用且更快的自适应梯度框架，通过灵活的自适应矩阵统一了现有的自适应方法，并整合了动量与方差减少技术。该方法在非凸优化中实现了最优的 $\tilde{O}(\tau^{-3})$ 随机一阶预言机复杂度，达到理论下界，并在深度学习基准测试中表现出一致的性能提升。

ABSTRACT

Adaptive gradient methods have shown excellent performances for solving many machine learning problems. Although multiple adaptive gradient methods were recently studied, they mainly focus on either empirical or theoretical aspects and also only work for specific problems by using some specific adaptive learning rates. Thus, it is desired to design a universal framework for practical algorithms of adaptive gradients with theoretical guarantee to solve general problems. To fill this gap, we propose a faster and universal framework of adaptive gradients (i.e., SUPER-ADAM) by introducing a universal adaptive matrix that includes most existing adaptive gradient forms. Moreover, our framework can flexibly integrate the momentum and variance reduced techniques. In particular, our novel framework provides the convergence analysis support for adaptive gradient methods under the nonconvex setting. In theoretical analysis, we prove that our SUPER-ADAM algorithm can achieve the best known gradient (i.e., stochastic first-order oracle (SFO)) complexity of $ ilde{O}(ε^{-3})$ for finding an $ε$-stationary point of nonconvex optimization, which matches the lower bound for stochastic smooth nonconvex optimization. In numerical experiments, we employ various deep learning tasks to validate that our algorithm consistently outperforms the existing adaptive algorithms. Code is available at https://github.com/LIJUNYI95/SuperAdam

研究动机与目标

• 为解决缺乏一种适用于多样化机器学习问题的通用、理论基础坚实的自适应梯度框架的问题。
• 将现有的自适应梯度方法（如 Adam、Adagrad 和 AdaGrad）统一到一个具有通用自适应矩阵的灵活框架中。
• 在框架内整合动量与方差减少技术，以提升收敛性与稳定性。
• 在非凸设置下建立自适应梯度方法的收敛性分析，实现最优的梯度复杂度。
• 通过实证验证所提框架在图像分类与语言建模任务中的优越性。

提出的方法

• 引入一个通用自适应矩阵 $H_t$，其可泛化大多数现有自适应梯度形式，包括 Adam、Adagrad 和 AdaGrad 中的形式。
• 设计一种新颖的更新规则，通过参数化衰减机制将自适应学习率与动量及方差减少相结合。
• 采用时变学习率 $\alpha_t = c \mu_t^\tau$，其中 $\mu_t = \frac{k}{(m+t)^{1/3}}$ 或 $\frac{k}{(m+t)^{1/2}}$，具体取决于 $\tau \in \{0,1\}$，以平衡探索与利用。
• 在早期迭代中引入截断机制 $\alpha_t = \min(\alpha_t, 0.9)$，以防止发散。
• 将自适应矩阵 $H_t$ 与一阶（梯度）和二阶（方差）信息相结合，以稳定训练过程。
• 在非凸设置下提供理论收敛性分析，证明当 $\tau=1$ 时，SFO 复杂度为 $\tilde{O}(\epsilon^{-3})$，与已知下界一致。

实验结果

研究问题

• RQ1 能否通过单一自适应梯度框架，以统一的通用矩阵形式涵盖 Adam、Adagrad 和 AdaGrad 等现有方法？
• RQ2 所提出的框架是否能在非凸随机优化中实现最优收敛复杂度？
• RQ3 整合动量与方差减少技术是否能提升训练的稳定性和收敛速度？
• RQ4 该框架在图像分类与语言建模等多样化深度学习任务中表现如何？
• RQ5 理论收敛保证在实际中是否成立，特别是在非独立同分布或噪声数据设置下？

主要发现

• SUPER-ADAM 在非凸优化中实现了寻找 $\epsilon$-驻点的最优已知随机一阶预言机（SFO）复杂度 $\tilde{O}(\epsilon^{-3})$，与理论下界一致。
• 当 $\tau=1$ 时，该算法在 CIFAR-10、CIFAR-100 和 ImageNet 上使用 ResNet-34 时，持续优于 Adam、Adam+（Ada-Norm-SGD）、STORM 等自适应方法。
• 在 Wiki-Text2 语言建模任务中使用 LSTM 时，SUPER-ADAM 在 $\tau=1$ 时达到最低困惑度，优于所有基线方法。
• 自适应矩阵 $H_t$ 的条件数随时间减小，且完整梯度的 $\ell_2$ 范数也下降，验证了理论收敛行为。
• 当 $\tau=0$ 时，SUPER-ADAM 的性能与 Adam 和 AmsGrad 相当，表明其在不同配置下具备鲁棒性与灵活性。
• 该算法具有稳定性与泛化能力，无需手动调整学习率，在多种架构与数据集上均表现良好。