[论文解读] On the Convergence of AdaBound and its Connection to SGD

Pedro Savarese|arXiv (Cornell University)|Aug 13, 2019

Tensor decomposition and applications参考文献 13被引用 18

一句话总结

本文指出，一种流行的自适应优化器 AdaBound 的收敛性证明中存在关键缺陷。该文在更弱的假设下提出了新的 $O(\sqrt{T})$ regret 保证，并通过实验证明，一种带有阻尼更新的动量 SGD 的特定形式可在 CIFAR-10 上实现与 AdaBound 相当的性能，且所需超参数更少、计算成本更低。

ABSTRACT

Adaptive gradient methods such as Adam have gained extreme popularity due to their success in training complex neural networks and less sensitivity to hyperparameter tuning compared to SGD. However, it has been recently shown that Adam can fail to converge and might cause poor generalization -- this lead to the design of new, sophisticated adaptive methods which attempt to generalize well while being theoretically reliable. In this technical report we focus on AdaBound, a promising, recently proposed optimizer. We present a stochastic convex problem for which AdaBound can provably take arbitrarily long to converge in terms of a factor which is not accounted for in the convergence rate guarantee of Luo et al. (2019). We present a new $O(\sqrt T)$ regret guarantee under different assumptions on the bound functions, and provide empirical results on CIFAR suggesting that a specific form of momentum SGD can match AdaBound's performance while having less hyperparameters and lower computational costs.

研究动机与目标

• 识别并修正 Luo 等人（2019）提出的 AdaBound 收敛性证明中的缺陷。
• 在比原始定理更弱的假设下，为 AdaBound 建立新的 regret 保证。
• 通过实证评估，检验是否可用更简单的优化器在更低计算成本和更少超参数下达到 AdaBound 的性能。
• 研究阻尼因子在动量 SGD 中的作用及其与 AdaBound 相比对优化动态的影响。

提出的方法

• 作者构建了一个随机凸优化问题，该问题违反了 AdaBound 的收敛保证，从而为 Luo 等人（2019）定理 4 提供了一个反例。
• 他们引入了对边界函数的新假设——放宽了单调性和极限值相同收敛的要求——从而导出了一个新的 $O(\sqrt{T})$ regret 边界。
• 作者重新实现了 AdaBound，并将其与一种带有阻尼因子 $\kappa = \beta_1$ 的改进型 SGD 进行比较，该设置使其动量更新与 AdaBound 保持一致。
• 实验在 CIFAR-10 上使用 Wide ResNet 28-2 进行，超参数调整至与原始 AdaBound 设置一致。
• 分析了 AdaBound 在不同 $\gamma$ 值下的性能，并评估了偏差校正对阻尼 SGD 变体的影响。
• 消融研究比较了不同 $\gamma$ 值和优化器配置（包括偏差校正）下的训练和测试准确率。

实验结果

研究问题

• RQ1 Luo 等人（2019）定理 4 中所述的 AdaBound 收敛性保证是否在所有条件下均成立，还是存在反例？
• RQ2 能否在不依赖边界函数单调性和极限值相同收敛的假设下，为 AdaBound 推导出新的 regret 边界？
• RQ3 是否可通过一种带有阻尼因子 $\kappa = \beta_1$ 的简单动量 SGD 形式，在图像分类任务中实现与 AdaBound 相当的性能？
• RQ4 $\gamma$ 超参数对 AdaBound 收敛性和最终性能有何影响？
• RQ5 偏差校正是否能提升阻尼 SGD 变体的稳定性和性能？

主要发现

• 构造了一个反例，表明 AdaBound 在满足 Luo 等人（2019）定理 4 全部假设的前提下仍无法收敛，从而证明该定理不成立。
• 本文在更弱的假设下为 AdaBound 建立了新的 $O(\sqrt{T})$ regret 保证，消除了对边界函数单调性和极限值相同收敛的依赖。
• 与 $\gamma = 0.001$ 相比，AdaBound 在 $\gamma = 10^{-10}$ 时表现出显著的训练准确率和最终测试准确率下降。
• 带有 $\kappa = \beta_1$ 的动量 SGD 变体在 CIFAR-10 上实现了 94.01% 的最终测试准确率，略高于 AdaBound 在五次运行中的平均值 93.90%。
• 该阻尼 SGD 变体每次更新仅需 5d 次浮点运算，而 AdaBound 需 11d 次，且仅需两个超参数，而 AdaBound 需五个。
• 在阻尼 SGD 变体中引入偏差校正后，最终测试准确率的标准差从 0.21 降低至 0.16，提升了稳定性，且未影响平均性能。