[论文解读] Uniform a priori bounds and error analysis for the Adam stochastic gradient descent optimization method

Steffen Dereich, Thang Do+1 more|arXiv (Cornell University)|Mar 19, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

本文证明了 Adam 优化器在强凸随机优化问题上的逐样本统一先验界，并以此推导出 Adam 的无条件误差分析。它还展示了对具体二次 SOP 的适用性，并在不要求有界性假设的前提下讨论收敛速率。

ABSTRACT

The adaptive moment estimation (Adam) optimizer proposed by Kingma & Ba (2014) is presumably the most popular stochastic gradient descent (SGD) optimization method for the training of deep neural networks (DNNs) in artificial intelligence (AI) systems. Despite its groundbreaking success in the training of AI systems, it still remains an open research problem to provide a complete error analysis of Adam, not only for optimizing DNNs but even when applied to strongly convex stochastic optimization problems (SOPs). Previous error analysis results for strongly convex SOPs in the literature provide conditional convergence analyses that rely on the assumption that Adam does not diverge to infinity but remains uniformly bounded. It is the key contribution of this work to establish uniform a priori bounds for Adam and, thereby, to provide -- for the first time -- an unconditional error analysis for Adam for a large class of strongly convex SOPs.

研究动机与目标

• 在强凸 SOP 中证明对 Adam 的错误分析超越有界性假设的必要性并提供严格性分析的动机。
• 推导对 Adam 的逐样本统一先验界，且对 Adam 参数 β1 与 β2 的取值无关。
• 将这些界与现有的条件误差分析相结合，获得 Adam 的无条件收敛性结论。
• 展示理论对具体二次 SOP（有/无正则化）的适用性。
• 讨论在实际训练情景中以及 Adam 的参数选择下的含义。

提出的方法

• 按式(2)与(3)定义并分析带有一阶、二阶矩估计的 Adam 更新方案。可将其视为对原始方案的统一描述。
• 在一般强凸 SOP 与二次示例（第2.1–2.4节）中建立定量的先验界。
• 在适当的 Lipschitz/凸性条件下，推导与 β1、β2 无关的逐样本统一界。
• 通过将先验界与现有的 Adam 收敛性分析结合，推导出无条件误差界（定理3.1）。
• 给出在 Lp 范数下的显式误差估计（定理1.1），并讨论如何通过调节 β2 与批量大小 M 来实现给定精度。
• 在二次 SOP（有/无正则化）上 illustrate 结果，并在不假设 L-平滑的前提下讨论收敛速率。

实验结果

研究问题

• RQ1 能否为强凸 SOP 无条件地建立 Adam 的逐样本统一先验界？
• RQ2 如何使这些界与 Adam 的参数 β1、β2 独立？
• RQ3 将 Adam 应用于具体 SOP（含二次示例）时，能得到什么样的无条件收敛/误差速率？
• RQ4 小批量大小与二阶矩参数 β2 在实际中如何影响误差界与收敛？
• RQ5 结论是否可扩展到全局不具备 L-平滑性的 SOP？

主要发现

• 存在针对大类强凸 SOP 的 Adam 的逐样本统一先验界。
• 通过将统一界与现有的条件分析结合，获得了 Adam 的无条件误差分析。
• 结果适用于有/无正则化的具体二次 SOP，展示了理论的实际应用性。
• 给出依赖于 M、γn 与 β2 的显式 Lp 误差界，并描述如何达到给定精度。
• 分析揭示了 β2 接近 1 与批量大小 M 对实现小优化误差的重要作用。
• 工作通过给出跨 β1、β2 的统一界，扩展了以往结果，能够得到无条件的收敛性表述。