[论文解读] Sequential convergence of AdaGrad algorithm for smooth convex optimization

Cheik Traoré, Edouard Pauwels|arXiv (Cornell University)|Nov 24, 2020

Sparse and Compressive Sensing Techniques参考文献 25被引用 32

一句话总结

本论文证明了 AdaGrad 在标量步长和坐标更新两种变体下，当应用于具有 Lipschitz 梯度的凸函数时，会产生收敛的迭代序列，方法是建立变量-度量准 Fejér 单调性。结果在不需要有界定义域的前提下，表明收敛到全局最小值。

ABSTRACT

We prove that the iterates produced by, either the scalar step size variant, or the coordinatewise variant of AdaGrad algorithm, are convergent sequences when applied to convex objective functions with Lipschitz gradient. The key insight is to remark that such AdaGrad sequences satisfy a variable metric quasi-Fej\\'er monotonicity property, which allows to prove convergence.

研究动机与目标

• 激励研究自适应梯度方法在凸优化中的收敛性。
• 在 Lipschitz 梯度和达到极小值的假设下，建立 AdaGrad 的变体产生收敛的迭代并收敛到全局最小值。
• 引入并利用变量度量准 Fejér 单调性来证明收敛。

提出的方法

• 分析两种 AdaGrad 变体：带标量步长的 AdaGrad-Norm 与坐标更新的 AdaGrad。
• 证明这两个序列有界并相对于极小值集合满足一个变量度量准 Fejér 单调性性质。
• 利用对 L-Lipschitz 梯度的下降引理并累积梯度范数上界来证明收敛。
• 证明梯度范数的可加和性，从而使迭代收敛到一个极小值点。

实验结果

研究问题

• RQ1 当 F 具有 Lipschitz 梯度且达到极小值时，AdaGrad-Norm 与坐标更新的 AdaGrad 会产生收敛的序列吗？
• RQ2 能否利用变量度量准 Fejér 单调性在不假设有界定义域的情况下建立自适应梯度方法的迭代收敛？

主要发现

• AdaGrad-Norm 和 AdaGrad 产生收敛的序列，这些序列收敛到 F 的全局极小值点。
• 在给定假设下梯度范数可和，意味着迭代收敛。
• 与某些先前结果不同，该分析不需要有界定义域。
• AdaGrad 的坐标更新变体在同一框架下也收敛。
• 收敛性通过变量度量准 Fejér 单调性及相关的类 Lyapunov 控制来建立。
• 这些结果适用于具有 Lipschitz 梯度且保证达到极小值的凸函数。