[论文解读] The Geometry of Sign Gradient Descent

Lukas Balles, Fabián Pedregosa+1 more|arXiv (Cornell University)|Feb 19, 2020

3D Shape Modeling and Analysis参考文献 26被引用 8

一句话总结

该论文通过证明 $ι_{\infty}$-平滑性是比可分平滑性更弱且更自然的假设，统一了基于符号的优化方法。该假设与海森矩阵的几何性质相关联。研究表明，当海森矩阵在对角线上集中且最大特征值相对于其平均值较大时，符号梯度下降法优于标准梯度下降法，从而解释了 Adam 等方法在深度学习中经验成功的原因。

ABSTRACT

Sign-based optimization methods have become popular in machine learning due to their favorable communication cost in distributed optimization and their surprisingly good performance in neural network training. Furthermore, they are closely connected to so-called adaptive gradient methods like Adam. Recent works on signSGD have used a non-standard "separable smoothness" assumption, whereas some older works study sign gradient descent as steepest descent with respect to the $\ell_\infty$-norm. In this work, we unify these existing results by showing a close connection between separable smoothness and $\ell_\infty$-smoothness and argue that the latter is the weaker and more natural assumption. We then proceed to study the smoothness constant with respect to the $\ell_\infty$-norm and thereby isolate geometric properties of the objective function which affect the performance of sign-based methods. In short, we find sign-based methods to be preferable over gradient descent if (i) the Hessian is to some degree concentrated on its diagonal, and (ii) its maximal eigenvalue is much larger than the average eigenvalue. Both properties are common in deep networks.

研究动机与目标

• 在单一、更自然的平滑性假设下，统一现有基于符号的优化方法的收敛性分析。
• 阐明非标准的可分平滑性假设与 $ι_{\infty}$-平滑性之间的关系。
• 识别海森矩阵的几何特性，这些特性使基于符号的方法优于标准梯度下降法。
• 为 Adam 和 signSGD 在深度学习中经验成功的现象提供理论解释。

提出的方法

• 证明当 $L_{\infty} = \sum_i l_i$ 时，基于可分平滑性的收敛结果在 $ι_{\infty}$-平滑性下依然成立，从而确立 $ι_{\infty}$-平滑性是一个严格更弱的假设。
• 从海森矩阵的特征值和对角集中度角度，分析 $ι_{\infty}$-平滑性常数 $L_{\infty}$ 的几何意义。
• 利用泰勒定理和对偶范数恒等式，推导在弱化平滑性假设下的函数增长边界。
• 通过将平滑性常数 $L_{\infty}$ 与梯度的 $ι_{\infty}$-范数及海森矩阵的谱性质关联，推导符号梯度下降的收敛速率。
• 通过实证验证理论洞见：当梯度符号在坐标间被随机化或平均时，Adam 的行为与基于符号的方法相似。

实验结果

研究问题

• RQ1 对于分析基于符号的方法，$ι_{\infty}$-平滑性是否比可分平滑性更弱且更自然？
• RQ2 海森矩阵的对角集中度如何影响符号梯度下降法的性能？
• RQ3 海森矩阵最大特征值与平均特征值之比在基于符号的方法收敛过程中起什么作用？
• RQ4 为何基于符号的方法和 Adam 在深度学习中表现良好，尽管仅使用符号信息？

主要发现

• $ι_{\infty}$-平滑性假设严格弱于可分平滑性，因为 $L_{\infty} = \sum_i l_i$ 蕴含可分平滑性条件，但反之不成立。
• 当海森矩阵在对角线上集中时（以对角与非对角海森矩阵元素之比衡量），符号梯度下降法的收敛速度优于标准梯度下降法。
• 当海森矩阵的最大特征值远大于其平均特征值时，基于符号的方法的收敛速率显著提升。
• 该分析解释了 Adam 在深度学习中经验成功的原因：Adam 主要表现为一种基于符号的方法，自适应学习率仅起次要作用。
• 符号梯度下降的收敛速率受界于 $T \leq 18(f_0 - f^*) \max\left(\frac{L^{(0)}}{\varepsilon^2}, \frac{(L^{(1)})^2}{L^{(0)}}\right)$，其中 $L^{(0)}$ 和 $L^{(1)}$ 是与海森矩阵相关的平滑性参数。