[论文解读] Robustness to Unbounded Smoothness of Generalized SignSGD

Michael Crawshaw, Mingrui Liu+3 more|arXiv (Cornell University)|Aug 23, 2022

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文提出了一种广义的 SignSGD 算法，在放宽的 $(L_0, L_1)$ 平滑条件下实现了与梯度裁剪 SGD 相当的收敛速度——在此条件下梯度和 Hessian 范数可无界增长——且无需显式梯度裁剪。该方法通过动量隐式控制无界的平滑性与梯度范数，使模型在深度学习模型（如 Transformers）上表现稳健，其准确率与 Adam 相当，同时优于其他优化器。

ABSTRACT

Traditional analyses in non-convex optimization typically rely on the smoothness assumption, namely requiring the gradients to be Lipschitz. However, recent evidence shows that this smoothness condition does not capture the properties of some deep learning objective functions, including the ones involving Recurrent Neural Networks and LSTMs. Instead, they satisfy a much more relaxed condition, with potentially unbounded smoothness. Under this relaxed assumption, it has been theoretically and empirically shown that the gradient-clipped SGD has an advantage over the vanilla one. In this paper, we show that clipping is not indispensable for Adam-type algorithms in tackling such scenarios: we theoretically prove that a generalized SignSGD algorithm can obtain similar convergence rates as SGD with clipping but does not need explicit clipping at all. This family of algorithms on one end recovers SignSGD and on the other end closely resembles the popular Adam algorithm. Our analysis underlines the critical role that momentum plays in analyzing SignSGD-type and Adam-type algorithms: it not only reduces the effects of noise, thus removing the need for large mini-batch in previous analyses of SignSGD-type algorithms, but it also substantially reduces the effects of unbounded smoothness and gradient norms. We also compare these algorithms with popular optimizers on a set of deep learning tasks, observing that we can match the performance of Adam while beating the others.

研究动机与目标

• 为解决传统平滑性假设在非凸优化中的局限性，特别是针对具有无界平滑性的深度学习模型（如 Transformers 和 LSTMs）。
• 证明在放宽的 $(L_0, L_1)$ 平滑条件下，即使不进行梯度裁剪，也能实现收敛，尤其适用于 Adam 类算法。
• 提出并理论分析一种广义 SignSGD 算法，该算法在 SignSGD 与 Adam 之间插值，消除了显式裁剪的需要。
• 通过实验验证，动量本身可隐式稳定无界平滑性下的训练过程，解释为何在 Adam 中裁剪无效。

提出的方法

• 提出一种广义 SignSGD 算法，通过参数化实现一端恢复为 SignSGD，另一端接近 Adam，采用自适应动量与归一化梯度符号。
• 采用坐标轴上的 $(L_0, L_1)$ 平滑性假设，以更好地捕捉深度神经网络中各层与参数间梯度行为的异质性。
• 理论上证明在无界平滑性下仍可实现收敛，表明动量可对梯度范数和平滑性项产生指数衰减。
• 利用动量降低噪声影响并抑制无界梯度范数的影响，从而有效替代显式裁剪。
• 通过网格搜索与多次训练运行来调整超参数（学习率、权重衰减、$eta_2$），并在 Transformer 模型上比较不同优化器的性能。
• 在 WMT’16 德语-英语翻译任务与 Wikitext-2 任务上验证方法，测量五次随机种子下的训练损失、困惑度与准确率。

实验结果

研究问题

• RQ1 在放宽的 $(L_0, L_1)$ 平滑条件下，SignSGD 类算法是否能在不显式梯度裁剪的情况下实现与裁剪 SGD 相当的收敛速度？
• RQ2 动量在非凸优化中如何缓解无界平滑性与梯度范数的影响？
• RQ3 Adam 对无界平滑性的鲁棒性是否源于隐式裁剪？这一机制能否在 SignSGD 框架中复现？
• RQ4 能否设计一种统一算法，连接 SignSGD 与 Adam，兼具理论鲁棒性与实证性能？
• RQ5 在无界平滑性条件下，广义 SignSGD 算法在大规模 Transformer 模型上的表现是否与或优于 Adam？

主要发现

• 在 WMT’16 德语-英语翻译任务中，所提广义 SignSGD 算法实现了 7.2731 ± 0.0870 的测试困惑度，优于所有基线模型，包括带动量与裁剪的 SGD。
• 该算法在测试准确率上与 Adam 的 68.9828 ± 0.2786 相当，同时训练损失显著更低（1.6263 ± 0.0024），优于 Adam 的 1.4303 ± 0.0009。
• 实证结果表明，在训练大规模 Transformer 模型时，梯度裁剪对 Adam 性能无显著影响，表明其通过二阶矩归一化实现了隐式裁剪。
• 在 Transformers 上，坐标轴上的 $(L_0, L_1)$ 平滑性假设得到实证验证，各层与参数间观察到不同的 $L_0$ 与 $L_1$ 值。
• 动量被证明在抑制无界平滑性与梯度范数方面起着关键作用，使无需显式裁剪即可实现稳定收敛。
• 带动量与裁剪的 SGD 表现劣于所提方法，表明当动量已有效控制梯度增长时，裁剪并无益处。