[论文解读] Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping

Eduard Gorbunov, М. А. Данилова+1 more|arXiv (Cornell University)|May 21, 2020

Stochastic Gradient Optimization Techniques被引用 15

一句话总结

本文提出 clipped-SSTM，一种加速的随机一阶方法，通过梯度裁剪来处理随机梯度中的重尾噪声。该方法首次建立了在重尾噪声下随机优化的高概率复杂度边界，显著提升了鲁棒性和收敛速度，且无需对噪声分布做轻尾假设。

ABSTRACT

In this paper, we propose a new accelerated stochastic first-order method called clipped-SSTM for smooth convex stochastic optimization with heavy-tailed distributed noise in stochastic gradients and derive the first high-probability complexity bounds for this method closing the gap in the theory of stochastic optimization with heavy-tailed noise. Our method is based on a special variant of accelerated Stochastic Gradient Descent (SGD) and clipping of stochastic gradients. We extend our method to the strongly convex case and prove new complexity bounds that outperform state-of-the-art results in this case. Finally, we extend our proof technique and derive the first non-trivial high-probability complexity bounds for SGD with clipping without light-tails assumption on the noise.

研究动机与目标

• 解决标准随机梯度下降（SGD）在随机梯度呈现重尾噪声分布时鲁棒性和性能较差的问题。
• 填补当前在重尾噪声下随机优化的高概率收敛边界理论空白，该领域目前落后于轻尾情形的理论进展。
• 开发一种在重尾噪声下保持快速收敛速度，同时确保实际中稳定性和鲁棒性的方法。
• 将分析扩展至凸和强凸情形，推导出强凸情形下更优的复杂度边界。
• 为不假设轻尾噪声分布的裁剪SGD建立非平凡的高概率复杂度边界。

提出的方法

• 提出 clipped-SSTM，一种新颖的加速随机一阶方法，结合 Nesterov 风格加速与梯度裁剪，以减轻重尾噪声的影响。
• 通过在每次迭代中限制随机梯度的范数来实施梯度裁剪，防止罕见的重尾异常值引发过大更新。
• 采用一种改进的加速SGD变体，结合自适应步长和动量参数，以提升在非Lipschitz或重尾梯度噪声下的收敛性能。
• 利用针对子威布尔或类似子高斯尾部设计的浓度不等式，推导出高概率收敛边界，即使子高斯假设不成立也适用。
• 将方法扩展至强凸情形，相比现有最先进方法，实现了更优的收敛速度。
• 采用一种新颖的证明技术，避免依赖子高斯尾部假设，从而实现即使在一般重尾噪声下，对裁剪SGD的边界推导。

实验结果

研究问题

• RQ1 一种结合梯度裁剪的加速随机优化方法，能否在重尾随机梯度噪声下实现高概率收敛？
• RQ2 当梯度噪声为重尾时，随机优化的首个非渐近、高概率复杂度边界是什么？
• RQ3 在重尾噪声下，clipped-SSTM 与标准 SGD 及其他裁剪变体相比，其收敛速度和鲁棒性如何？
• RQ4 裁剪SGD的理论分析能否超越轻尾假设？其结果复杂度边界是什么？
• RQ5 在重尾噪声下，加速与裁剪的结合是否能在强凸情形下带来更优的收敛速度？

主要发现

• clipped-SSTM 首次为重尾噪声下的随机优化建立了高概率复杂度边界，填补了理论理解中的重大空白。
• 在真实数据集（如 australian、a9a 和 w8a）上，与标准 SGD 相比，该方法显著减少了振荡并提升了稳定性。
• 在 australian 数据集上，即使使用较大的步长，clipped-SSTM 在收敛稳定性和最终次优性方面也优于标准 SGD 和其他裁剪变体。
• 在 w8a 数据集上，由于梯度噪声为重尾，clipped-SSTM 表现优于 SGD 和其他裁剪变体，而 SSTM 则因噪声累积而表现不佳。
• 理论分析表明，clipped-SSTM 在重尾噪声下的凸和强凸情形中均实现了最优或近似最优的收敛速度。
• 本文首次为不假设轻尾噪声的裁剪SGD建立了非平凡的高概率复杂度边界，扩展了基于裁剪方法的适用范围。