[论文解读] When Does Stochastic Gradient Algorithm Work Well?

Lam M. Nguyen, Nam Nguyen+3 more|arXiv (Cornell University)|Jan 18, 2018

Stochastic Gradient Optimization Techniques参考文献 8被引用 8

一句话总结

本文提出了一项关于目标函数的新假设，表明当使用固定且较大的步长时，随机梯度下降（SGD）能够实现更快的收敛速率，趋近于最优解的邻域。其核心贡献在于证明：当大多数分量函数在解处的梯度较小时（即随机梯度的方差较低），SGD 的行为类似于完整梯度下降，从而解释了其在深度学习和分类模型中的经验成功。

ABSTRACT

In this paper, we consider a general stochastic optimization problem which is often at the core of supervised learning, such as deep learning and linear classification. We consider a standard stochastic gradient descent (SGD) method with a fixed, large step size and propose a novel assumption on the objective function, under which this method has the improved convergence rates (to a neighborhood of the optimal solutions). We then empirically demonstrate that these assumptions hold for logistic regression and standard deep neural networks on classical data sets. Thus our analysis helps to explain when efficient behavior can be expected from the SGD method in training classification models and deep neural networks.

研究动机与目标

• 解释在训练深度神经网络和分类模型时，使用固定步长的随机梯度下降（SGD）为何表现出经验上的成功。
• 识别在随机梯度方差较高时，SGD 仍能实现快速收敛的条件。
• 提出一种新的理论假设，用于刻画在无需方差减少的情况下 SGD 如何高效运行。
• 通过实证验证，所提出的假设在标准深度学习设置中成立，包括 MNIST、SVHN、CIFAR10 和 CIFAR100 上的逻辑回归和 DNN 模型。
• 通过分析驻点处的梯度方差，弥合 SGD 实际性能与理论收敛速率之间的差距。

提出的方法

• 提出新假设：在解处，1−ε 比例的分量函数的梯度平方范数低于 ε，从而确保随机梯度估计的方差较低。
• 引入量 $ r_t = \frac{\frac{1}{t+1}\sum_{k=0}^{t}\left(\frac{1}{n}\sum_{i=1}^{n}\|\nabla f_i(\mathbf{w}_k) - \nabla f_i(\mathbf{w}_*)\|\right)}{\frac{1}{t+1}\sum_{k=0}^{t}\|F(\mathbf{w}_k)\|^{2}} $，通过监测梯度偏差与目标值的比值，实证验证该假设。
• 使用数值实验估计 $ N $，即 $ r_t $ 的上界，以量化解附近梯度估计的稳定性。
• 采用标准深度学习架构（前馈网络、卷积神经网络）和数据集（MNIST、SVHN、CIFAR10、CIFAR100）测试在 Adam 和 SGD 下该假设的成立情况。
• 应用引理 1 表明，增大小批量大小可降低梯度方差，使该假设更可能成立。
• 通过测量在最终解处满足 $ \|\nabla f_i(\mathbf{w})\| \leq \epsilon $ 的分量函数所占百分比 $ p_\epsilon $，分析收敛行为，反映低方差梯度行为。

实验结果

研究问题

• RQ1 在何种条件下，使用固定且较大步长的 SGD 能够快速收敛至最优解的邻域？
• RQ2 为何尽管理论收敛速率仅为次线性，SGD 在实践中通常优于方差减少方法？
• RQ3 在真实深度学习模型中，单个分量函数的梯度在解处在多大程度上保持较小？
• RQ4 在驻点附近随机梯度的行为如何解释 SGD 在非凸优化中的鲁棒性？
• RQ5 能否提出一种理论假设，以捕捉无需自适应或递减步长的 SGD 的经验成功？

主要发现

• 在 MNIST、SVHN、CIFAR10 和 CIFAR100 上的逻辑回归和标准深度神经网络中，超过 99.5% 的分量函数在最终解处的梯度低于 $ \epsilon = 10^{-7} $，证实了所提假设在实证中成立。
• 在所有测试设置中，对于 $ \epsilon = 10^{-7} $，$ p_\epsilon \geq 99.42\% $，表明在收敛时，大多数分量梯度可忽略不计。
• 衡量随机梯度相对于其真实均值相对偏差的比值 $ r_t $ 在整个迭代过程中保持有界，支持所提假设的有效性。
• 对 $ r_t $ 上界 $ N $ 的估计值较小（例如，MNIST-FFN 的 $ N = 2.1 \times 10^{-8} $），表明在解附近梯度估计稳定。
• 当梯度方差较低时，根据新假设预测，使用固定步长的 SGD 收敛速率可与完整梯度下降相匹配。
• 更大的小批量大小可降低梯度方差，使条件 $ 1 - p_\epsilon \leq \epsilon $ 更可能成立，且在极限情况下，SGD 的行为趋近于完整梯度下降。