[论文解读] Random Shuffling Beats SGD after Finite Epochs

Jeffery Z. HaoChen, Suvrit Sra|arXiv (Cornell University)|Jun 26, 2018

Stochastic Gradient Optimization Techniques参考文献 26被引用 9

一句话总结

该论文首次建立了随机洗牌SGD的非渐近收敛速率，证明在强凸性和二阶光滑性条件下，经过有限轮次训练后，其收敛速度优于标准SGD。论文推导出速率为 $\mathcal{O}\bigl(\frac{1}{T^{2}} + \frac{n^{3}}{T^{3}}\bigr)$，表明在合理 $T$ 下，随机洗牌严格优于SGD的 $\mathcal{O}(1/T)$ 速率，且在稀疏设置下可实现更优的 $\mathcal{O}(1/T^2)$ 速率。

ABSTRACT

A long-standing problem in the theory of stochastic gradient descent (SGD) is to prove that its without-replacement version RandomShuffle converges faster than the usual with-replacement version. We present the first (to our knowledge) non-asymptotic solution to this problem, which shows that after a "reasonable" number of epochs RandomShuffle indeed converges faster than SGD. Specifically, we prove that under strong convexity and second-order smoothness, the sequence generated by RandomShuffle converges to the optimal solution at the rate O(1/T^2 + n^3/T^3), where n is the number of components in the objective, and T is the total number of iterations. This result shows that after a reasonable number of epochs RandomShuffle is strictly better than SGD (which converges as O(1/T)). The key step toward showing this better dependence on T is the introduction of n into the bound; and as our analysis will show, in general a dependence on n is unavoidable without further changes to the algorithm. We show that for sparse data RandomShuffle has the rate O(1/T^2), again strictly better than SGD. Furthermore, we discuss extensions to nonconvex gradient dominated functions, as well as non-strongly convex settings.

研究动机与目标

• 解决随机洗牌SGD在经验性能与收敛分析之间长期存在的理论鸿沟。
• 证明在有限且合理的训练轮次后，随机洗牌的收敛速度严格快于标准SGD。
• 建立一个明确依赖于有限和问题中样本数 $n$ 的非渐近收敛速率。
• 表明为实现快于 $\mathcal{O}(1/T)$ 的收敛速度，$n$ 的依赖关系是不可避免的。
• 将分析扩展至满足梯度支配条件的非凸函数及稀疏数据场景。

提出的方法

• 在强凸性和利普希茨黑塞连续性假设下，推导随机洗牌SGD的非渐近收敛速率。
• 提出一种新颖的分析框架，能够捕捉收敛界中对 $n$ 的依赖关系，这对证明其收敛快于SGD至关重要。
• 基于到最优解的平方距离建立递推不等式，并应用AM-GM不等式比较随机洗牌与SGD。
• 证明期望平方误差以 $\mathcal{O}(1/T^2 + n^3/T^3)$ 的速率衰减，且在稀疏设置下具有更紧的界。
• 将结果扩展至满足Polyak-Łojasiewicz条件的非凸函数，证明在自适应步长下可实现 $\mathcal{O}(1/T)$ 收敛。
• 分析 $T$ 与 $n$ 之间的权衡，证明在无 $n$-依赖的情况下，一般情形下不可能实现 $\mathcal{O}(1/T^{1+\delta})$ 的速率。

实验结果

研究问题

• RQ1 随机洗牌SGD在有限轮次训练后是否收敛速度快于标准SGD？
• RQ2 能否为随机洗牌建立一个捕捉 $n$ 依赖关系的非渐近收敛速率？
• RQ3 在稀疏数据设置下，$\mathcal{O}(1/T^2)$ 速率是否可实现？
• RQ4 实现快于 $\mathcal{O}(1/T)$ 收敛速度所需的最小 $n$ 依赖关系是什么？
• RQ5 在非凸、梯度支配函数下，随机洗牌与SGD的收敛行为如何比较？

主要发现

• 在强凸性和二阶光滑性条件下，随机洗牌SGD的收敛速率为 $\mathcal{O}\bigl(\frac{1}{T^{2}} + \frac{n^{3}}{T^{3}}\bigr)$，该速率在有限 $T$ 下严格优于SGD的 $\mathcal{O}(1/T)$。
• 为实现快于 $\mathcal{O}(1/T)$ 的收敛速度，界中对 $n$ 的依赖关系是不可避免的，因此一般情形下无法实现 $\mathcal{O}(1/T^{1+\delta})$ 的速率。
• 在稀疏数据场景下，当稀疏度水平为 $\rho$ 时，收敛速率提升至 $\mathcal{O}(1/T^2)$，该速率严格优于SGD的 $\mathcal{O}(1/T)$。
• 对于满足Polyak-Łojasiewicz条件的非凸函数，随机洗牌在自适应步长 $\gamma = \frac{\log T}{\mu T}$ 下可实现 $\mathcal{O}(1/T)$ 收敛。
• 分析证明，随机洗牌的期望平方误差被一个涉及 $\mu_{s(t)}$ 的乘积项所界定，且该乘积在随机洗牌采样方案下被最小化。
• 通过证明在二次函数 $f_i(x) = \frac{\mu_i}{2}\|x - x^*\|^2$ 下等式成立，确认该界是紧致的，从而验证了速率的精确性。