[论文解读] SGD with shuffling: optimal rates without component convexity and large epoch requirements

Kwangjun Ahn, Chulhee Yun+1 more|arXiv (Cornell University)|Jun 12, 2020

Stochastic Gradient Optimization Techniques参考文献 12被引用 11

一句话总结

该论文在不假设单个分量函数凸性的情况下，为无放回SGD（特别是RandomShuffle和SingleShuffle）建立了极小极大最优收敛速率。通过消除对分量凸性的依赖并去除先前工作中常见的大周期数要求，实现了紧致的收敛界——最优性仅相差多对数因子，尤其在强凸和梯度主导设定下表现突出。

ABSTRACT

We study without-replacement SGD for solving finite-sum optimization problems. Specifically, depending on how the indices of the finite-sum are shuffled, we consider the RandomShuffle (shuffle at the beginning of each epoch) and SingleShuffle (shuffle only once) algorithms. First, we establish minimax optimal convergence rates of these algorithms up to poly-log factors. Notably, our analysis is general enough to cover gradient dominated nonconvex costs, and does not rely on the convexity of individual component functions unlike existing optimal convergence results. Secondly, assuming convexity of the individual components, we further sharpen the tight convergence results for RandomShuffle by removing the drawbacks common to all prior arts: large number of epochs required for the results to hold, and extra poly-log factor gaps to the lower bound.

研究动机与目标

• 弥合无放回SGD（特别是RandomShuffle和SingleShuffle）收敛分析中的理论空白，这些方法在实践中广泛应用但理论理解仍不足。
• 在不假设单个分量函数 $f_i$ 凸性的情况下，推导出基于洗牌的SGD变体的极小极大最优收敛速率。
• 消除先前分析中困扰性的大周期数要求（$K \gtrsim \kappa^\alpha$），实现对所有 $K \geq 1$ 成立的紧致界。
• 通过消除额外的多对数因子和有界迭代值假设，进一步收紧强凸目标下RandomShuffle的收敛结果。
• 在强凸和二次目标设定下，为SingleShuffle建立紧致收敛界，与已知下界一致。

提出的方法

• 提出一种基于递推不等式和乘积界的新分析框架，以控制基于洗牌的SGD中的误差传播。
• 利用递归界技术推导出期望次优性的上界，结合调和型和数列的指数衰减性质。
• 对序列 $a_j$ 和 $b_j$ 应用乘积估计，以控制误差项的演化，同时仔细处理对数因子。
• 引入对洗牌依赖结构的精细化分析，避免独立同分布假设，准确刻画无放回顺序采样的特性。
• 通过命题20中的反导数近似方法，对含 $k_0 + nk$ 幂次的求和进行有界控制，实现紧致的渐近控制。
• 通过与Rajput等[17]及Safran和Shamir[20]的已知下界匹配，推导出仅相差多对数因子的最优界。

实验结果

研究问题

• RQ1 能否在不假设单个分量函数凸性的情况下，为RandomShuffle和SingleShuffle SGD建立最优收敛速率？
• RQ2 能否消除先前工作中出现的大周期数要求（$K \gtrsim \kappa^\alpha$），以实现对所有 $K \geq 1$ 成立的紧致界？
• RQ3 能否在强凸目标下进一步收紧RandomShuffle的收敛速率，使其与已知下界相比不再包含额外的多对数因子？
• RQ4 SingleShuffle的分析是否能在二次和强凸设定下实现与已知下界一致的紧致收敛速率？
• RQ5 能否在凸分量下，从RandomShuffle的收敛分析中移除有界迭代值假设（A1）？

主要发现

• 该论文在不假设单个分量函数 $f_i$ 凸性的情况下，为RandomShuffle和SingleShuffle SGD建立了极小极大最优收敛速率，仅相差多对数因子。
• 在强凸目标且分量光滑的设定下，该论文实现了 $O\left(\frac{1}{nK^2}\right)$ 的收敛速率，且 $K \geq 1$，无需再依赖 $K \gtrsim \kappa^2$ 或 $K \gtrsim \kappa$ 的条件。
• 该分析在RandomShuffle的最紧收敛界中去除了有界迭代值假设（A1），优于先前需要该条件的研究工作。
• 在强凸二次目标下，SingleShuffle的收敛速率达到了 $O\left(\frac{1}{(nK)^2} + \frac{1}{nK^3}\right)$，与已知下界 $\Omega\left(\frac{1}{(nK)^2} + \frac{1}{nK^3}\right)$ 仅相差常数因子。
• 该结果适用于梯度主导的非凸函数，超越了凸或强凸设定的限制，且仅相差多对数因子即为最优。
• 该分析框架通过推导紧致的递推界和乘积估计，成功处理了无放回采样中的依赖结构，实现了更精确的收敛控制。