[论文解读] Shuffling Gradient-Based Methods with Momentum.

Trang H. Tran, Lam M. Nguyen+1 more|arXiv (Cornell University)|Nov 24, 2020

Stochastic Gradient Optimization Techniques参考文献 24被引用 4

一句话总结

本文提出了一种基于动量的新型洗牌梯度方法，用于非凸有限和优化，在L-Lipschitz连续性和有界方差条件下，结合随机重排与动量，实现了当前最优的收敛速率。该方法在性能上优于现有方法，尤其在使用随机重排时，收敛速度相比现有方法提升了数据规模的分数之一。

ABSTRACT

We combine two advanced ideas widely used in optimization for machine learning: shuffling strategy and momentum technique to develop a novel shuffling gradient-based method with momentum to approximate a stationary point of non-convex finite-sum minimization problems. While our method is inspired by momentum techniques, its update is fundamentally different from existing momentum-based methods. We establish that our algorithm achieves a state-of-the-art convergence rate for both constant and diminishing learning rates for any shuffling strategy under standard assumptions (i.e., L-smoothness and bounded variance). In particular, if a randomized reshuffling strategy is used, we can further improve our convergence rate by a fraction of the data size. When the shuffling strategy is fixed, we develop another new algorithm that is similar to existing momentum methods. This algorithm covers the single-shuffling and incremental gradient schemes as special cases. We prove the same convergence rate of this algorithm under the L-smoothness and bounded gradient assumptions. We demonstrate our algorithms via numerical simulations on standard datasets and compare them with existing shuffling methods. Our tests have shown encouraging performance of the new algorithms.

研究动机与目标

• 为通过先进优化技术加速非凸有限和最小化问题的收敛速度提供解决方案。
• 弥合洗牌策略与基于动量的方法之间的差距，这两者在优化中传统上被分别处理。
• 构建一个统一框架，推广现有方法，如单次洗牌和增量梯度方案。
• 在标准假设下建立理论收敛保证，包括L-Lipschitz连续性和有界方差或梯度。

提出的方法

• 该方法将洗牌策略与基于动量的更新规则相结合，从根本上区别于现有动量方法。
• 采用随机重排策略在每次迭代中重新排列数据样本，以提升收敛速度。
• 对于固定洗牌，该算法采用与标准动量方法类似的更新机制，但将其推广至包含单次洗牌和增量梯度方案。
• 更新规则被设计为在L-Lipschitz连续性和有界方差条件下保持收敛，确保在不同数据洗牌模式下的鲁棒性。
• 理论分析基于标准假设：目标函数的L-Lipschitz连续性以及梯度的有界方差。
• 在标准机器学习数据集上进行数值模拟，以验证其相对于现有基于洗牌的优化方法的性能。

实验结果

研究问题

• RQ1 将洗牌策略与动量结合是否能提升非凸有限和优化中的收敛速率？
• RQ2 洗牌策略的选择——随机洗牌与固定洗牌——如何影响基于动量方法的收敛行为？
• RQ3 在标准假设（如L-Lipschitz连续性和有界方差）下，所提方法的理论收敛速率是多少？
• RQ4 所提方法能否在一个统一框架内推广现有方法，如单次洗牌和增量梯度方案？

主要发现

• 在标准假设下，所提方法对恒定学习率和递减学习率均实现了当前最优的收敛速率。
• 采用随机重排策略时，相比现有方法，收敛速率提升了数据规模的分数之一。
• 对于固定洗牌，在L-Lipschitz连续性和有界梯度假设下，算法保持相同的收敛速率。
• 在标准数据集上的数值模拟结果表明，所提算法在实践中优于现有基于洗牌的方法。
• 该方法将单次洗牌和增量梯度方案作为特例进行推广，展现出更广泛的应用潜力。
• 理论分析证实，该方法可收敛至非凸有限和问题的驻点，验证了其实际应用价值。