[论文解读] Variance Reduction for Distributed Stochastic Gradient Descent

Soham De, Gavin Taylor+1 more|arXiv (Cornell University)|Dec 5, 2015

Stochastic Gradient Optimization Techniques参考文献 24被引用 6

一句话总结

该论文提出 VR-lite，一种用于分布式随机梯度下降的方差缩减方法，通过使用过去迭代值的移动平均值，消除了对完整梯度计算和额外内存存储的需求。该方法在同步和异步分布式设置下均实现了可扩展、稳定且快速的收敛，在低通信频率的大规模分类和回归任务中优于当前最先进方法。

ABSTRACT

Variance reduction (VR) methods boost the performance of stochastic gradient descent (SGD) by enabling the use of larger, constant stepsizes and preserving linear convergence rates. However, current variance reduced SGD methods require either high memory usage or an exact gradient computation (using the entire dataset) at the end of each epoch. This limits the use of VR methods in practical distributed settings. In this paper, we propose a variance reduction method, called VR-lite, that does not require full gradient computations or extra storage. We explore distributed synchronous and asynchronous variants that are scalable and remain stable with low communication frequency. We empirically compare both the sequential and distributed algorithms to state-of-the-art stochastic optimization methods, and find that our proposed algorithms perform favorably to other stochastic methods.

研究动机与目标

• 解决现有方差缩减方法在分布式设置中需要高内存或精确梯度计算的局限性。
• 开发一种适用于大规模分布式优化、通信频率较低的可扩展、稳定方差缩减算法。
• 实现在通信成本高昂的异步和完全分布式环境中方差缩减的实际应用。
• 在真实世界机器学习任务中，实现比现有分布式 SGD 方法更快的收敛速度和更高的稳定性。

提出的方法

• VR-lite 通过维护过去迭代值的移动平均值，取代完整的梯度计算和历史存储，避免存储单个梯度。
• 采用校正后的梯度更新形式 $ g^k = \nabla f_{i_k}(x) - \left( \nabla f_{i_k}(y) + \tilde{g}_y \right) $，其中 $ y $ 为过去的一个迭代点，$ \tilde{g}_y $ 为近期梯度的平均值。
• 该方法被适配于同步和异步分布式设置，仅在周期性间隔进行通信。
• 在分布式设置中，本地工作节点独立更新参数，仅每 $ \tau $ 步进行一次通信，从而降低通信开销。
• 该方法避免了像 SAGA 那样存储 $ n $ 个先前梯度，也无需像 SVRG 那样计算整个数据集上的 $ \nabla f(x) $。
• 该方法使用 MPI 在 HPC 集群上实现，采用锁机制以确保异步执行的一致性。

实验结果

研究问题

• RQ1 是否可以在不依赖完整梯度计算或额外内存存储的情况下，在分布式 SGD 中实现方差缩减？
• RQ2 基于移动平均的方差缩减方法在收敛速度和稳定性方面与 SAGA 和 SVRG 相比表现如何？
• RQ3 VR-lite 是否能在分布式设置中保持低通信频率下的快速收敛和稳定性？
• RQ4 VR-lite 在同步和异步配置下，随着分布式工作节点数量增加时的可扩展性如何？

主要发现

• 在所有测试的顺序实验中，VR-lite 的收敛速度均快于 SAGA 和 SVRG，尽管 SAGA 的内存使用量更高。
• 在分布式设置中，Sync VR-lite 和 Async VR-lite 在 SUSY 和 MILLIONSONG 数据集上显著优于 Hogwild!、EASGD 和异步 SVRG。
• 在使用 750 个工作节点的 SUSY 数据集中，VR-lite 在 5 秒内完成模型训练，展现出强大的可扩展性。
• 在使用 480 个工作节点的 MILLIONSONG 数据集中，VR-lite 约 10 秒内实现收敛，且在高工作节点数量下性能增益趋于平缓。
• 即使在高通信延迟下，算法仍保持稳定，表明对不频繁同步具有鲁棒性。
• 异步变体在无锁实现下显示出进一步提速的潜力，表明其具有高度的实际效率。