[论文解读] Near-Optimal Straggler Mitigation for Distributed Gradient Methods

Songze Li, Seyed Mohammadreza Mousavi Kalan+2 more|arXiv (Cornell University)|Oct 27, 2017

Stochastic Gradient Optimization Techniques参考文献 11被引用 8

一句话总结

本文提出批量优惠券收集者（BCC）方案，一种去中心化的分布式计算方法，通过使主节点在收集到覆盖所有数据批次的部分梯度后即可重建梯度，从而缓解梯度下降中的慢启动者（straggler）效应。BCC 实现了近乎最优的恢复阈值和通信阈值，使 EC2 集群上的运行时间最多减少 85.4%，并能以极少的协调开销有效推广至异构集群。

ABSTRACT

Modern learning algorithms use gradient descent updates to train inferential models that best explain data. Scaling these approaches to massive data sizes requires proper distributed gradient descent schemes where distributed worker nodes compute partial gradients based on their partial and local data sets, and send the results to a master node where all the computations are aggregated into a full gradient and the learning model is updated. However, a major performance bottleneck that arises is that some of the worker nodes may run slow. These nodes a.k.a. stragglers can significantly slow down computation as the slowest node may dictate the overall computational time. We propose a distributed computing scheme, called Batched Coupon's Collector (BCC) to alleviate the effect of stragglers in gradient methods. We prove that our BCC scheme is robust to a near optimal number of random stragglers. We also empirically demonstrate that our proposed BCC scheme reduces the run-time by up to 85.4% over Amazon EC2 clusters when compared with other straggler mitigation strategies. We also generalize the proposed BCC scheme to minimize the completion time when implementing gradient descent-based algorithms over heterogeneous worker nodes.

研究动机与目标

• 为解决分布式梯度下降中的慢启动者效应，即慢速工作节点导致整体计算时间瓶颈的问题。
• 在保持低通信负载的前提下，最小化工作者节点的等待数量（恢复阈值）。
• 设计一种无需全局协调进行数据分配的去中心化、可扩展方案。
• 将该方案推广至计算和通信速度各异的工作节点集群。
• 在真实云环境中实证验证其相对于现有慢启动者缓解策略的性能提升。

提出的方法

• BCC 方案将训练数据集划分为大小为 r 的批次，将每个工作节点分配一组随机选择的数据点以计算部分梯度。
• 每个工作节点计算并发送部分梯度给主节点，主节点在所有批次均被覆盖后即可重建完整梯度。
• 恢复阈值的理论边界为 $ K_{\text{BCC}}(r) = \lceil \frac{m}{r} \rceil H_{\lceil \frac{m}{r} \rceil} $，在对数因子范围内接近最优。
• 对于异构集群，该方案通过求解优化问题来基于工作节点速度分配数据负载，以最小化预期覆盖时间。
• 广义 BCC 使用无需协调的随机化数据分配，支持在工作节点动态加入或退出时实现动态扩展。
• 该方法利用优惠券收集者问题框架，将梯度恢复建模为对数据批次的覆盖过程。

实验结果

研究问题

• RQ1 在给定计算负载 $ r $ 的条件下，分布式梯度下降可实现的最小恢复阈值 $ K^*(r) $ 是多少？实际方案能多接近该理论下限？
• RQ2 一种去中心化、无需协调的数据分配策略能否在分布式训练中实现近乎最优的慢启动者容错能力？
• RQ3 在真实云集群中，BCC 方案与负载均衡及其他慢启动者缓解策略相比，完成时间表现如何？
• RQ4 工作节点异构性对梯度计算时间有何影响？如何在无集中协调的前提下最小化该影响？
• RQ5 通过基于工作节点特性的数据分配优化，广义 BCC 方案能否在异构环境中实现近乎最优性能？

主要发现

• BCC 方案实现了 $ K_{\text{BCC}}(r) = \lceil \frac{m}{r} \rceil H_{\lceil \frac{m}{r} \rceil} $ 的恢复阈值，其与理论下限 $ K^*(r) \geq \frac{m}{r} $ 的差距在对数因子范围内。
• 在 Amazon EC2 集群上，BCC 相较于基线慢启动者缓解策略，最多可将运行时间减少 85.4%。
• 在包含 100 个节点的异构集群中，广义 BCC 方案相较负载均衡策略，平均计算时间减少 29.28%。
• 该方案实现了近乎最优的通信负载，满足 $ L_{\text{BCC}}(r) \leq \lceil L^*(r) \rceil H_{\lceil \frac{m}{r} \rceil} $，在对数因子范围内匹配下限。
• 广义 BCC 支持在新工作节点加入时实现无需主节点或其他节点协调的动态、去中心化工作负载调整。
• 理论与数值结果均证实，在异构环境中，随机化数据分配显著优于负载均衡策略，能更有效地最小化完成时间。