[论文解读] Redundancy Techniques for Straggler Mitigation in Distributed Optimization and Learning

Can Karakus, Yifan Sun+2 more|arXiv (Cornell University)|Mar 14, 2018

Sparse and Compressive Sensing Techniques参考文献 26被引用 40

一句话总结

引入一种编码的分布式优化框架，通过对数据增加冗余，使每次迭代仅使用最快的 k 個 m 个工作节点中的一部分，提供在数据并行和模型并行下对梯度下降、L-BFGS、近端梯度和分块坐标下降的收敛保证。

ABSTRACT

Performance of distributed optimization and learning systems is bottlenecked by "straggler" nodes and slow communication links, which significantly delay computation. We propose a distributed optimization framework where the dataset is "encoded" to have an over-complete representation with built-in redundancy, and the straggling nodes in the system are dynamically left out of the computation at every iteration, whose loss is compensated by the embedded redundancy. We show that oblivious application of several popular optimization algorithms on encoded data, including gradient descent, L-BFGS, proximal gradient under data parallelism, and coordinate descent under model parallelism, converge to either approximate or exact solutions of the original problem when stragglers are treated as erasures. These convergence results are deterministic, i.e., they establish sample path convergence for arbitrary sequences of delay patterns or distributions on the nodes, and are independent of the tail behavior of the delay distribution. We demonstrate that equiangular tight frames have desirable properties as encoding matrices, and propose efficient mechanisms for encoding large-scale data. We implement the proposed technique on Amazon EC2 clusters, and demonstrate its performance over several learning problems, including matrix factorization, LASSO, ridge regression and logistic regression, and compare the proposed method with uncoded, asynchronous, and data replication strategies.

研究动机与目标

• 激发并解决分布式优化与学习中因慢工导致的延迟问题。
• 提出一种编码框架，创建过完备表示以补偿被擦除的更新。
• 在数据并行和模型并行下开发并分析常见算法的编码版本。
• 提供对任意延迟模式和尾部分布鲁棒的确定性收敛保证。
• 通过云集群的实验展示实际性能，并与未编码、复制和异步策略进行比较。

提出的方法

• 用一个过完备变换 S 对数据集进行编码，得到冗余因子 β 的高矩阵编码。
• 在数据并行中，解编码问题 tilde f(w) = (1/2n) ||S(Xw - y)||^2 + λh(w) 时，使用等待来自 m 个工作节点的前 k_t 次更新的更新，并将其他更新视为擦除。
• 在模型并行中，将问题升维为 w = S^T v，并解 tilde g(v) = φ(XS^T v)，在各个工作节点之间具有冗余坐标。
• 在编码框架内提供梯度下降、有限存储的 BFGS、近端梯度和分块坐标下降的具体算法形式。
• 在 S 上施加谱 BRIP（块受限等距性性质）以保证收敛，并推导与延迟尾部行为无关的确定性样本路径收敛结果。
• 给出步长规则、重叠要求和更新规则，确保在任意延迟模式下稳定的 Hessian 估计与收敛。

实验结果

研究问题

• RQ1 在任意延迟模式下且不对延迟尾部作出假设的情况下，编码分布式优化框架是否能保证收敛到原始目标？
• RQ2 编码矩阵 S 需要满足哪些谱属性（BRIP）以确保不同算法（梯度下降、L-BFGS、近端梯度、分块坐标下降）的收敛？
• RQ3 冗余因子 β 以及所选的 k_t（或 η）在数据并行与模型并行下如何影响近似精度和收敛？
• RQ4 在实际学习问题上，编码算法在加速比和解的质量方面与未编码、异步和复制策略相比如何？
• RQ5 在模型并行下能否实现精确收敛，以及在数据并行下有哪些权衡？

主要发现

• 编码方法在梯度下降、L-BFGS、近端梯度和分块坐标下降等编码问题中提供确定性收敛保证。
• 在 S 满足 BRIP 型条件时，梯度下降在平均意义上达到 1/t 收敛，在强凸情形下达到线性收敛，直到一个与 ε 相关的近似。
• 在 BRIP 且附加重叠条件下，编码的 L-BFGS 提供到最优解的线性收敛，以及稳定的逆 Hessian 估计。
• 在 BRIP 及合适步长下，编码的近端梯度在平均意义上保持 1/t 收敛并使函数值在迭代中非增。
• 编码的分块坐标下降在凸问题上达到标准的 1/t 速率，在受限强凸性下达到线性速率，在模型并行下达到精确的最小潜力。
• 在 Amazon EC2 上的实验显示，在矩阵分解、LASSO、岭回归和逻辑回归等任务中，相对于未编码、复制和异步基线有显著的加速。