[论文解读] Straggler Mitigation in Distributed Optimization Through Data Encoding

Can Karakus, Yifan Sun+2 more|arXiv (Cornell University)|Nov 14, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用 63

一句话总结

该论文在数据本身中嵌入冗余，以缓解分布式优化中的延迟节点（stragglers），从而在仅使用子集节点的情况下实现对编码无感知的梯度下降和L-BFGS收敛至近似解。

ABSTRACT

Slow running or straggler tasks can significantly reduce computation speed in distributed computation. Recently, coding-theory-inspired approaches have been applied to mitigate the effect of straggling, through embedding redundancy in certain linear computational steps of the optimization algorithm, thus completing the computation without waiting for the stragglers. In this paper, we propose an alternate approach where we embed the redundancy directly in the data itself, and allow the computation to proceed completely oblivious to encoding. We propose several encoding schemes, and demonstrate that popular batch algorithms, such as gradient descent and L-BFGS, applied in a coding-oblivious manner, deterministically achieve sample path linear convergence to an approximate solution of the original problem, using an arbitrarily varying subset of the nodes at each iteration. Moreover, this approximation can be controlled by the amount of redundancy and the number of nodes used in each iteration. We provide experimental results demonstrating the advantage of the approach over uncoded and data replication strategies.

研究动机与目标

• 在大规模分布式优化中激励减轻延迟节点的问题。
• 提出在 X 和 y 中直接引入冗余的数据编码策略。
• 实现编码无感知执行，使节点在不知道编码的情况下进行运算。
• 证明在编码数据下梯度下降和 L-BFGS 的收敛性保证。
• 提供实用的编码方案并对未编码和复制策略进行实证验证。

提出的方法

• 将数据编码为 兀tilde;X = S X 和 兀tilde;y = S y，冗余因子为 beta；并求解 兀f;min_{w} (1/(2b n)) ||兀S(Xw - y)||^2。
• 在每次迭代中仅由最快的 k 个节点提供梯度分量。
• 在对 S 的特征谱条件下推导收敛性保证，显示对 w* 的确定性线性收敛至一个邻域。
• 提出三类编码矩阵：等角紧框架（ETF）、快速变换和随机矩阵。
• 将梯度下降和 L-BFGS（带线搜索）适配到编码问题并分析其行为。
• 讨论数据编码带来的隐私优势以及对非光滑或受约束问题的潜在泛化。

实验结果

研究问题

• RQ1 编码数据在每次迭代仅使用子集工作节点更新时，是否仍能为批量方法提供收敛性保证？
• RQ2 编码矩阵 S 需要满足何种谱性质才能确保收敛到原始最优解的一个邻域？
• RQ3 具体的编码方案（ETF、快速变换、随机矩阵）在收敛性和分布式优化实际性方面表现如何？
• RQ4 是否可以在不修改核心过程的前提下，使梯度下降和 L-BFGS 具有编码无感知性？
• RQ5 冗余水平、每次迭代等待的响应节点数量与解的近似质量之间的权衡是什么？

主要发现

• 通过冗余对数据进行编码使仅使用部分节点即可实现对 w* 的确定性线性收敛至邻域。
• 提出三类编码矩阵（ETF、快速变换、随机矩阵）以满足收敛所需的编码属性。
• 实验结果表明，在岭回归和矩阵分解任务中，编码方案优于未编码和复制策略。
• 收敛性保証可通过冗余水平和每次迭代等待的节点更新数量进行调优。
• 由于节点在编码数据上运算而非原始数据，因此存在隐私优势。
• 该框架可扩展到更一般的目标和受约束/非光滑问题。