[论文解读] Polynomially Coded Regression: Optimal Straggler Mitigation via Data Encoding

Songze Li, Seyed Mohammadreza Mousavi Kalan+3 more|arXiv (Cornell University)|May 24, 2018

Distributed Sensor Networks and Detection Algorithms参考文献 20被引用 48

一句话总结

PCR 在工作节点编码数据，以通过多项式插值来实现梯度计算，从而显著降低分布式最小二乘回归中对拖后腿节点的鲁棒恢复阈值。

ABSTRACT

We consider the problem of training a least-squares regression model on a large dataset using gradient descent. The computation is carried out on a distributed system consisting of a master node and multiple worker nodes. Such distributed systems are significantly slowed down due to the presence of slow-running machines (stragglers) as well as various communication bottlenecks. We propose "polynomially coded regression" (PCR) that substantially reduces the effect of stragglers and lessens the communication burden in such systems. The key idea of PCR is to encode the partial data stored at each worker, such that the computations at the workers can be viewed as evaluating a polynomial at distinct points. This allows the master to compute the final gradient by interpolating this polynomial. PCR significantly reduces the recovery threshold, defined as the number of workers the master has to wait for prior to computing the gradient. In particular, PCR requires a recovery threshold that scales inversely proportionally with the amount of computation/storage available at each worker. In comparison, state-of-the-art straggler-mitigation schemes require a much higher recovery threshold that only decreases linearly in the per worker computation/storage load. We prove that PCR's recovery threshold is near minimal and within a factor two of the best possible scheme. Our experiments over Amazon EC2 demonstrate that compared with state-of-the-art schemes, PCR improves the run-time by 1.50x ~ 2.36x with naturally occurring stragglers, and by as much as 2.58x ~ 4.29x with artificial stragglers.

研究动机与目标

• 动机并解决在最小二乘回归的分布式梯度下降中出现的缓慢拖后腿节点和通信瓶颈。
• 开发基于数据编码的方案以降低梯度恢复阈值。
• 通过在 Amazon EC2 上的实验展示理论最优性保证和实际收益。
• 通过核技巧将该方法扩展到核化/非线性回归问题。
• 提供与先前梯度编码方案的复杂度对比。

提出的方法

• 在工作节点之间对数据进行编码，使每个节点通过编码子矩阵计算多项式评估。
• 每个工作节点使用次数为 2⟨n/r⟩−2 的多项式次数，并从最快的 2⟨n/r⟩−1 个工作节点进行插值以恢复完整梯度。
• 实现恢复阈值 KPCR(r)=2⌈n/r⌉−1，这在下界 K*(r) 的二倍近似范围内。
• 证明一个下界，表明任何方案至少需要 ⌈n/r⌉ 个工作节点，因此这道因子2的差距近似最优。
• 在恢复阈值、解码复杂度和通信方面将 PCR 与梯度编码（GC）进行比较。
• 通过在 Amazon EC2 上的实验，对比 GC、naive 和 BCC 方案，展示实际收益。

实验结果

研究问题

• RQ1 在固定的每个工作节点存储/计算负载 r 下，编码分布式回归能达到的最小恢复阈值是多少？
• RQ2 我们是否能够设计基于数据编码的方案，进一步降低主节点等待梯度的时间，超越梯度编码方法？
• RQ3 在真实分布式环境中，与现有的拖后腿缓解方案相比，PCR 的实际表现如何？
• RQ4 在保持对拖后腿鲁棒性的同时，PCR 思路能否通过核方法扩展到非线性回归？
• RQ5 在 GD 迭代中，PCR 相对于 GC 的计算与通信权衡有哪些？

主要发现

# workers	# batches processed	run-time	at each worker	method	notes
40	10	16.821 s	GC	—	Subtable 1: GC vs PCR with 40 workers, r=10
40	10	3.925 s	PCR	—	Subtable 1: GC vs PCR with 40 workers, r=10
40	10	16.821 s	GC	—	Subtable 2: GC vs PCR with 40 workers, r=10
40	10	3.925 s	PCR	—	Subtable 2: GC vs PCR with 40 workers, r=10

• PCR 实现恢复阈值 KPCR(r)=2⌈n/r⌉−1，相较于在同一 r 下的 GC 的 n−r+1，提升约 r/2×。
• 一个近乎最优的下界表明任何方案至少需要 ⌈n/r⌉ 个工作节点，使 PCR 相对于最优解在二倍范围内。
• PCR 的解码复杂度随着 O(d(n/r) log^2(n/r) log log(n/r)) 增长，对于固定的 r，其与 n 无关；与 GC 相比，这是不同的。
• 在 Amazon EC2 的实验表明，PCR 在自然拖后腿下比 GC 快 1.50×–2.36×，在人工拖后腿下快 2.58×–4.29×。
• PCR 通过需要更少的工作节点结果来降低每次迭代的通信量（2⌈n/r⌉−1 代替 n−r+1）。
• 通过对数据矩阵应用核方法，可以将 PCR 扩展到非线性回归。