[论文解读] Serverless Straggler Mitigation using Local Error-Correcting Codes

Vipul Gupta, Dominic Carrano+4 more|arXiv (Cornell University)|Jan 21, 2020

Caching and Content Delivery参考文献 38被引用 6

一句话总结

本文提出了一种无服务器、完全分布式的编码方案，利用局部纠错码来缓解云平台上矩阵乘法中的慢启动节点问题。通过在无中心主控节点的情况下实现工作节点间的并行编码与解码，该方法相比推测执行和现有编码方案，将端到端延迟降低了25%或以上，同时在解码时间上实现了渐近最优性。

ABSTRACT

Inexpensive cloud services, such as serverless computing, are often vulnerable to straggling nodes that increase end-to-end latency for distributed computation. We propose and implement simple yet principled approaches for straggler mitigation in serverless systems for matrix multiplication and evaluate them on several common applications from machine learning and high-performance computing. The proposed schemes are inspired by error-correcting codes and employ parallel encoding and decoding over the data stored in the cloud using serverless workers. This creates a fully distributed computing framework without using a master node to conduct encoding or decoding, which removes the computation, communication and storage bottleneck at the master. On the theory side, we establish that our proposed scheme is asymptotically optimal in terms of decoding time and provide a lower bound on the number of stragglers it can tolerate with high probability. Through extensive experiments, we show that our scheme outperforms existing schemes such as speculative execution and other coding theoretic methods by at least 25%.

研究动机与目标

• 解决无服务器计算中慢启动节点的问题，其因工作节点性能差异导致端到端延迟显著增加。
• 克服在编码/解码成本不可忽略的大规模无服务器环境中，推测执行和主控依赖型编码方案的局限性。
• 设计一种完全分布式的无主控框架，通过利用纠错码中的局部性来最小化总执行时间。
• 通过在计算瓶颈层——矩阵乘法——上运行，而不改变算法行为，确保与现有应用的兼容性。
• 在现实的慢启动节点分布下，提供解码失败概率和解码时间渐近最优性的理论保证。

提出的方法

• 采用局部可修复码（LRCs）实现无服务器工作节点间的高效、并行编码与解码，避免集中式协调。
• 将矩阵乘法分解为块，并对存储在云中的数据块应用编码，采用支持局部恢复的结构化码设计。
• 将编码与解码任务分发到各工作节点，使得单个节点不承担全部计算，从而消除通信、存储和计算中的主控瓶颈。
• 使用概率分析，通过统计网格化块结构中不可解码的慢启动节点配置（如4、5、6、7个慢启动节点集合）来上界估计解码失败的概率。
• 基于对故障配置的组合计数，推导出该方案在高概率下可容忍的慢启动节点数量的理论下界。
• 将解码过程建模为利用可解码工作节点子集的线性系统重构问题，确保在收集到足够非慢启动结果时保持正确性。

实验结果

研究问题

• RQ1 无主控、分布式的编码方案是否能在无服务器系统中，通过矩阵乘法的端到端延迟降低方面优于推测执行？
• RQ2 在大规模无服务器环境中，如何利用纠错码中的局部性来最小化编码与解码成本？
• RQ3 在基于块编码的矩阵乘法框架中，现实慢启动节点分布下的解码失败概率理论上可达到的上界是什么？
• RQ4 该方案在保持解码时间渐近最优性的同时，能在多大程度上容忍慢启动节点？
• RQ5 该方案是否可普遍应用于现有应用，而无需修改其算法逻辑，同时保持正确性与透明性？

主要发现

• 与推测执行及其他现有编码理论方法相比，所提方案在无服务器环境中将端到端延迟降低了至少25%。
• 该方案在解码时间上实现了渐近最优性，即在收集到足够工作节点结果后，最小化重构最终结果所需的时间。
• 通过在基于块的矩阵布局中对不可解码的慢启动节点配置（如4、5、6、7个慢启动节点集合）进行组合计数，上界估计了解码失败的概率。
• 该方法通过将编码与解码分布到工作节点上，成功消除了主控节点瓶颈，实现在无服务器平台上的完全水平扩展。
• 理论分析表明，该方案在慢启动节点比例较低时（例如AWS Lambda上约为2%）可高概率容忍大量慢启动节点。
• 该框架可普遍应用于任何依赖矩阵乘法的算法，因其在计算原语层透明运行，无需修改用户级代码。