[论文解读] On Batch-Processing Based Coded Computing for Heterogeneous Distributed Computing Systems

Baoqian Wang, Junfei Xie+3 more|arXiv (Cornell University)|Dec 29, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用 11

一句话总结

本文提出基于批量处理的编码计算（BPCC），这是一种新颖的编码分布式计算框架，专为异构系统设计，使工作节点能在完整计算完成前分批返回部分结果，从而降低延迟。BPCC 实现了渐近最优性，在存在慢启动节点的情况下，其任务完成时间优于最先进的方案（如 HCMM），尤其在有限或无限延迟条件下表现更优。

ABSTRACT

In recent years, coded distributed computing (CDC) has attracted significant attention, because it can efficiently facilitate many delay-sensitive computation tasks against unexpected latencies in distributed computing systems. Despite such a salient feature, many design challenges and opportunities remain. In this paper, we focus on practical computing systems with heterogeneous computing resources, and design a novel CDC approach, called batch-processing based coded computing (BPCC), which exploits the fact that every computing node can obtain some coded results before it completes the whole task. To this end, we first describe the main idea of the BPCC framework, and then formulate an optimization problem for BPCC to minimize the task completion time by configuring the computation load. Through formal theoretical analyses, extensive simulation studies, and comprehensive real experiments on the Amazon EC2 computing clusters, we demonstrate promising performance of the proposed BPCC scheme, in terms of high computational efficiency and robustness to uncertain disturbances.

研究动机与目标

• 解决异构分布式计算系统中因慢启动节点导致的延迟问题。
• 设计一种编码计算框架，支持提前交付部分结果，以减少任务完成时间。
• 优化异构节点之间的计算负载分配，以最小化期望完成时间。
• 通过在 Amazon EC2 上的仿真和真实实验，评估 BPCC 在真实慢启动节点条件下的性能表现。
• 为 BPCC 的渐近最优性及参数敏感性建立理论保证。

提出的方法

• 建立优化问题，以在异构节点采用位移指数分布处理时间的前提下，最小化期望任务完成时间。
• 通过求解从主公式推导出的替代优化问题，设计最优负载分配策略。
• 引入一种批量处理机制，使每个工作节点在完整任务完成前分多次批次返回部分编码结果。
• 对部分结果应用奇异值分解（SVD），以支持时间敏感应用的早期近似解。
• 使用参数 $ p $ 控制批次数量，实现计算效率与存储开销之间的权衡。
• 通过在 Amazon EC2 集群上针对不同慢启动节点条件的广泛仿真与真实实验，验证该框架的有效性。

实验结果

研究问题

• RQ1 在异构分布式系统中，编码计算中的部分结果交付如何减少任务完成时间？
• RQ2 在基于批量处理的编码框架中，如何在异构节点之间实现最优负载分配策略，以最小化期望完成时间？
• RQ3 在慢启动节点条件下，批次数量 $ p $ 如何影响 BPCC 的性能与鲁棒性？
• RQ4 在有限和无限慢启动延迟条件下，BPCC 相较于现有编码与非编码方案，在延迟与可靠性方面有多大的性能优势？
• RQ5 可以为 BPCC 的渐近最优性及参数敏感性建立哪些理论保证？

主要发现

• 在异构节点处理时间条件下，BPCC 实现了最小化期望任务完成时间的渐近最优性。
• 当存在具有有限延迟的慢启动节点时，BPCC 显著优于非编码和 HCMM 方案，尤其在慢启动节点比例超过 20% 时优势更明显。
• 在无限慢启动延迟条件下，BPCC 保持非零成功率，且任务完成速度优于 HCMM，而非编码方案则完全失败。
• 随着批次数量 $ p $ 增加，BPCC 的平均执行时间下降，表明当 $ p $ 从 5 增加到 100 时，效率显著提升。
• 在有限延迟场景下，BPCC 的性能退化速度慢于基准方案，表明其对慢启动不确定性具有更强的鲁棒性。
• 理论分析表明，BPCC 的性能受其关键参数 $ p $ 的约束，最差与最佳性能分别在 $ p $ 的极端取值下实现。