[论文解读] Non-Asymptotic Delay Bounds for Multi-Server Systems with Synchronization Constraints

Markus Fidler, Brenton Walker+1 more|arXiv (Cornell University)|Oct 20, 2016

Advanced Queuing Theory Analysis参考文献 36被引用 5

一句话总结

本文提出一种最大-加法服务器模型，用于推导具有同步约束的多服务器分支-汇合系统中非渐近统计延迟界限，表明端到端延迟随 $h$ 个阶段和 $k$ 个并行服务器呈 $\mathcal{O}(h\ln k)$ 增长。该方法可对 Spark 和 Hadoop 等多阶段数据处理系统进行严格的性能分析，揭示在一般到达和处理过程下，分支-汇合配置通常优于经典多服务器设置。

ABSTRACT

Multi-server systems have received increasing attention with important implementations such as Google MapReduce, Hadoop, and Spark. Common to these systems are a fork operation, where jobs are first divided into tasks that are processed in parallel, and a later join operation, where completed tasks wait until the results of all tasks of a job can be combined and the job leaves the system. The synchronization constraint of the join operation makes the analysis of fork-join systems challenging and few explicit results are known. In this work, we model fork-join systems using a max-plus server model that enables us to derive statistical bounds on waiting and sojourn times for general arrival and service time processes. We contribute end-to-end delay bounds for multi-stage fork-join networks that grow in $\mathcal{O}(h \ln k)$ for $h$ fork-join stages, each with $k$ parallel servers. We perform a detailed comparison of different multi-server configurations and highlight their pros and cons. We also include an analysis of single-queue fork-join systems that are non-idling and achieve a fundamental performance gain, and compare these results to both simulation and a live Spark system.

研究动机与目标

• 为解决大数据框架（如 Spark 和 Hadoop）中常见的具有同步约束的多服务器系统端到端延迟分析挑战。
• 开发一种适用于一般到达和处理过程的统计延迟界限框架，克服渐近或基于近似方法的局限性。
• 在同步约束下，比较不同多服务器配置（包括分支-汇合、单队列和经典多服务器系统）的延迟性能。
• 通过引入非独立同分布的服务时间，扩展先前工作，并证明多阶段网络中的延迟缩放行为。

提出的方法

• 使用最大-加法服务器模型对分支-汇合系统进行建模，以表示同步约束并支持组合式分析。
• 应用矩生成函数（MGF）技术与超级 martingale 论证，推导等待时间和停留时间的尾部界限。
• 利用 Chernoff 不等式和负二项级数估计方法，对多阶段网络中端到端延迟的 MGF 进行上界估计。
• 利用各阶段之间的统计独立性，推导出 $h$ 个阶段和 $k$ 个并行服务器的紧致 $\mathcal{O}(h\ln k)$ 延迟缩放。
• 为一般流量和处理过程下的分支-汇合系统引入服务曲线表征。
• 通过仿真及与实际 Spark 部署的对比验证结果，确认理论界限的有效性。

实验结果

研究问题

• RQ1 在每阶段具有 $k$ 个并行服务器、共 $h$ 个阶段的多阶段分支-汇合网络中，端到端延迟如何缩放？
• RQ2 在一般到达和处理过程（包括非独立同分布服务时间）下，分支-汇合系统的统计延迟界限是什么？
• RQ3 在同步约束下，不同多服务器配置（如分支-汇合、单队列和经典多服务器）在延迟性能方面如何比较？
• RQ4 最大-加法服务器模型能否用于推导具有阶段间统计独立性的多阶段网络的非渐近延迟界限？
• RQ5 与标准配置相比，任务复制和负载均衡在分支-汇合系统中的性能影响如何？

主要发现

• 在 $h$ 阶段多服务器分支-汇合网络中，端到端延迟随 $k$（每阶段并行服务器数）呈 $\mathcal{O}(h\ln k)$ 增长。
• 在大多数配置下，分支-汇合系统优于经典多服务器系统，尤其在一般和非独立同分布服务过程下表现更优。
• 单队列分支-汇合系统通过避免空闲时间，实现了根本性的性能提升，优于非空闲配置。
• $\mathcal{O}(h\ln k)$ 的延迟缩放比先前工作中未假设阶段独立性时得到的 $\mathcal{O}(h\ln(hk))$ 边界更紧致。
• 通过 MGF 和 Chernoff 技术推导出的理论延迟界限与仿真结果及实际 Spark 部署高度一致。
• 多路径路由和负载均衡仅在低至中等利用率下有益；否则，由于同步约束，重排序延迟占主导地位。