[论文解读] Non-Asymptotic Delay Bounds for (k,l) Fork-Join Systems and Multi-Stage Fork-Join Networks

Markus Fidler, Yuming Jiang|arXiv (Cornell University)|Dec 28, 2015

Interconnection Networks and Systems参考文献 31被引用 3

一句话总结

本文利用最大-极小系统理论，为 (k,l) 分叉-汇合系统和多阶段分叉-汇合网络推导出非渐近延迟界限，实现了对等待时间和停留时间的统计界限。研究建立了 h 阶网络的端到端延迟标度为 O(h ln(hk))，并表明在高利用率和随机削减速率条件下，l-out-of-k 冗余优于负载均衡。

ABSTRACT

Parallel systems have received increasing attention with numerous recent applications such as fork-join systems, load-balancing, and l-out-of-k redundancy. Common to these systems is a join or resequencing stage, where tasks that have finished service may have to wait for the completion of other tasks so that they leave the system in a predefined order. These synchronization constraints make the analysis of parallel systems challenging and few explicit results are known. In this work, we model parallel systems using a max-plus approach that enables us to derive statistical bounds of waiting and sojourn times. Taking advantage of max-plus system theory, we also show end-to-end delay bounds for multi-stage fork-join networks. We contribute solutions for basic G|G|1 fork-join systems, parallel systems with load-balancing, as well as general (k,l) fork-join systems with redundancy. Our results provide insights into the respective advantages of l-out-of-k redundancy vs. load-balancing.

研究动机与目标

• 为解决并行系统中任务必须等待其他任务完成才能离开系统所带来的同步约束分析挑战。
• 为具有通用到达和处理过程的分叉-汇合系统，推导出等待时间和停留时间的显式、非渐近统计界限。
• 将分析扩展至多阶段分叉-汇合网络以及具有冗余的 (k,l) 分叉-汇合系统，提供端到端延迟保证。
• 比较 l-out-of-k 冗余与负载均衡在不同系统条件下的延迟标度和可靠性表现。
• 基于最大-极小系统理论和基于包络的方法，为一般非 i.i.d. 到达和处理过程提供理论基础。

提出的方法

• 使用最大-极小代数建模分叉-汇合系统，以表示同步约束，并推导停留时间和等待时间的界限。
• 应用 (σ, ρ)-服务和到达包络约束，利用矩生成函数表征工作量和延迟的随机界限。
• 采用切尔诺夫不等式和杜布鞅超鞅不等式，推导延迟的尾概率界限，利用到达时间和服务时间的统计独立性。
• 将框架扩展至处理到达过程的削减速率（确定性与随机性），并支持异构服务器，适用于多路径路由等场景。
• 使用第 l 个顺序统计量建模 (k,l) 分叉-汇合系统，其中一旦 k 个任务中的任意 l 个完成，任务即视为完成。
• 通过组合各阶段界限，推导多阶段网络的端到端延迟界限，表明其在 h 个阶段和每阶段 k 个并行服务器下具有 O(h ln(hk)) 的标度特性。

实验结果

研究问题

• RQ1 与传统分叉-汇合或负载均衡系统相比，(k,l) 分叉-汇合系统中冗余服务器的延迟界限如何标度？
• RQ2 在多路径路由和分叉-汇合网络中，确定性削减速率与随机削减速率对延迟性能有何影响？
• RQ3 在每阶段具有 k 个并行服务器的 h 阶多阶段分叉-汇合网络中，端到端延迟界限如何标度？
• RQ4 在何种场景下，l-out-of-k 冗余在延迟和稳定性方面优于负载均衡？
• RQ5 能否利用最大-极小系统理论，为一般 G|G|1 和 GI|GI|1 分叉-汇合系统推导出非渐近统计延迟界限？

主要发现

• 本文利用矩生成函数和切尔诺夫不等式，为 G|G|1 和 GI|GI|1 分叉-汇合系统建立了非渐近延迟界限，其界限随 k 个并行服务器的规模呈 O(ln k) 标度。
• 对于具有 h 个阶段的多阶段分叉-汇合网络，端到端延迟界限的标度为 O(h ln(hk))，显示出对每阶段并行任务数的对数依赖性。
• 在高利用率场景下，l-out-of-k 冗余显著优于负载均衡，尤其在服务时间非 i.i.d. 时，因可减少重排序延迟。
• 通过包络分析表明，到达过程的确定性削减速率相比随机削减速率能获得更优的延迟性能。
• 该框架支持异构服务器和一般到达过程，可应用于多路径路由和分布式存储系统。
• 分析结果表明，所有任务同时启动的拆分-合并系统（split-merge systems）的稳定性低于分叉-汇合系统，其稳定性区域随 ln k 减小，而分叉-汇合系统则保持更优的可扩展性。