[论文解读] Task Allocation for Distributed Stream Processing

Raphael Eidenbenz, Thomas Locher|arXiv (Cornell University)|Jan 22, 2016

Cloud Computing and Resource Management参考文献 15被引用 5

一句话总结

本文将分布式流处理中的任务分配问题形式化为一个NP难优化问题，并针对可分解为串联-并联结构的图提出了一种多项式时间近似算法。在通信成本被计算成本主导且资源数量随任务数量对数增长的假设下，该算法可实现常数因子近似。

ABSTRACT

There is a growing demand for live, on-the-fly processing of increasingly large amounts of data. In order to ensure the timely and reliable processing of streaming data, a variety of distributed stream processing architectures and platforms have been developed, which handle the fundamental tasks of (dynamically) assigning processing tasks to the currently available physical resources and routing streaming data between these resources. However, while there are plenty of platforms offering such functionality, the theory behind it is not well understood. In particular, it is unclear how to best allocate the processing tasks to the given resources. In this paper, we establish a theoretical foundation by formally defining a task allocation problem for distributed stream processing, which we prove to be NP-hard. Furthermore, we propose an approximation algorithm for the class of series-parallel decomposable graphs, which captures a broad range of common stream processing applications. The algorithm achieves a constant-factor approximation under the assumptions that the number of resources scales at least logarithmically with the number of computational tasks and the computational cost of the tasks dominates the cost of communication.

研究动机与目标

• 将分布式流处理中的任务分配问题正式定义为一个理论优化问题。
• 证明即使在系列-并联图这一受限类别下，任务分配问题仍为NP难。
• 设计一种近似算法，在计算与通信成本的实用假设下，保证接近最优的性能。
• 为现实世界流处理平台中的任务分配优化提供理论基础。
• 探讨在一般有向无环流处理拓扑中实现有界近似比的可行性。

提出的方法

• 将流处理拓扑建模为有向无环图（DAG），其中节点表示计算任务，边表示数据流。
• 为节点分配权重以表示计算成本，假设每个数据项的处理工作量均匀且独立。
• 引入一类可分解为串联-并联结构的图，以建模具有串行与并行处理模式的常见流处理工作负载。
• 提出一种近似算法，利用系列-并联图的结构特性以最小化总处理成本。
• 推导出近似比为 $\mathcal{O}(n^{\mathcal{O}(1/c)})$，当 $c \in \Omega(\log n)$ 时，该比值退化为常数因子，前提是计算成本主导通信成本。
• 采用基于子图串联与并联组合的递归分解策略，指导任务分配决策。

实验结果

研究问题

• RQ1 分布式流处理的任务分配问题是否即使在限制为系列-并联图的情况下也是NP难的？
• RQ2 在符合实际的成本假设下，能否实现任务分配的常数因子近似？
• RQ3 所提算法的近似比是多少？它如何依赖于可用资源数量与任务数量？
• RQ4 该算法的性能如何随流处理拓扑规模与资源可用性的变化而扩展？
• RQ5 对于一般有向无环流处理拓扑，任务分配可提供哪些理论保证？

主要发现

• 证明了即使在流处理拓扑被限制为系列-并联图的情况下，分布式流处理的任务分配问题仍为NP难。
• 所提出的近似算法在物理资源数量 $c$ 至少随任务数量 $n$ 对数增长时，可实现对最优解的常数因子近似。
• 在计算成本主导通信成本的假设下，该算法的近似比被限制在 $\mathcal{O}(n^{\mathcal{O}(1/c)})$，当 $c \in \Omega(\log n)$ 时，该比值退化为常数因子。
• 该算法专门针对可分解为系列-并联结构的图设计，该类图能捕捉广泛的实际流处理应用场景。
• 本研究建立的理论基础为任务分配策略的严谨分析提供了支撑，填补了对分布式流处理系统理解的空白。
• 结果表明，对于现实世界中大量流处理工作负载，最优或近似最优的任务分配可在多项式时间内实现。