[论文解读] Towards Stochastically Optimizing Data Computing Flows

Farshid Farhat, Diman Zad Tootaghaj+1 more|arXiv (Cornell University)|Jul 14, 2016

Cloud Computing and Resource Management参考文献 18被引用 4

一句话总结

本文提出了一种用于分布式系统中数据计算流的随机优化框架，通过排队论建模作业执行时间以最小化端到端响应时间。通过监控数据访问点（DAPs）的服务时间分布，并根据服务器异构性和随机行为动态分配任务，该方法相比基线启发式算法将平均响应时间减少高达54%，方差减少高达71%，以低开销逼近最优性能。

ABSTRACT

With rapid growth in the amount of unstructured data produced by memory-intensive applications, large scale data analytics has recently attracted increasing interest. Processing, managing and analyzing this huge amount of data poses several challenges in cloud and data center computing domain. Especially, conventional frameworks for distributed data analytics are based on the assumption of homogeneity and non-stochastic distribution of different data-processing nodes. The paper argues the fundamental limiting factors for scaling big data computation. It is shown that as the number of series and parallel computing servers increase, the tail (mean and variance) of the job execution time increase. We will first propose a model to predict the response time of highly distributed processing tasks and then propose a new practical computational algorithm to optimize the response time.

研究动机与目标

• 解决由于分布式系统中随机性能波动（慢启动者）导致的大数据分析扩展性限制。
• 克服Hadoop和MapReduce等确定性、非随机框架中确定性调度的局限性。
• 开发一种实用的、低开销的方法，通过实时监控服务器服务时间分布来优化作业调度。
• 最小化具有串行和并行组件的数据流工作流中的端到端作业执行时间。
• 通过将分析性排队模型与实际调度相结合，将云资源建模为随机排队模块，实现二者的衔接。

提出的方法

• 将分布式数据流建模为具有随机服务时间分布的串行与并行计算组件（SDCC/PDCC）。
• 在每个数据访问点（DAP）监控并跟踪响应时间分布（例如，指数分布、帕累托分布），以捕捉服务器异构性。
• 采用基于平衡的负载分配策略：λ₁RT_DCC₁ = λ₂RT_DCC₂ = ... = λₙRT_DCCₙ，以实现DCC之间的负载均衡。
• 实现一种分层调度算法（算法3），根据DCC类型（SDCC或PDCC）和服务器性能将任务分配给DCC。
• 应用DCC_allocate和PDCC_allocate子程序，根据服务器的服务速率和当前排队行为将工作负载分配给服务器。
• 采用一种动态、数据驱动的方法，避免对同质性的假设，转而对系统性能中的实时随机变化进行建模。

实验结果

研究问题

• RQ1 在分布式系统中，增加串行或并行处理组件的数量如何影响端到端作业执行时间的均值和方差？
• RQ2 与基于同质性假设的确定性方法相比，对服务器服务时间进行随机建模能否提升作业调度性能？
• RQ3 在异构、随机的数据流工作负载中，何种最优任务分配策略可最小化端到端响应时间？
• RQ4 在均值和方差减少方面，一种实用的、低开销的调度算法能多接近最优解？
• RQ5 通过监控DAP服务时间分布，在多大程度上可实现更好的负载均衡和慢启动者缓解，从而提升大规模数据流水线的性能？

主要发现

• 在多种场景下，所提方法相比启发式基线算法将平均响应时间减少高达54%。
• 与基线相比，该方法将响应时间方差减少了71%，显著提升了可预测性。
• 在所有测试场景中（使用延迟指数分布、帕累托分布及混合分布），所提方法在均值和方差方面均优于基线。
• 该方法在性能上与通过穷举搜索计算出的最优解仅存在微小差距，证明了其强大的实际有效性。
• 通过建模随机服务器行为，该框架能有效缓解大规模数据流中慢启动者和长尾响应时间的影响。
• 与基于机器学习的替代方案相比，该方法开销更低，适用于大规模云和数据中心部署。