[论文解读] Scheduling in Data Intensive and Network Aware (DIANA) Grid Environments

Richard McClatchey, Ashiq Anjum+4 more|ArXiv.org|Jul 5, 2007

Distributed and Parallel Computing Systems参考文献 29被引用 4

一句话总结

本文提出了一种面向网格环境的DIANA（数据密集型与网络感知）元调度器，通过联合考虑数据局部性、处理能力和实时网络特性来优化作业调度。通过计算结合网络延迟、数据大小和可用计算周期的加权成本函数，DIANA在测试平台评估中显著减少了作业队列和执行时间，证明了网络感知调度相较于传统仅关注数据或计算的方法能提升性能。

ABSTRACT

In Grids scheduling decisions are often made on the basis of jobs being either data or computation intensive: in data intensive situations jobs may be pushed to the data and in computation intensive situations data may be pulled to the jobs. This kind of scheduling, in which there is no consideration of network characteristics, can lead to performance degradation in a Grid environment and may result in large processing queues and job execution delays due to site overloads. In this paper we describe a Data Intensive and Network Aware (DIANA) meta-scheduling approach, which takes into account data, processing power and network characteristics when making scheduling decisions across multiple sites. Through a practical implementation on a Grid testbed, we demonstrate that queue and execution times of data-intensive jobs can be significantly improved when we introduce our proposed DIANA scheduler. The basic scheduling decisions are dictated by a weighting factor for each potential target location which is a calculated function of network characteristics, processing cycles and data location and size. The job scheduler provides a global ranking of the computing resources and then selects an optimal one on the basis of this overall access and execution cost. The DIANA approach considers the Grid as a combination of active network elements and takes network characteristics as a first class criterion in the scheduling decision matrix along with computation and data. The scheduler can then make informed decisions by taking into account the changing state of the network, locality and size of the data and the pool of available processing cycles.

研究动机与目标

• 解决因调度过程中忽略网络特性而导致的网格环境中性能下降问题。
• 通过在调度决策中引入网络状态，提升数据密集型工作负载中的作业执行效率。
• 通过跨分布式站点的智能资源选择，减少作业队列长度和执行延迟。
• 开发一种元调度框架，将网络性能作为与数据和计算并列的首要考量标准。
• 在真实世界的网格测试平台环境中验证网络感知调度的有效性。

提出的方法

• DIANA调度器为每个潜在目标站点计算一个全局成本函数，综合考虑网络延迟、数据大小和可用处理周期。
• 基于网络性能倒数、数据传输成本和计算资源可用性，为每个站点计算加权因子。
• 根据成本函数推导出的总访问和执行成本，对所有可用计算资源进行排序。
• 系统基于最低总体成本选择最优站点进行作业部署，确保端到端延迟最小化。
• 该方法能够实时动态适应网络状态变化、数据分布和资源可用性的波动。
• 该实现已部署于多站点网格测试平台，以在真实工作负载条件下评估性能。

实验结果

研究问题

• RQ1 在数据密集型网格工作负载中，将网络特性纳入调度决策会对作业队列和执行时间产生何种影响？
• RQ2 一种同时考虑数据局部性、处理能力和网络状态的元调度器，能在多大程度上减少整体作业完成时间？
• RQ3 与静态或仅计算导向的调度相比，动态网络状态感知对调度效率有何影响？
• RQ4 能否通过结合网络、数据和计算指标的统一成本函数，超越传统调度策略在分布式网格环境中的表现？
• RQ5 DIANA调度器在不同工作负载和网络条件下如何保持可扩展性和响应能力？

主要发现

• 与传统调度方法相比，DIANA调度器在测试平台中显著缩短了作业队列长度。
• 由于优化了数据传输路径和更优的资源选择，作业执行时间得到改善。
• 将网络特性整合进调度决策矩阵，使数据密集型工作负载中实现了可测量的性能提升。
• 加权成本函数有效平衡了网络、数据和计算因素，从而降低了总体访问和执行成本。
• 调度器展现出对动态网络条件的适应能力，维持了低延迟和高吞吐量。
• 实际部署结果证实，网络感知调度在真实网格环境中是可行且有效的。