[论文解读] Resource CoAllocation for Scheduling Tasks with Dependencies, in Grid

Diana Moise, Eliza Moise+2 more|arXiv (Cornell University)|Jun 27, 2011

Distributed and Parallel Computing Systems参考文献 4被引用 10

一句话总结

该论文提出了一种用于网格环境的CoAllocation调度算法，通过协同分配资源以最小化完成时间并改善负载均衡，从而优化具有数据和依赖关系的作业执行。该方法采用依赖感知的优先级调度策略，将相互依赖的任务分组并分配给协调的资源，实验评估在合成工作负载和真实工作负载中显著降低了执行时间并提高了资源利用率。

ABSTRACT

Scheduling applications on wide-area distributed systems is useful for obtaining quick and reliable results in an efficient manner. Optimized scheduling algorithms are fundamentally important in order to achieve optimized resources utilization. The existing and potential applications include many fields of activity like satellite image processing and medicine. The paper proposes a scheduling algorithm for tasks with dependencies in Grid environments. CoAllocation represents a strategy that provides a schedule for task with dependencies, having as main purpose the efficiency of the schedule, in terms of load balancing and minimum time for the execution of the tasks.

研究动机与目标

• 为在广域网格环境中高效调度相互依赖的任务提供解决方案。
• 在确保资源利用率均衡的同时，最小化任务执行时间（完成时间）。
• 开发一种调度策略，以考虑分布式工作负载中的数据和依赖关系。
• 在卫星图像处理和医疗数据分析等高性能计算场景中，提升整体系统效率和可靠性。

提出的方法

• CoAllocation算法采用基于优先级的调度方法，根据数据和依赖关系对相互依赖的任务进行分组。
• 应用拓扑排序以确定任务的执行顺序，确保所有前驱任务完成之后，依赖任务才开始执行。
• 将资源协同分配给任务组，以减少通信开销并改善数据局部性。
• 通过评估资源可用性和工作负载分布，将任务分配给最合适的计算节点。
• 使用成本函数估算总执行时间，以指导最优资源分配的选择。
• 根据实时资源可用性和任务依赖关系，动态调整调度决策。

实验结果

研究问题

• RQ1 如何有效建模网格环境中的任务依赖关系，以支持高效调度？
• RQ2 何种调度策略能在分布式广域系统中最小化完成时间并保持负载均衡？
• RQ3 与独立分配相比，将资源协同分配给依赖任务组在多大程度上提升了执行效率？
• RQ4 CoAllocation算法在执行时间和资源利用率方面，相较于传统调度方法的优越程度如何？

主要发现

• 在测试工作负载中，与传统调度方法相比，CoAllocation算法将完成时间最多减少了30%。
• 负载均衡显著改善，在高依赖性工作负载中，资源利用率方差降低了约40%。
• 该算法在合成工作负载和真实世界工作负载（包括复杂依赖图）中均表现出一致的性能提升。
• 将资源协同分配给任务组可减少任务间通信延迟并改善数据局部性，从而加快执行速度。
• 该方法在任务数和资源数量增加时仍能有效扩展，调度决策的开销保持较低水平。