[论文解读] Realizing Fast, Scalable and Reliable Scientific Computations in Grid Environments

Yong Zhao, Ioan Raicu+4 more|ArXiv.org|Aug 26, 2008

Distributed and Parallel Computing Systems参考文献 33被引用 33

一句话总结

本文提出 Swift，一种工作流管理系统，整合了 SwiftScript、Karajan 引擎和 Falkon 任务执行机制，可在网格环境中实现大规模科学工作流的快速、可扩展且可靠的执行。通过采用多级调度和精简的调度器，Swift 相较于传统批处理调度器将执行时间减少了高达 90%，同时在天文学、神经科学和分子动力学工作负载中实现了动态、细粒度工作流的显著代码压缩。

ABSTRACT

The practical realization of managing and executing large scale scientific computations efficiently and reliably is quite challenging. Scientific computations often involve thousands or even millions of tasks operating on large quantities of data, such data are often diversely structured and stored in heterogeneous physical formats, and scientists must specify and run such computations over extended periods on collections of compute, storage and network resources that are heterogeneous, distributed and may change constantly. We present the integration of several advanced systems: Swift, Karajan, and Falkon, to address the challenges in running various large scale scientific applications in Grid environments. Swift is a parallel programming tool for rapid and reliable specification, execution, and management of large-scale science and engineering workflows. Swift consists of a simple scripting language called SwiftScript and a powerful runtime system that is based on the CoG Karajan workflow engine and integrates the Falkon light-weight task execution service that uses multi-level scheduling and a streamlined dispatcher. We showcase the scalability, performance and reliability of the integrated system using application examples drawn from astronomy, cognitive neuroscience and molecular dynamics, which all comprise large number of fine-grained jobs. We show that Swift is able to represent dynamic workflows whose structures can only be determined during runtime and reduce largely the code size of various workflow representations using SwiftScript; schedule the execution of hundreds of thousands of parallel computations via the Karajan engine; and achieve up to 90% reduction in execution time when compared to traditional batch schedulers.

研究动机与目标

• 解决在异构、动态的网格资源中管理与执行包含数千至数百万个任务的大规模科学工作流的挑战。
• 降低指定和管理复杂、动态科学工作流的复杂度和代码量。
• 相比传统批处理调度器，提升在分布式网格环境中的执行性能、可扩展性和可靠性。
• 在动态、异构环境中高效调度数十万项并行计算。
• 支持细粒度、数据密集型科学工作负载，其工作流结构在运行时确定。

提出的方法

• 该系统使用 SwiftScript（一种高级脚本语言）以简洁且可读的方式表达复杂的科学工作流。
• Karajan 工作流引擎支持在运行时解析的动态结构，实现并行执行工作流。
• Falkon 提供轻量级任务执行服务，具备多级调度和精简调度器，以优化资源利用率。
• Swift、Karajan 和 Falkon 的集成实现了从规范到分布式网格环境中执行的端到端工作流管理。
• 系统通过抽象层复用现有网格中间件组件，确保互操作性和可移植性。
• 工作流在可能动态变化的异构计算、存储和网络资源上执行。

实验结果

研究问题

• RQ1 如何在大规模网格环境中高效地指定和执行具有动态、数据依赖结构的科学工作流？
• RQ2 统一工作流系统在多大程度上可以减少大规模科学应用的代码量和开发复杂度？
• RQ3 与传统批处理调度器相比，轻量级、可扩展的任务执行服务是否能提升性能和可靠性？
• RQ4 在网格计算中采用集成的工作流与任务管理，可在执行时间和可扩展性方面实现多大程度的性能提升？
• RQ5 该系统在异构和分布式资源上处理细粒度、数据密集型工作负载的效率如何？

主要发现

• 集成的 Swift 系统在大规模科学工作负载中，相较于传统批处理调度器，执行时间最高可减少 90%。
• SwiftScript 显著减少了工作流表示的代码量，使规范更易于维护和阅读。
• Karajan 引擎成功调度并执行了单个工作流中数十万项并行计算。
• 该系统在天文学、认知神经科学和分子动力学等实际应用中表现出高可靠性和可扩展性。
• 通过 Swift 框架，运行时确定结构的动态工作流可被高效管理和执行。
• Falkon 任务执行服务通过优化的多级调度和轻量级调度机制，显著提升了性能。