[论文解读] Parallelization in Scientific Workflow Management Systems

Marc Bux, Ulf Leser|arXiv (Cornell University)|Mar 28, 2013

Distributed and Parallel Computing Systems参考文献 80被引用 31

一句话总结

本文综述了科学工作流管理系统（SWfMS）中的并行化技术，指出了在网格和云环境中原生支持分布式、可扩展执行的关键缺口。本文提出集成的、自适应的调度机制、结构优化以及统一的部署模型，以提升数据密集型科学工作负载中的性能、可用性和资源效率。

ABSTRACT

Over the last two decades, scientific workflow management systems (SWfMS) have emerged as a means to facilitate the design, execution, and monitoring of reusable scientific data processing pipelines. At the same time, the amounts of data generated in various areas of science outpaced enhancements in computational power and storage capabilities. This is especially true for the life sciences, where new technologies increased the sequencing throughput from kilobytes to terabytes per day. This trend requires current SWfMS to adapt: Native support for parallel workflow execution must be provided to increase performance; dynamically scalable "pay-per-use" compute infrastructures have to be integrated to diminish hardware costs; adaptive scheduling of workflows in distributed compute environments is required to optimize resource utilization. In this survey we give an overview of parallelization techniques for SWfMS, both in theory and in their realization in concrete systems. We find that current systems leave considerable room for improvement and we propose key advancements to the landscape of SWfMS.

研究动机与目标

• 应对生命科学及其他领域数据量指数级增长所带来的对可扩展、并行执行的日益增长的需求。
• 识别当前SWfMS在动态资源分配、自适应调度以及对网格和云等异构基础设施支持方面的局限性。
• 通过支持直观但强大的并行执行，弥合非技术科学家与高性能计算之间的可用性差距。
• 推进受数据库查询优化启发的结构优化技术，以减少细粒度任务带来的运行时开销。
• 提出统一框架，实现本地、网格和云资源的集成，支持自动化的按需配置和运行时自适应。

提出的方法

• 调研了15+种SWfMS（如Taverna、Kepler、Pegasus、Galaxy、Swift），并分析其对并行性和分布式执行的支持情况。
• 评估了现有调度策略，识别出在动态环境中依赖基本贪心或静态分配是主要瓶颈。
• 提出了基于运行时统计信息的自适应调度模型，根据资源特性将任务匹配到最优计算节点。
• 倡导将短时运行任务自动聚类为复合任务，以减少初始化和网络延迟开销。
• 将数据库启发的优化技术（如下推选择、剪枝）集成到工作流执行计划中，以最小化数据处理量。
• 提出了统一的部署抽象，以实现本地、网格和云基础设施的无缝集成，并支持动态资源配置。

实验结果

研究问题

• RQ1 如何增强科学工作流管理系统，以原生支持在云和网格等异构基础设施上的动态、可扩展执行？
• RQ2 在共享、动态且异构的计算环境中，哪些调度策略能够提升工作流性能？
• RQ3 如何将数据库查询处理中的结构优化技术适配到科学工作流中，以减少运行时开销？
• RQ4 哪些机制能够同时实现领域科学家的高可用性与SWfMS中高效并行执行？
• RQ5 如何在公共代码库中存储和搜索 provenance 和执行轨迹，以减少工作流冗余？

主要发现

• 当前SWfMS缺乏对动态、按需使用云和网格资源的原生支持，转而依赖静态或贪心调度，运行时适应能力差。
• 许多系统不支持短时任务的自动聚类，导致因初始化和通信延迟而产生显著性能开销。
• 基于实时性能指标的自适应调度可显著提高资源利用率，并在共享环境中减少工作流执行时间。
• 受数据库查询优化启发的结构优化技术可减少数据处理量并提升性能，尤其在包含过滤和选择步骤的工作流中效果显著。
• 在以可用性为导向的系统（如Galaxy、KNIME）与高性能系统（如Pegasus、Swift）之间存在明显差距，极少有系统能同时兼顾两者。
• 工作流和执行轨迹的公共代码库尚未被充分利用，为减少冗余和加速科学可重现性提供了巨大机会。