[论文解读] Toward Common Components for Open Workflow Systems

Jay Jay Billings, Shantenu Jha|arXiv (Cornell University)|Oct 18, 2017

Scientific Computing and Data Management参考文献 3被引用 3

一句话总结

本文提出一种构建模块化方法，用于创建可互操作、可重用的组件，以解决科学工作流管理系统中的碎片化和缺乏标准化问题。通过将现有系统中的通用功能抽象为模块化、接口稳定的组件，该方法实现了在不同科学领域和执行平台上的可扩展、可维护且可组合的工作流系统。

ABSTRACT

The role of scalable high-performance workflows and flexible workflow management systems that can support multiple simulations will continue to increase in importance. For example, with the end of Dennard scaling, there is a need to substitute a single long running simulation with multiple repeats of shorter simulations, or concurrent replicas. Further, many scientific problems involve ensembles of simulations in order to solve a higher-level problem or produce statistically meaningful results. However most supercomputing software development and performance enhancements have focused on optimizing single- simulation performance. On the other hand, there is a strong inconsistency in the definition and practice of workflows and workflow management systems. This inconsistency often centers around the difference between several different types of workflows, including modeling and simulation, grid, uncertainty quantification, and purely conceptual workflows. This work explores this phenomenon by examining the different types of workflows and workflow management systems, reviewing the perspective of a large supercomputing facility, examining the common features and problems of workflow management systems, and finally presenting a proposed solution based on the concept of common building blocks. The implications of the continuing proliferation of workflow management systems and the lack of interoperability between these systems are discussed from a practical perspective. In doing so, we have begun an investigation of the design and implementation of open workflow systems for supercomputers based upon common components.

研究动机与目标

• 解决科学工作流管理系统之间日益加剧的碎片化和互操作性不足问题。
• 识别跨多样化工作流系统共有的功能组件，以实现重用和标准化。
• 通过模块化、可组合的组件，降低单体式工作流系统的复杂性和维护负担。
• 通过将工作流逻辑与底层执行基础设施解耦，实现工作流在不同平台间的执行。
• 通过将实现关注点与高层工作流定义分离，促进科学工作流的可持续发展。

提出的方法

• 分析多种科学工作流类型——建模与仿真、不确定性量化、网格工作流和概念性工作流——以识别共同模式。
• 从大型超算设施中的现有工作流管理系统出发，审查其以提取共享的功能需求和架构模式。
• 定义一组通用构建模块，封装核心工作流服务，如任务编排、数据管理与执行调度。
• 设计构建模块时确保接口稳定，并独立于特定框架或软件栈，以支持在不同系统间的重用。
• 提出一种模块化软件架构，使工作流系统能够由共享的、可插拔组件组装而成，而非依赖单体式代码库。
• 通过实证表明，构建模块可支持互操作性，使工作流在多个系统上执行时仅需极少或无需修改。

实验结果

研究问题

• RQ1 在多样化的科学工作流管理系统中，存在哪些可被抽象为可重用构建模块的通用功能组件？
• RQ2 构建模块方法如何提升现有异构工作流系统之间的互操作性？
• RQ3 与单体式工作流系统相比，构建模块模型在降低复杂性和提升可维护性方面有哪些具体优势？
• RQ4 构建模块能否支持在不同高性能计算平台上运行数据密集型和计算密集型的科学工作流？
• RQ5 在大规模科学计算环境中，用可组合、标准化的组件替代单体系统，其实际影响是什么？

主要发现

• 科学工作流系统中大量功能——如任务执行、数据预置和依赖管理——可被抽象为一组通用的可重用组件。
• 构建模块方法使工作流能在多个工作流系统上执行，且仅需极少或无需修改，从而提升可移植性并减少供应商锁定风险。
• 构建模块在概念上与软件栈和框架不同，提供更高层次的抽象，同时支持模块化与互操作性。
• 该方法通过将核心服务的开发与维护与应用特定逻辑解耦，解决了单体式系统的可扩展性和可持续性挑战。
• 现有的复杂工作流系统可作为构建模块的来源，支持渐进式迁移而非完全重写。
• 构建模块模型在支持功能专业化的同时实现互操作性，有效遏制了如 Apache BigData 生态系统中平台特定组件泛滥的趋势。