[论文解读] Scientific Workflow Systems for 21st Century e-Science, New Bottle or New Wine?

Yong Zhao, Ioan Raicu+1 more|ArXiv.org|Aug 26, 2008

Scientific Computing and Data Management参考文献 16被引用 7

一句话总结

本文探讨了21世纪电子科学的科学工作流系统是否应基于现有工作流技术演进，还是需要根本性的新方法。它分析了当前工作流系统面临的挑战，评估了新兴平台和语言，并确定了未来电子科学工作负载的关键需求，结论是尽管现有技术提供了基础，但可证明性、可扩展性和动态组合等新能力对于下一代科学工作流至关重要。

ABSTRACT

With the advances in e-Sciences and the growing complexity of scientific analyses, more and more scientists and researchers are relying on workflow systems for process coordination, derivation automation, provenance tracking, and bookkeeping. While workflow systems have been in use for decades, it is unclear whether scientific workflows can or even should build on existing workflow technologies, or they require fundamentally new approaches. In this paper, we analyze the status and challenges of scientific workflows, investigate both existing technologies and emerging languages, platforms and systems, and identify the key challenges that must be addressed by workflow systems for e-science in the 21st century.

研究动机与目标

• 评估现有工作流技术是否足以满足21世纪电子科学工作负载的需求。
• 识别与可证明性、自动化和协调相关的科学工作流系统的核心挑战。
• 在电子科学需求背景下，评估新兴工作流平台、语言和系统。
• 确定科学工作流是否需要根本性的新架构和语义基础。

提出的方法

• 在电子科学背景下，对现有工作流系统和新兴平台进行对比分析。
• 调查并评估专为科学工作负载设计的新兴工作流语言和执行环境。
• 研究科学工作流中可证明性跟踪、动态组合和容错等关键能力。
• 识别当前工作流技术与复杂、数据密集型科学应用需求之间的差距。
• 提出一种基于电子科学特定需求的工作流系统评估框架。
• 通过用例研究和系统评估，评估现有和新兴技术的适用性。

实验结果

研究问题

• RQ1 现有工作流技术在多大程度上能够满足现代电子科学应用的需求？
• RQ2 当应用于大规模、数据密集型科学工作负载时，当前工作流系统的关键局限性是什么？
• RQ3 为支持电子科学中的可证明性跟踪、自动化和动态执行，工作流系统需要哪些新能力？
• RQ4 新兴工作流平台和语言如何弥补传统系统的不足？
• RQ5 科学工作流系统应基于现有基础构建，还是需要范式转变？

主要发现

• 现有工作流技术提供了有用的基础，但不足以满足电子科学需求的全部范围。
• 当前系统在可证明性跟踪和动态工作流组合方面仍面临重大挑战。
• 新兴平台在支持复杂、数据密集型科学工作负载方面展现出前景。
• 对针对科学工作负载量身定制的标准化、表达性强的工作流语言的需求日益增长。
• 在分布式环境中实现可扩展性和容错能力仍是关键且尚未解决的问题。
• 工作流系统与数据密集型科学平台的集成仍不成熟，亟需进一步研究。