[论文解读] Workflows Community Summit: Advancing the State-of-the-art of Scientific Workflows Management Systems Research and Development

Rafael Ferreira da Silva, Henri Casanova+56 more|arXiv (Cornell University)|Jun 9, 2021

Scientific Computing and Data Management参考文献 21被引用 15

一句话总结

本文提出了一项由社区推动的路线图，旨在通过在异构的HPC和云平台之间标准化工作流模式、基准测试和互操作性，推动科学工作流管理系统（WMS）的发展。该路线图概述了身份认证、站点能力发现和远程执行的技术策略，关键成果包括站点元数据的JSON模式，以及呼吁协调召开峰会，以统一工作流系统、HPC设施和身份认证提供方。

ABSTRACT

Scientific workflows are a cornerstone of modern scientific computing, and they have underpinned some of the most significant discoveries of the last decade. Many of these workflows have high computational, storage, and/or communication demands, and thus must execute on a wide range of large-scale platforms, from large clouds to upcoming exascale HPC platforms. Workflows will play a crucial role in the data-oriented and post-Moore's computing landscape as they democratize the application of cutting-edge research techniques, computationally intensive methods, and use of new computing platforms. As workflows continue to be adopted by scientific projects and user communities, they are becoming more complex. Workflows are increasingly composed of tasks that perform computations such as short machine learning inference, multi-node simulations, long-running machine learning model training, amongst others, and thus increasingly rely on heterogeneous architectures that include CPUs but also GPUs and accelerators. The workflow management system (WMS) technology landscape is currently segmented and presents significant barriers to entry due to the hundreds of seemingly comparable, yet incompatible, systems that exist. Another fundamental problem is that there are conflicting theoretical bases and abstractions for a WMS. Systems that use the same underlying abstractions can likely be translated between, which is not the case for systems that use different abstractions. More information: https://workflowsri.org/summits/technical

研究动机与目标

• 通过建立通用标准并降低进入门槛，解决科学工作流管理系统（WMS）的碎片化问题。
• 克服由于WMS抽象模型和实现模型不兼容而引发的互操作性挑战。
• 改善WMS与不断演进的HPC软硬件堆栈（包括GPU、加速器和百亿亿级系统）之间的集成。
• 开发一个标准化的、机器可读的站点能力注册表，以简化远程作业执行和资源发现。
• 通过采用OAuth和SciTokens等现代标准，实现安全、程序化的身份认证，以支持自动化工作流。

提出的方法

• 组织了在线工作流社区峰会，汇集75名国际研究人员和开发者，识别技术挑战与解决方案。
• 围绕三个核心主题组织了专题分组讨论：工作流模式与基准测试、互操作性，以及与HPC堆栈的集成。
• 提出了站点能力信息的分层模型，由设施、WMS和用户逐层添加关于资源和策略的元数据。
• 倡导采用机器可读的JSON模式，以标准化关键站点属性（如批处理系统、文件系统、数据传输方法）。
• 评估了现有身份认证模型（SSH、GSISSH、OAuthSSH），并推动采用OAuth和SciTokens以实现安全、自动化的访问。
• 呼吁WMS开发者、HPC运营商和身份认证提供方共同参与峰会，以统一程序化访问标准。

实验结果

研究问题

• RQ1 如何定义通用的工作流模式和基准测试，以实现在不同WMS间的一致性评估和教程应用？
• RQ2 哪些技术和架构方法能够实现使用不同抽象模型的WMS之间的互操作性？
• RQ3 哪些是最小且必要的站点能力，必须具备可发现性和机器可读性，以支持可靠的远程执行？
• RQ4 如何将OAuth和SciTokens等现代身份认证标准集成到WMS中，以支持安全、自动化且持久的访问？
• RQ5 社区主导的峰会和共享注册表在统一WMS、HPC设施和身份认证提供方方面应发挥何种作用？

主要发现

• 由社区推动制定标准化的、机器可读的JSON模式来描述关键站点能力，是实现可靠工作流可移植性的关键第一步。
• 现有的目录模型（如Globus MDS和GLUE）为构建集中式、可扩展的站点元数据注册表提供了有益的先例。
• 采用OAuth和SciTokens为程序化身份认证提供了可扩展且安全的路径，减少了对脆弱的SSH和代理证书的依赖。
• 由于认证需求不断演变，尤其是引入双因素和多因素认证后，远程作业执行仍然是一个主要挑战。
• WMS之间的互操作性受到不同理论抽象模型的阻碍，标准化通用模式和接口对于推动进展至关重要。
• 建议组织一次由WMS开发者、HPC设施运营商和身份认证提供方共同参与的协调峰会，以统一身份认证和能力发现标准。