[论文解读] RADICAL-Cybertools: Middleware Building Blocks for Scalable Science

Vivek Balasubramanian, Shantenu Jha+2 more|arXiv (Cornell University)|Apr 5, 2019

Scientific Computing and Data Management参考文献 13被引用 17

一句话总结

RADICAL-Cybertools (RCT) 提供了一个模块化、可组合的中间件框架，用于可扩展的科学计算，支持在异构 HPC 和 HTC 基础设施上高效执行复杂工作负载。通过利用基于 pilot 的任务管理与集合工作流抽象，RCT 支持生物物理学和气候建模等领域的超大规模科学计算，实现了数亿核心小时的计算量，同时实现低代码、可移植且互操作的跨平台执行。

ABSTRACT

RADICAL-Cybertools (RCT) are a set of software systems that serve as middleware to develop efficient and effective tools for scientific computing. Specifically, RCT enable executing many-task applications at extreme scale and on a variety of computing infrastructures. RCT are building blocks, designed to work as stand-alone systems, integrated among themselves or integrated with third-party systems. RCT enables innovative science in multiple domains, including but not limited to biophysics, climate science and particle physics, consuming hundreds of millions of core hours. This paper provides an overview of RCT systems, their impact, and the architectural principles and software engineering underlying RCT

研究动机与目标

• 解决在异构计算基础设施上支持可扩展、多样化且不断演化的科学工作负载的挑战。
• 设计可持续、可组合的中间件构建模块，将功能与基础设施解耦，实现在不同科学领域中的复用。
• 通过支持模块化、可组合且互操作的系统，克服单体中间件的局限性，实现与第三方工具的集成。
• 支持需要在 CPU、GPU 和加速器上并发、异构且动态编排的任务执行的超大规模科学应用。
• 通过高级抽象（如 pilot 工作流和集合工作流）使领域科学家能够专注于科学研究，而非底层工作流和资源管理。

提出的方法

• 实现 RADICAL-Pilot 作为基于 pilot 的执行模型，将计算资源抽象为 'pilots'，实现计算单元（CUs）的高效、直接调度，无需批处理队列。
• 使用 RADICAL-Ensemble Toolkit (EnTK) 提供一种高级编程模型，用于管理具有任意依赖关系和优先级关系的任务集合。
• 利用 RADICAL-SAGA 作为可移植的 Python 接口，访问异构分布式资源，实现与作业调度器、文件传输和资源供应服务的互操作性。
• 采用基于模块化、无状态组件和专用通信网格的 '构建模块' 架构模式，确保可扩展性、容错性和可组合性。
• 设计组件为可独立部署和配置，支持与第三方工具（如 Airflow、Oozie 和 Spark Streaming）的独立使用和集成。
• 与生产级 HPC 和 HTC 系统（如 XSEDE、Blue Waters、DOE 领导力机器）集成，以在大规模环境下验证性能和互操作性。

实验结果

研究问题

• RQ1 中间件应如何架构，以支持在多样化计算基础设施上运行的超大规模、异构且动态的科学工作负载？
• RQ2 何种架构模式能够实现可持续、可组合且互操作的科学中间件，使其能够长期维护和扩展？
• RQ3 基于 pilot 和基于集合的抽象在多大程度上能够降低大规模科学工作流部署和管理的复杂性？
• RQ4 可组合的中间件构建模块在多大程度上能提升开发人员生产力并减少不同科学领域中的重复工作？
• RQ5 一个小型敏捷团队能否在不采用单体开发模式的前提下，持续维护并扩展一个高影响力中间件系统，以支持多个并行的科学项目？

主要发现

• RCT 已在包括生物物理学、气候科学和粒子物理在内的多个科学领域中，支持实现了数亿核心小时的计算执行。
• RCT 与 HTBAC 的集成在真实药物候选物的自由能计算中，将求解时间缩短了 2.5 倍。
• AIMES 项目表明，在联邦 HPC 环境中，将任务和资源元数据纳入调度决策可显著提升性能和可扩展性。
• ICEBERG 在单一框架内同时利用 RADICAL-Pilot 和 EnTK，支持五个不同的极地科学用例，且基于工作负载类型仅需极少的 API 修改。
• ExTASY 和 RepEx 使用 EnTK 实现了复杂的生物分子采样工作流，工程开销极低，使团队能专注于科学创新而非工作流实现。
• 构建模块方法使仅两名活跃开发人员即可实现可持续开发，通过可组合、可重用且互操作的组件，支持了十个以上的并行科学项目。