[论文解读] xSDK Foundations: Toward an Extreme-scale Scientific Software Development Kit

Roscoe Bartlett, Irina Demeshko+13 more|arXiv (Cornell University)|Feb 27, 2017

Parallel Computing and Optimization Techniques参考文献 9被引用 5

一句话总结

xSDK Foundation论文提出了一套由社区驱动、基于策略的框架，旨在实现独立开发的科学计算软件库在超大规模计算环境下的互操作性、可移植性和可持续性。通过标准化接口、版本控制和安装方式（如使用Spack工具），xSDK实现了PETSc、hypre和Trilinos等库的无缝组合，显著降低了集成复杂度，加速了多尺度和多物理场模拟的高性能应用开发。

ABSTRACT

Extreme-scale computational science increasingly demands multiscale and multiphysics formulations. Combining software developed by independent groups is imperative: no single team has resources for all predictive science and decision support capabilities. Scientific libraries provide high-quality, reusable software components for constructing applications with improved robustness and portability. However, without coordination, many libraries cannot be easily composed. Namespace collisions, inconsistent arguments, lack of third-party software versioning, and additional difficulties make composition costly. The Extreme-scale Scientific Software Development Kit (xSDK) defines community policies to improve code quality and compatibility across independently developed packages (hypre, PETSc, SuperLU, Trilinos, and Alquimia) and provides a foundation for addressing broader issues in software interoperability, performance portability, and sustainability. The xSDK provides turnkey installation of member software and seamless combination of aggregate capabilities, and it marks first steps toward extreme-scale scientific software ecosystems from which future applications can be composed rapidly with assured quality and scalability.

研究动机与目标

• 应对在超大规模计算科学中集成多个独立科学软件库日益增长的挑战。
• 克服多尺度和多物理场应用中因命名空间冲突、接口不一致以及缺乏版本协调而产生的互操作性障碍。
• 建立一个可持续的软件生态系统，使库能够无需单体代码库即可可靠且高效地组合使用。
• 通过在接口、测试和安装实践方面实施全社区范围的政策，促进长期软件可持续性。
• 通过允许科学家组合高质量、可重用的组件而非从零开始构建，实现快速应用开发。

提出的方法

• 定义并强制执行社区政策，确保在独立开发的科学软件库之间实现接口一致性、版本控制和文档标准化。
• 通过扩展的PETSc安装器实现开箱即用的安装系统，并探索与Spack的集成以获得更广泛的社区支持。
• 标准化软件打包和依赖管理，确保在各种HPC平台上具备兼容性和可重现性。
• 开发并暴露资源传输接口，以支持在单个MPI进程中库之间动态共享计算资源（如内存、线程）。
• 集成测试框架和示例代码，以验证互操作性并确保xSDK兼容库的可靠组合。
• 利用现有高性能库（如PETSc、hypre、SuperLU、Trilinos）作为初始成员，以证明该框架的可行性与影响力。

实验结果

研究问题

• RQ1 如何在不进行单体集成或集中控制的前提下，使独立开发的科学软件库实现互操作？
• RQ2 为确保不同科学软件团队之间接口、版本控制和文档的一致性，需要哪些社区政策？
• RQ3 统一的安装和打包系统在多大程度上能够降低部署和组合多个科学库的复杂度？
• RQ4 如何在运行时实现库之间计算资源（如内存、线程）的共享与传输，以支持高并发性和高性能？
• RQ5 基于策略和生态系统的做法是否能显著提升超大规模科学软件的可持续性、可移植性和可组合性？

主要发现

• xSDK框架通过标准化接口和政策，成功实现了PETSc、hypre、SuperLU和Trilinos等主要科学库的无缝互操作和联合使用。
• xSDK的首次发布表明，社区政策、测试和示例代码显著简化了独立开发库的集成。
• 通过统一安装系统（最初基于扩展的PETSc安装器，后扩展至Spack）实现了多个xSDK兼容包的自动化、可靠部署。
• 该项目为可持续的科学软件生态系统奠定了基础，使新应用能够从可重用的高质量组件中快速组合而成。
• 通过将库开发与应用逻辑解耦，该框架支持性能可移植性和可扩展性，使团队能够专注于科学问题而非底层基础设施。
• xSDK愿景正在美国能源部的百亿亿次计算项目（Exascale Computing Project, ECP）框架下进一步扩展，计划纳入SUNDIALS和Magma等更多库，并优化政策以促进更广泛采用。