[论文解读] Simplifying Complex Software Assembly: The Component Retrieval Language and Implementation

Eric L. Seidel, Gabrielle Allen+3 more|arXiv (Cornell University)|Sep 7, 2010

Distributed and Parallel Computing Systems参考文献 1被引用 5

一句话总结

本文介绍了组件检索语言（CRL），这是一种领域特定语言，用于指定和自动化跨异构版本控制系统（如Git、Subversion、CVS）的分布式软件组件检索。GetComponents工具实现了CRL，以简化复杂科学软件的组装，已在TeraGrid资源上成功应用于Cactus框架和Einstein Toolkit，显著减少了手动设置工作，并实现了在多样化高性能计算（HPC）环境中可重现、可扩展的代码部署。

ABSTRACT

Assembling simulation software along with the associated tools and utilities is a challenging endeavor, particularly when the components are distributed across multiple source code versioning systems. It is problematic for researchers compiling and running the software across many different supercomputers, as well as for novices in a field who are often presented with a bewildering list of software to collect and install. In this paper, we describe a language (CRL) for specifying software components with the details needed to obtain them from source code repositories. The language supports public and private access. We describe a tool called GetComponents which implements CRL and can be used to assemble software. We demonstrate the tool for application scenarios with the Cactus Framework on the NSF TeraGrid resources. The tool itself is distributed with an open source license and freely available from our web page.

研究动机与目标

• 解决从异构版本控制系统（如Git、Subversion、CVS）中跨数百个分布式组件组装复杂科学软件的挑战。
• 减轻新手研究人员和开发者在将模拟代码部署到超级计算机时面临的繁重手动设置负担。
• 实现跨多个代码仓库和访问协议（包括HTTP/HTTPS和SSH）的软件组件自动、可靠且可重现的检出与更新。
• 支持可扩展性，以支持未来功能，如依赖管理、基于日期的版本检出以及用于科学可重现性的溯源追踪。
• 提供一个生产就绪的开源工具（GetComponents），并集成至现有科学框架（如Cactus和Einstein Toolkit）中。

提出的方法

• 设计组件检索语言（CRL），一种声明式语言，用于指定组件元数据、源代码仓库位置、访问方式（公开/私有）以及版本控制方案。
• 实现GetComponents工具，用于解析CRL文件并使用Git、Subversion、CVS和Darcs的原生API或命令行工具自动检索组件。
• 支持多种访问协议（HTTP、HTTPS、SSH）和版本控制机制，实现跨平台、跨协议的组件检索。
• 采用模块化配置结构，支持可选的!INCLUDE指令，以管理大型框架中复杂的组件依赖关系和逻辑分组。
• 与现有科学软件堆栈集成，通过在TeraGrid和Blue Waters资源上端到端执行检出和更新工作流进行验证。
• 扩展Cactus生态系统，通过生成记录模拟中实际使用组件版本的CRL文件，支持溯源追踪。

实验结果

研究问题

• RQ1 如何在异构版本控制系统中可靠且可重现地组装具有数百个分布式组件的科学软件框架？
• RQ2 何种语言设计能够实现对多样化代码仓库和访问方式下组件检索的清晰、可扩展且可维护的规范？
• RQ3 是否能通过单一工具在支持公共和私有仓库的前提下，自动化跨多个版本控制系统检索和更新组件？
• RQ4 如何通过自动化组件追踪和配置，增强大规模科学模拟中的溯源性和可重现性？
• RQ5 在TeraGrid等真实HPC环境中的自动化组件检索系统表现出怎样的性能和可扩展性特征？

主要发现

• GetComponents成功从TeraGrid系统上的多个仓库（Git、Subversion、CVS、Darcs）检出并更新了超过100个组件，涵盖LONI、NCAR、NCSA、Purdue和TACC等机构。
• 从源码完整组装Einstein Toolkit的平均耗时约为9分钟，证明了其在大规模部署中的可行性。
• 该工具正确处理了多种访问协议，包括HTTP/HTTPS和SSH，并支持公共与私有仓库的访问。
• 在NCAR的Frost超级计算机上发现并修复了因Subversion版本过旧导致的问题，验证了工具在真实环境约束下的鲁棒性。
• CRL语言与GetComponents已成功集成至Cactus和Einstein Toolkit生态系统中，已在社区工作流中确认投入生产使用。
• 未来扩展功能（如基于日期的检出、通过!INCLUDE实现依赖感知的配置）正在积极开发中，以进一步提升可重现性和可维护性。