[论文解读] The Need for a Versioned Data Analysis Software Environment

Jakob Blomer, D. Berzano+5 more|arXiv (Cornell University)|Jul 11, 2014

Distributed and Parallel Computing Systems参考文献 8被引用 3

一句话总结

该论文提出了 CernVM-FS，一种为分发科学软件二进制文件而优化的版本化、内容寻址文件系统，支持高效快照和复杂、可复现的数据分析环境的部署。通过在中央服务器上仅存储一次软件，并通过 HTTP 与缓存代理进行分发，将部署时间从数天缩短至一小时以内，同时保留历史分析环境作为版本化快照。

ABSTRACT

Scientific results in high-energy physics and in many other fields often rely on complex software stacks. In order to support reproducibility and scrutiny of the results, it is good practice to use open source software and to cite software packages and versions. With ever-growing complexity of scientific software on one side and with IT life-cycles of only a few years on the other side, however, it turns out that despite source code availability the setup and the validation of a minimal usable analysis environment can easily become prohibitively expensive. We argue that there is a substantial gap between merely having access to versioned source code and the ability to create a data analysis runtime environment. In order to preserve all the different variants of the data analysis runtime environment, we developed a snapshotting file system optimized for software distribution. We report on our experience in preserving the analysis environment for high-energy physics such as the software landscape used to discover the Higgs boson at the Large Hadron Collider.

研究动机与目标

• 为解决高能物理领域中软件堆栈复杂且快速演进所带来的科学数据分析环境复现挑战。
• 解决由于依赖项过时或未版本化而导致的遗留分析环境设置时间长、易出错的问题。
• 实现完整、可用的数据分析环境的长期保存，包括编译器、库和系统工具。
• 减少在全球计算基础设施上部署科学软件的开销，尤其针对大型实验（如 LHC）而言。
• 提供一种可扩展、高效的机制，用于版本化和分发软件二进制文件，而不仅仅是源代码，以支持可复现性。

提出的方法

• 设计并部署 CernVM-FS，一种面向软件分发与版本化的分布式、内容寻址文件系统。
• 将软件二进制文件、编译器、工具和操作系统组件存储在中央服务器上，并通过 HTTP 与全球缓存代理分发至客户端。
• 使用哈希树和内容寻址存储，实现数据去重、高效缓存，并原生支持文件系统快照。
• 在客户端机器上挂载文件系统的任何历史快照，实现对整个分析环境过去版本的访问。
• 将 CernVM-FS 集成到虚拟机镜像中，仅需存储内核和客户端软件，从而减少重建完整操作系统镜像的需求。
• 利用现有基础设施和协议，在最小化对现有工作流影响的同时，实现版本化、可复现的环境。

实验结果

研究问题

• RQ1 如何高效地保存和复现包含系统级软件、编译器和库的完整、版本化数据分析环境？
• RQ2 哪些机制可以减少在全球计算基础设施上部署历史准确的分析环境的时间与复杂度？
• RQ3 如何管理数百个具有独立发布周期的科学软件组件之间的相互依赖关系？
• RQ4 版本化、分布式的文件系统在支持高能物理领域科学结果长期可复现性方面发挥什么作用？
• RQ5 当前软件版本控制系统在应用于二进制软件分发时存在哪些局限性，又该如何克服？

主要发现

• 在 LHC 实验中，CernVM-FS 将新软件发布版本从构建到全球部署的时间由数天缩短至一小时以内。
• 该系统实现了对数据分析环境任意历史快照的透明访问，实质上为软件环境创建了一个“时间机器”。
• 通过使用内容寻址存储和全球缓存，CernVM-FS 实现了高数据去重率，并高效分发至地理分布广泛的客户端。
• 该方法显著减少了重建虚拟机镜像的需求，因为虚拟机中仅需存储操作系统内核和客户端软件。
• 该系统支持对复杂、多组件软件堆栈（如希格斯玻色子发现所用的软件堆栈）的长期保存，精确到特定编译器和库版本。
• 尽管在快照创建和部署方面表现优异，该系统目前缺乏对两个快照之间*具体变更内容*的原生支持，限制了环境差异的可追溯性。