[论文解读] Savu: A Python-based, MPI Framework for Simultaneous Processing of Multiple, N-dimensional, Large Tomography Datasets

Nicola Wadeson, Mark Basham|arXiv (Cornell University)|Oct 24, 2016

Computational Physics and Python Applications被引用 31

一句话总结

Savu 是一个基于 Python、支持 MPI 的框架，旨在可扩展地并行处理大规模、多维的断层扫描数据集。它利用模块化插件和并行 HDF5，克服内存限制，实现在集群或单台机器上的高效、灵活且可扩展的数据处理，并已在钻石光源同步辐射设施成功部署。

ABSTRACT

Diamond Light Source (DLS), the UK synchrotron facility, attracts scientists from across the world to perform ground-breaking x-ray experiments. With over 3000 scientific users per year, vast amounts of data are collected across the experimental beamlines, with the highest volume of data collected during tomographic imaging experiments. A growing interest in tomography as an imaging technique, has led to an expansion in the range of experiments performed, in addition to a growth in the size of the data per experiment. Savu is a portable, flexible, scientific processing pipeline capable of processing multiple, n-dimensional datasets in serial on a PC, or in parallel across a cluster. Developed at DLS, and successfully deployed across the beamlines, it uses a modular plugin format to enable experiment-specific processing and utilises parallel HDF5 to remove RAM restrictions. The Savu design, described throughout this paper, focuses on easy integration of existing and new functionality, flexibility and ease of use for users and developers alike.

研究动机与目标

• 为应对同步辐射设施产生的断层扫描数据集日益庞大和复杂所带来的处理挑战。
• 实现在计算集群上并行处理多个多维数据集的高效可扩展处理。
• 提供一个灵活且可扩展的框架，通过插件架构支持现有和新型处理算法。
• 通过与并行 HDF5 I/O 集成，克服处理大尺寸数据集时的内存限制。
• 为同步辐射光束线的非专家用户和开发者简化数据处理工作流程。

提出的方法

• 该框架使用 Python 实现，并通过 MPI（消息传递接口）在多个节点上实现分布式计算。
• 它采用模块化插件系统，允许用户和开发者根据特定实验需求插入自定义处理步骤。
• 数据的输入和输出通过并行 HDF5 处理，从而实现高效的 I/O 操作并减轻内存压力。
• 其流水线架构支持单台机器上的串行处理，也支持在集群上的并行执行。
• 该框架支持多维数据集，适用于复杂的断层扫描成像工作负载。
• 它提供基于配置的工作流系统，用于定义处理步骤、数据流和执行参数。

实验结果

研究问题

• RQ1 如何在计算集群上高效并行化大规模、多数据集的断层扫描处理，同时最小化内存开销？
• RQ2 哪些架构模式能够实现在高性能计算环境中对多样化科学处理插件的可扩展性和易集成性？
• RQ3 如何使单一框架同时支持在 PC 上的交互式小规模处理和在集群上的大规模分布式处理？
• RQ4 并行 HDF5 在支持多维断层扫描数据集的可扩展 I/O 中起到什么作用？
• RQ5 如何使科学工作流在同步辐射环境中对非专家用户更加友好且易于维护？

主要发现

• Savu 成功实现了在集群上对多个大规模断层扫描数据集的并行处理，与串行执行相比显著缩短了处理时间。
• 使用并行 HDF5 允许高效处理超过可用内存容量的数据集，从而克服了传统内存瓶颈。
• 模块化插件架构使得无需修改核心框架即可无缝集成新型处理算法。
• 该框架已在钻石光源的多个光束线成功部署并持续使用，证明了其在实际应用中的可扩展性和可靠性。
• 该系统同时支持在 PC 上的交互式开发和在集群上的高吞吐量批处理，从而提升了对不同用户需求的适用性。