[论文解读] Parallelizing the XSTAR Photoionization Code

Michael S. Noble, Li Ji+2 more|ArXiv.org|Jan 12, 2009

Solar and Space Plasma Dynamics参考文献 1被引用 4

一句话总结

本文提出了 pvm_xstar 和 PModel 两种并行化解决方案，用于 XSTAR 光电离化代码，使其能够在多 CPU 系统上高效执行。pvm_xstar 通过集群将独立的 XSTAR 任务分发进行批量处理，而 PModel 允许多个数学上独立的模型组件和能量通道在 ISIS 中并发计算，将拟合时间从数周缩短至数小时，且用户无需学习并行编程知识。

ABSTRACT

We describe two means by which XSTAR, a code which computes physical conditions and emission spectra of photoionized gases, has been parallelized. The first is pvm_xstar, a wrapper which can be used in place of the serial xstar2xspec script to foster concurrent execution of the XSTAR command line application on independent sets of parameters. The second is PModel, a plugin for the Interactive Spectral Interpretation System (ISIS) which allows arbitrary components of a broad range of astrophysical models to be distributed across processors during fitting and confidence limits calculations, by scientists with little training in parallel programming. Plugging the XSTAR family of analytic models into PModel enables multiple ionization states (e.g., of a complex absorber/emitter) to be computed simultaneously, alleviating the often prohibitive expense of the traditional serial approach. Initial performance results indicate that these methods substantially enlarge the problem space to which XSTAR may be applied within practical timeframes.

研究动机与目标

• 解决大规模天体物理学建模中串行 XSTAR 运行计算时间过长的问题。
• 实现在批量处理中高效执行数千个独立 XSTAR 参数集。
• 在像 ISIS 这类光谱拟合工具中，减少复杂多组分 XSTAR 模型的拟合时间。
• 使非并行编程专家也能利用多 CPU 系统进行基于 XSTAR 的建模。
• 通过支持高通量、物理上合理的模拟，扩展 XSTAR 的实际可解问题范围。

提出的方法

• pvm_xstar 使用并行虚拟机（PVM）工具包，将独立的 XSTAR 作业分发到集群上执行，替代原有的串行 xstar2xspec 脚本。
• pvm_xstar 采用 Bourne shell 包装器和 S-Lang 脚本管理作业分发，通过为每个作业创建独立的目录来避免文件 I/O 冲突。
• PModel 是 ISIS 光谱拟合软件的插件，引入了桩函数（pm_add、pm_mult、pm_func）和通过 pm_subgrid(N) 实现的网格分解。
• PModel 利用了两种潜在的并行性：组件独立性（可同时计算独立的模型组件）和通道独立性（在能量/波长网格的子网格上并行计算）。
• 该插件通过加法、乘法或任意函数组合方式透明地处理结果合并，将并行性抽象化，使用户无需关注底层并行机制。
• 两种工具均无需修改 ISIS 或 XSTAR，保留了原有的工作流程和用户界面。

实验结果

研究问题

• RQ1 能否通过基于集群的并行化方法，加速对数千个 XSTAR 参数集的批量处理？
• RQ2 能否通过利用组件级和通道级并行性，减少在 ISIS 中拟合复杂 XSTAR 模型时的性能瓶颈？
• RQ3 非并行编程专家在自动化执行 XSTAR 模型时，能从并行计算中获得多大程度的收益？
• RQ4 通过在多个 CPU 上分发组件和通道的计算，XSTAR 建模能获得多大的加速比？
• RQ5 能否在不修改核心软件栈的前提下，将并行执行集成到现有的光谱拟合工作流中？

主要发现

• 一个包含 600 个作业的 XSTAR 模拟，在单核 CPU 上耗时 26.4 小时，而使用 pvm_xstar 在 52 核的 Beowulf 集群上仅用 110 分钟完成，实现了接近线性的加速比。
• 一个包含 20 多个组件、数百个参数的复杂 XSTAR 模型，串行计算耗时超过 4 周，而在同一集群上使用 PModel 仅需约 22 小时即可完成。
• PModel 插件通过将独立的模型组件分发到处理器上，实现了线性加速，在 3 核系统上将每次迭代的计算时间从 45 秒减少到 15 秒。
• 性能提升无需用户学习并行编程，因为 PModel 在简单、类似串行的接口背后抽象了并行执行过程。
• pvm_xstar 和 PModel 均为开源软件，具有可移植性，并已在多核桌面电脑、工作站集群和高性能计算系统上成功部署。
• 这些工具使用户能在过去仅能处理少数物理情景的时间内，探索数千种物理情景，显著扩展了 XSTAR 建模的可行参数空间。