[论文解读] Parallel Implementations of the Jacobi Linear Algebraic Systems Solve

Athanasios Margaris, Stavros Souravlas+1 more|arXiv (Cornell University)|Mar 23, 2014

Parallel Computing and Optimization Techniques参考文献 7被引用 8

一句话总结

本文提出了一种基于消息传递接口（MPI）模型在分布式内存架构上并行实现雅可比迭代法求解线性代数方程组的方法。在集群环境中使用MPICH对多种配置下的加速比和效率进行了评估，结果表明与串行执行相比性能显著提升。

ABSTRACT

The objective of this research is to construct parallel implementations of the Jacobi algorithm used for the solution of linear algebraic systems, to measure their speedup with respect to the serial case and to compare each other, regarding their efficiency. The programming paradigm used in this implementation is the message passing model, while, the used MPI implementation is the MPICH implementation of the Argonne National Laboratory.

研究动机与目标

• 设计并实现使用消息传递技术的雅可比算法并行版本以求解线性系统。
• 测量并行实现相对于串行版本的加速比。
• 从执行时间和可扩展性角度，比较不同并行化策略的效率。
• 使用MPICH实现，在分布式内存集群上评估性能。
• 提供关于并行环境中雅可比方法实际可扩展性和负载均衡特性的见解。

提出的方法

• 采用MPI（消息传递接口）编程模型，以并行方式实现雅可比迭代法。
• 将线性系统在多个处理器之间划分，每个节点在每次迭代中使用相邻节点传入的更新值求解其子集方程。
• 通过点对点和集体MPI调用管理进程间通信，交换边界值并更新解向量。
• 使用MPICH库进行消息传递，确保在集群架构上的可移植性和高性能。
• 算法设计旨在最小化同步开销，并在处理器之间最大化数据局部性。
• 性能通过执行时间、加速比和不同处理器数量下的效率进行衡量。

实验结果

研究问题

• RQ1 随着处理器数量的增加，并行雅可比实现的可扩展性如何？
• RQ2 与串行版本相比，并行雅可比求解器可达到的加速比是多少？
• RQ3 不同的数据分布方式和通信模式如何影响求解器的效率？
• RQ4 负载不平衡和通信开销对收敛性和性能有何影响？
• RQ5 哪种配置在加速比与成本比方面具有最高的效率？

主要发现

• 并行雅可比实现获得了显著的加速比，在多个处理器上表现出合理的可扩展性。
• 加速比随处理器数量增加而提升，但在达到某一临界点后，通信开销开始限制进一步增益。
• 在中等数量的处理器下，效率保持在60%以上，表明负载均衡良好且通信与计算比低。
• 该实现展示了在基于MPICH的集群环境中的良好可移植性和稳定性。
• 结果证实，雅可比方法适合并行化，尤其适用于具有规则结构的大规模稀疏系统。
• 本研究为在分布式环境中评估其他迭代求解器提供了实用的基线参考。