[论文解读] Scalable Task-Oriented Parallelism for Structure Based Incomplete LU Factorization

X. Dong, Gene Cooperman|arXiv (Cornell University)|Mar 1, 2008

Matrix Theory and Algorithms参考文献 18被引用 1

一句话总结

本论文提出了 TPILU(k)，这是首个针对稀疏非对称线性系统、具备位兼容性、可扩展且稳定的并行 ILU(k) 预条件子。它实现了在众多核心上的高效面向任务的并行计算，在16核系统上实现了最高9倍的加速，在80节点集群上实现了最高50倍的加速，同时保持了与串行 ILU(k) 相同的数值稳定性。

ABSTRACT

ILU(k) is a commonly used preconditioner for iterative linear solvers for sparse, non-symmetric systems. It is often preferred for the sake of its stability. We present TPILU(k), the first efficiently parallelized ILU(k) preconditioner that maintains this important stability property. Even better, TPILU(k) preconditioning produces an answer that is bit-compatible with the sequential ILU(k) preconditioning. In terms of performance, the TPILU(k) preconditioning is shown to run faster whenever more cores are made available to it --- while continuing to be as stable as sequential ILU(k). This is in contrast to some competing methods that may become unstable if the degree of thread parallelism is raised too far. Where Block Jacobi ILU(k) fails in an application, it can be replaced by TPILU(k) in order to maintain good performance, while also achieving full stability. As a further optimization, TPILU(k) offers an optional level-based incomplete inverse method as a fast approximation for the original ILU(k) preconditioned matrix. Although this enhancement is not bit-compatible with classical ILU(k), it is bit-compatible with the output from the single-threaded version of the same algorithm. In experiments on a 16-core computer, the enhanced TPILU(k)-based iterative linear solver performed up to 9 times faster. As we approach an era of many-core computing, the ability to efficiently take advantage of many cores will become ever more important. TPILU(k) also demonstrates good performance on cluster or Grid. For example, the new algorithm achieves 50 times speedup with 80 nodes for general sparse matrices of dimension 160,000 that are diagonally dominant.

研究动机与目标

• 解决稀疏非对称线性系统中缺乏可扩展、稳定且位兼容的并行 ILU(k) 预条件子的问题。
• 在不牺牲数值稳定性的情况下，实现 ILU(k) 分解中的高效面向任务的并行计算。
• 克服在增加线程数量时，高度并行化的替代方法（如块雅可比 ILU(k)）所出现的不稳定性问题。
• 为现有并行 ILU(k) 方法提供一种高性能替代方案，这些方法在高并行度下会失去位兼容性或稳定性。
• 同时支持精确的位兼容执行，以及为性能关键应用设计的快速近似层级化变体。

提出的方法

• 设计一种面向任务的并行计算模型，将 ILU(k) 分解划分为多个核心上的独立细粒度任务。
• 采用依赖感知的调度策略，以在并行线程之间保持数据一致性和数值稳定性。
• 实现一种位兼容的执行模型，确保与串行 ILU(k) 算法结果完全一致。
• 引入一种可选的基于层级的不完全逆矩阵方法，作为快速近似，与单线程版本位兼容。
• 利用基于任务的运行时系统，动态管理负载均衡并减少同步开销。
• 扩展框架以支持分布式内存环境，实现对集群和网格系统的部署。

实验结果

研究问题

• RQ1 能否设计一种并行 ILU(k) 预条件子，在跨多个核心高效扩展的同时，保持与串行版本的位兼容性？
• RQ2 在高线程数量下，ILU(k) 分解中的面向任务并行是否比基于块或域的方法更好地保持数值稳定性？
• RQ3 所提出的方法是否能在共享内存系统和分布式集群上均实现显著加速，且不牺牲稳定性？
• RQ4 可选的基于层级的不完全逆矩阵变体在速度和精度方面与精确的 TPILU(k) 方法相比如何？
• RQ5 TPILU(k) 在多大程度上可以取代如块雅可比 ILU(k) 这类不稳定的替代方案，在实际应用中实现可靠使用？

主要发现

• TPILU(k) 在16核系统上的性能最高比串行 ILU(k) 快9倍，且完全保持位兼容性。
• 该算法在核心数量增加时表现出良好的可扩展性，在高线程并行度下仍保持稳定。
• 在80节点集群上，TPILU(k) 对大小为160,000的对角占优稀疏矩阵实现了最高50倍的加速。
• 可选的基于层级的不完全逆矩阵方法提供了与单线程版本位兼容的快速近似。
• 当块雅可比 ILU(k) 因不稳定性而失效时，TPILU(k) 仍能保持稳定性和性能，使其可在生产工作负载中可靠使用。
• 该方法表现出强大的可移植性，在共享内存和分布式内存架构上均实现了高性能。