[论文解读] Parallel algorithms in linear algebra

Richard P. Brent|arXiv (Cornell University)|Apr 30, 2010

Parallel Computing and Optimization Techniques参考文献 55被引用 13

一句话总结

本文提出了在分布式内存MIMD架构上求解基础线性代数问题的并行算法——特别是高斯消去法、QR分解和SVD。其重点在于通信效率、负载均衡和可扩展性，表明当问题规模随处理器数量增长时，可实现线性加速，并通过虚拟处理器和数据分布策略，展示了稳定且可扩展的解决方案。

ABSTRACT

This report provides an introduction to algorithms for fundamental linear algebra problems on various parallel computer architectures, with the emphasis on distributed-memory MIMD machines. To illustrate the basic concepts and key issues, we consider the problem of parallel solution of a nonsingular linear system by Gaussian elimination with partial pivoting. This problem has come to be regarded as a benchmark for the performance of parallel machines. We consider its appropriateness as a benchmark, its communication requirements, and schemes for data distribution to facilitate communication and load balancing. In addition, we describe some parallel algorithms for orthogonal (QR) factorization and the singular value decomposition (SVD).

研究动机与目标

• 解决在分布式内存MIMD机器上设计高效、可扩展的并行算法以处理核心线性代数问题的挑战。
• 将带部分主元选择的高斯消去法作为并行机器的基准，分析其通信和负载均衡需求。
• 探索替代的稳定方法，如QR和SVD，采用Hestenes和雅可比型算法，以避免因主元选择导致的数值不稳定性。
• 研究问题规模随处理器数量增长时，如何在存在固有串行部分的情况下实现线性加速，结合Amdahl定律与可扩展问题增长进行分析。
• 提供基于虚拟处理器和阵列映射的SVD与特征值问题的实用算法设计。

提出的方法

• 使用虚拟处理器抽象物理处理器的限制，使算法设计独立于硬件约束。
• 应用数据分布策略——块分布、分散分布或列包裹表示——以最小化处理器间通信并实现负载均衡。
• 采用带部分主元选择的高斯消去法作为基准，分析其在分布式系统上的通信开销和可扩展性。
• 提出QR分解作为LU分解的稳定替代方案，避免主元选择，但浮点运算量增加常数倍。
• 将Hestenes和雅可比方法适配用于SVD和对称特征值问题，利用正交变换和并行扫描。
• 利用$\pi_m A \pi_n^{-1}$的SVD与$A$的SVD等价的性质，证明采用块结构或重排的数据布局不会损失一般性。

实验结果

研究问题

• RQ1 带部分主元选择的高斯消去法能否作为分布式内存并行机器的可扩展且具有代表性的基准？
• RQ2 如何优化数据分布和通信模式，以最小化并行线性代数算法中的开销？
• RQ3 在高斯消去法中避免主元选择时，数值稳定性和计算效率之间的权衡是什么？
• RQ4 当问题规模随处理器数量增长时，并行SVD和特征值算法能否实现线性加速？
• RQ5 传统串行算法（如基于QR的SVD）在类似阵列或共享内存MIMD系统等并行架构上，能在多大程度上被高效适配？

主要发现

• 当问题规模$N$随处理器数量$P$增长，满足$N \geq KP$时，可实现线性加速，根据Amdahl定律，此时$E_P \geq 1/2$。
• 使用虚拟处理器可实现独立于物理硬件限制的高效算法设计，支持可扩展的分析与实现。
• QR分解提供了无需主元选择的高斯消去法的数值稳定替代方案，代价是算术运算量增加。
• Hestenes方法用于SVD和雅可比方法用于对称特征值问题可被有效并行化，使用$P = O(n)$处理器时，时间复杂度为$O(mn^2 S / P)$。
• 当$P = O(n^2)$时，通过块结构QR和Kogbetliantz风格方法，SVD可在$O(n^3 S / P)$时间内计算，保持效率。
• 在方形阵列上，对称矩阵三对角化可在$O(n \log n)$时间内完成，显著优于串行的$O(n^3)$，尽管这可能限制快速串行算法在并行机器上的效率。