[论文解读] Towards an Efficient Tile Matrix Inversion of Symmetric Positive Definite Matrices on Multicore Architectures

Emmanuel Agullo, Henricus Bouwmeester+4 more|arXiv (Cornell University)|Feb 22, 2010

Parallel Computing and Optimization Techniques参考文献 9被引用 5

一句话总结

本文提出了一种基于分块的算法，用于在多核架构上使用动态任务调度器对对称正定矩阵进行求逆。通过应用编译器技术（如数组重命名、循环反转和流水线化）以减少反向依赖和关键路径长度，该方法实现了高可扩展性和高性能，在最多8个核心的多核系统上优于现有最先进库。

ABSTRACT

The algorithms in the current sequential numerical linear algebra libraries (e.g. LAPACK) do not parallelize well on multicore architectures. A new family of algorithms, the tile algorithms, has recently been introduced. Previous research has shown that it is possible to write efficient and scalable tile algorithms for performing a Cholesky factorization, a (pseudo) LU factorization, and a QR factorization. In this extended abstract, we attack the problem of the computation of the inverse of a symmetric positive definite matrix. We observe that, using a dynamic task scheduler, it is relatively painless to translate existing LAPACK code to obtain a ready-to-be-executed tile algorithm. However we demonstrate that non trivial compiler techniques (array renaming, loop reversal and pipelining) need then to be applied to further increase the parallelism of our application. We present preliminary experimental results.

研究动机与目标

• 解决在现代多核架构上高效计算对称正定矩阵逆矩阵的挑战。
• 克服分块算法中阻碍并行性的矩阵求逆反向依赖问题。
• 评估编译器技术（数组重命名、循环反转和流水线化）对性能和可扩展性的影响。
• 证明动态调度可有效实现多个求逆步骤的流水线化，而无需手动静态调度。
• 在共享内存多核系统上实现高性能和强可扩展性，超越现有库。

提出的方法

• 该算法采用将矩阵分解为小块（例如 b=200）的分块方法，以实现细粒度并行性。
• 利用动态任务调度器在运行时管理数据依赖，避免静态调度的复杂性。
• 应用数组重命名技术通过使用数据的临时副本消除反向依赖（例如写后读），从而减少关键路径长度。
• 采用循环反转重新排列可交换的 GEMM 操作，以最小化每个算法步骤的关键路径。
• 在求逆的三个阶段（Cholesky 分解、求解和更新）之间应用流水线化，以提高任务级并行性。
• 该实现集成到 PLASMA 库中，并在双路四核 Intel Xeon 系统（共 8 个核心）上进行评估。

实验结果

研究问题

• RQ1 如何将分块算法扩展到具有显著反向依赖的矩阵求逆问题？
• RQ2 数组重命名和循环反转在多大程度上提升了并行性并减少了矩阵求逆中的关键路径长度？
• RQ3 动态调度器能否在无需手动静态调度的情况下有效实现矩阵求逆三个阶段的流水线化？
• RQ4 该算法在现代多核系统上相比现有库的性能提升如何？
• RQ5 循环顺序选择（递增与递减）对关键路径和执行时间有何影响？

主要发现

• 采用数组重命名的非原地版本相比原地版本表现出显著更高的强可扩展性，尤其在小矩阵（如 N=1000）上，这是由于并行性更高。
• 对于 4000×4000 矩阵，当核心数不超过 7 个时，原地和非原地版本性能相近，但非原地版本更高效地利用了全部 8 个核心。
• 循环反转将 TRTRI 的关键路径从 O(t²) 降低至 O(t)，其中 UDU 顺序（递增、递减、递增）相比朴素的 UUU 顺序最小化了路径长度。
• 流水线化将关键路径从原地版本的 9t−7 个任务减少至 9t−9 个任务，非原地版本从 6t−3 个任务减少至 5t−2 个任务，但对原地版本性能影响较小，因其开销低。
• 在 8000×8000 矩阵（b=2000）上，禁用流水线化使非原地版本的执行时间从 25.1 秒增加至 29.2 秒，提升约 16%，证实了流水线化的性能优势。
• 动态调度器实现了自动流水线化，而循环反转和数组重命名需要手动算法修改，提示未来可探索自动化优化。