[论文解读] Tiled Algorithms for Matrix Computations on Multicore Architectures

Henricus Bouwmeester|arXiv (Cornell University)|Mar 13, 2013

Parallel Computing and Optimization Techniques参考文献 42被引用 6

一句话总结

本文提出了一种用于多核架构上矩阵计算的分块算法，通过动态任务调度和编译器优化，相较于传统的 LAPACK 库，显著提升了并行性和性能。文中提出了 Cholesky 和 QR 分解的最优调度策略与算法改进，通过关键路径分析和整数规划模型，在处理器数量受限的环境下实现了接近最优的性能边界。

ABSTRACT

The current computer architecture has moved towards the multi/many-core structure. However, the algorithms in the current sequential dense numerical linear algebra libraries (e.g. LAPACK) do not parallelize well on multi/many-core architectures. A new family of algorithms, the tile algorithms, has recently been introduced to circumvent this problem. Previous research has shown that it is possible to write efficient and scalable tile algorithms for performing a Cholesky factorization, a (pseudo) LU factorization, and a QR factorization. The goal of this thesis is to study tiled algorithms in a multi/many-core setting and to provide new algorithms which exploit the current architecture to improve performance relative to current state-of-the-art libraries while maintaining the stability and robustness of these libraries.

研究动机与目标

• 解决传统 LAPACK 算法在现代多核架构上并行化效果不佳的问题。
• 开发分块算法以在保持数值稳定性和鲁棒性的前提下提升性能。
• 针对处理器数量有限的情况优化调度与算法设计，最小化关键路径长度。
• 建立理论性能边界，并通过与先进库的实验对比验证其有效性。
• 将动态任务调度与先进的编译器技术相结合，提升基于分块内核的并行性。

提出的方法

• 使用动态任务调度将现有 LAPACK 代码高效转换为可执行的分块算法，修改量最小。
• 应用编译器优化技术，如数组重命名、循环反转和流水线化，以提升分块内核中的并行性。
• 使用有向无环图（DAG）对分块算法进行建模，并分析不同调度策略下的关键路径长度。
• 建立整数规划模型，联合优化 QR 分解在处理器数量受限条件下的归约树与调度方案。
• 推导 Cholesky 和 QR 分解的时间-解理论下界，以评估算法的最优性。
• 提出一种新型最优分块 QR 算法，其关键路径长度优于 Greedy 和 Fibonacci 算法。

实验结果

研究问题

• RQ1 如何通过动态任务调度高效地将现有 LAPACK 代码转换为分块算法？
• RQ2 在分块矩阵求逆与分解内核中，需要哪些编译器技术以最大化并行性？
• RQ3 在处理器数量受限条件下，哪种调度策略能最小化 Cholesky 分解的关键路径？
• RQ4 粗粒度算法（如 Greedy）的最优性是否能在分块模型中保持？若不能，如何构建新的最优分块算法？
• RQ5 分块 QR 分解的时间-解理论下界是什么？实际调度方案能多接近该下界？

主要发现

• 循环反转在基于分块的 Cholesky 求逆中显著提升性能，缩短关键路径并增强并行性。
• 在处理器数量受限条件下，关键路径调度对 Cholesky 分解近乎最优，且推导出了时间-解的理论下界。
• 所提出的分块 QR 算法在所有测试矩阵尺寸（$p \times q$，其中 $1 \leq p \leq 100$，$1 \leq q \leq p$）下，关键路径长度均短于 Greedy 和 Fibonacci 算法。
• 所提出的算法在分块环境下被证明为最优，其关键路径长度优于粗粒度 Greedy 算法，尽管 Greedy 的最优性无法直接迁移至分块模型。
• 整数规划模型成功地对 QR 分解中零化与更新操作之间的优先约束进行了建模，实现了算法与调度的联合优化。
• 实验结果表明，性能上界与实际执行时间非常接近，验证了理论性能边界的准确性。