[论文解读] Tiled QR factorization algorithms

Henricus Bouwmeester, Mathias Jacquelin+2 more|arXiv (Cornell University)|Apr 22, 2011

Interconnection Networks and Systems参考文献 12被引用 4

一句话总结

本文提出了一种基于斐波那契（Fibonacci）和贪婪（Greedy）调度策略的分块QR分解算法，适用于矩形矩阵，旨在优化多核架构中的并行性。该文证明了在满足 p = q²f(q) 且 lim f(q) = 0 的矩阵中，两种算法在渐近意义上均为最优。实验结果表明，与现有方法（如 PlasmaTree 和 FlatTree）相比，该方法在处理高瘦矩阵时性能更优。

ABSTRACT

This work revisits existing algorithms for the QR factorization of rectangular matrices composed of p-by-q tiles, where p >= q. Within this framework, we study the critical paths and performance of algorithms such as Sameh and Kuck, Modi and Clarke, Greedy, and those found within PLASMA. Although neither Modi and Clarke nor Greedy is optimal, both are shown to be asymptotically optimal for all matrices of size p = q^2 f(q), where f is any function such that \lim_{+\infty} f= 0. This novel and important complexity result applies to all matrices where p and q are proportional, p = λq, with λ>= 1, thereby encompassing many important situations in practice (least squares). We provide an extensive set of experiments that show the superiority of the new algorithms for tall matrices.

研究动机与目标

• 解决多核架构中对高度并行化QR分解算法的需求，以加速数值线性代数工作负载。
• 通过引入新型调度算法，在无需调参的前提下，改进现有分块策略（如Sameh-Kuck、FlatTree、PlasmaTree）的并行性。
• 在渐近范围内，建立斐波那契与贪婪算法在高瘦矩阵上的理论最优性。
• 通过大量实验表明，新算法在关键路径长度与执行时间方面优于当前最先进的实现。

提出的方法

• 将斐波那契与贪婪调度策略适配至基于分块的QR分解，用分块级变换替代标量运算。
• 将计算建模为依赖图，其中分块代表计算单元，边表示数据依赖关系。
• 通过关键路径分析评估每种算法的理论性能上限，重点关注并行性与延迟。
• 在双精度和复双精度下，使用TT（高瘦分块）和TS（正方形分块）内核在多核系统上实现并基准测试新算法。
• 通过关键路径长度与执行时间等指标，将结果与FlatTree、PlasmaTree和Sameh-Kuck等成熟算法进行对比。
• 利用紧凑的WY表示法与Level 3 BLAS实现高效的分块更新，结合Householder反射的稳定性与Givens风格调度的并行性。

实验结果

研究问题

• RQ1 斐波那契与贪婪调度策略能否有效适配至基于分块的QR分解，以提升并行性？
• RQ2 在何种矩阵规模条件下，斐波那契与贪婪算法在渐近意义上达到最优？
• RQ3 在实际应用中，新算法与PlasmaTree和FlatTree等现有实现相比，在执行时间与关键路径长度方面表现如何？
• RQ4 斐波那契与贪婪算法因无需调参（如域大小），是否在不同矩阵形状下展现出更鲁棒的性能？
• RQ5 在多核环境下，基于TT内核的分块算法相较于正方形分块，在性能提升方面能达到何种程度？

主要发现

• 斐波那契与贪婪算法在所有满足 p = q²f(q) 且 lim f(q) = 0 的矩阵中渐近最优，该条件包含重要情形 p = λq（λ ≥ 1）。
• 对于高瘦矩阵（如 p=40, q=1），贪婪算法相比PlasmaTree（TT）实现28.09%的执行时间降低，PlasmaTree（TS）与PlasmaTree（TT）相对于贪婪算法的开销分别为1.0153与1.0152。
• 在复双精度下，斐波那契算法相比贪婪算法在 p=40, q=1 时最多实现28.15%的执行时间减少，其相对于贪婪算法的开销为0.7185。
• 在双精度下，贪婪算法在 p=40, q=2 时相比PlasmaTree（TT）实现13.64%的性能提升，开销为0.8636。
• 在所有测试的矩阵尺寸下，新算法均优于PlasmaTree（TT），其相对于贪婪算法的执行时间增益在0.0067至0.1364之间。
• 实验结果证实，新算法具有鲁棒性，无需像先前方法（如[12]）那样依赖调参（如域大小）