[论文解读] Stability Analysis of QR factorization in an Oblique Inner Product

Bradley R. Lowery, Julien Langou|arXiv (Cornell University)|Jan 21, 2014

Matrix Theory and Algorithms参考文献 5被引用 9

一句话总结

本论文针对由对称正定矩阵 $A$ 定义的斜内积空间中的 QR 分解进行了稳定性分析，评估了基于 $A$ 的 Cholesky 分解与特征值分解的算法，以及使用法方程的算法。主要贡献在于推导出紧致的向后误差界，并提出一种新型通信避免算法 PRE-CHOLQR，该算法在保持数值稳定性的同时，显著提升了并行架构上的性能。

ABSTRACT

In this paper we consider the stability of the QR factorization in an oblique inner product. The oblique inner product is defined by a symmetric positive definite matrix A. We analyze two algorithm that are based a factorization of A and converting the problem to the Euclidean case. The two algorithms we consider use the Cholesky decomposition and the eigenvalue decomposition. We also analyze algorithms that are based on computing the Cholesky factor of the normal equa- tion. We present numerical experiments to show the error bounds are tight. Finally we present performance results for these algorithms as well as Gram-Schmidt methods on parallel architecture. The performance experiments demonstrate the benefit of the communication avoiding algorithms.

研究动机与目标

• 分析由对称正定矩阵 $A$ 定义的斜内积空间中 QR 分解的数值稳定性。
• 评估基于 $A$ 的 Cholesky 分解与特征值分解的算法的向后误差界。
• 研究基于法方程 $Z^T A Z = R^T R$ 计算 $R$ 的算法在稳定性与性能方面的表现。
• 提出并基准测试一种新型通信避免算法 PRE-CHOLQR，以提升并行性能。
• 在现代并行架构上比较基于 Cholesky、基于特征值和基于 Gram-Schmidt 类型的算法的性能。

提出的方法

• 通过构造满足 $A = B^T B$ 的矩阵 $B$，将斜内积空间中的 QR 分解问题转化为等价的欧几里得空间 QR 分解问题，其中 $B$ 由 $A$ 的 Cholesky 分解或特征值分解得到。
• 分析基于 Cholesky 的算法（CHOLQR）和基于特征值的算法（SYEV-EQR）的向后误差界，表明其稳定性与 $\|A\| \|Q\|^2$ 成正比。
• 提出一种新算法 PRE-CHOLQR，通过在 QR 分解前预计算 $BZ$，实现 Level 3 BLAS 操作，降低通信开销。
• 直接使用法方程 $Z^T A Z = R^T R$ 计算 $R$，分析其稳定性与性能之间的权衡。
• 使用优化的 BLAS/LAPACK 库（MKL 11.0）在多核与 GPU 加速系统上实现并基准测试算法，针对稠密和三对角矩阵 $A$。
• 通过归一化的浮点运算速率比较性能，重点关注 Level 3 BLAS 内核的利用率和通信避免特性。

实验结果

研究问题

• RQ1 当使用 $A$ 的 Cholesky 分解或特征值分解时，斜内积空间中 QR 分解的向后误差界是什么？
• RQ2 与基于分解的方法相比，基于法方程的方法在正交性损失方面的稳定性如何？
• RQ3 像 PRE-CHOLQR 这类通信避免算法能否在并行架构上同时实现高数值稳定性和优越性能？
• RQ4 基于 Cholesky、基于特征值和基于 Gram-Schmidt 的算法在稠密与稀疏 $A$ 下的性能特征有何不同？
• RQ5 推导出的理论误差界是否足够紧致？与数值实验中的实际结果相比如何？

主要发现

• 基于 Cholesky 和基于特征值的 QR 算法的向后误差界与 $\|A\| \|Q\|^2$ 成正比，代表了正交性损失的最佳情况界。
• 数值实验表明，所推导的误差界在所有测试配置和矩阵类型下均保持紧致。
• 当 $A$ 为稠密矩阵时，PRE-CHOLQR 在单节点 16 个线程下最高可达到 270 GFLOPs/s 的性能，显著优于经典 Gram-Schmidt 方法（低于 10 GFLOPs/s）。
• 对于三对角 $A$，PRE-CHOLQR 在 $n$ 较大时优于 CGS 和 MGS，峰值性能接近 7 GFLOPs/s，且随着 $n$ 增大，性能超越其他方法。
• 使用 Level 3 BLAS 的算法（如 CHOLQR、PRE-CHOLQR）相比依赖 Level 2 BLAS 的算法（如 MGS、CGS）性能高得多，尤其在现代架构上优势明显。
• CHOL-EQR 仅在 $A$ 稀疏时可行，因其稠密 Cholesky 分解开销过高；而 PRE-CHOLQR 通过预计算和高效内核使用避免了此开销。