[论文解读] Numerical analysis of the maximal attainable accuracy in communication hiding pipelined Conjugate Gradient methods

Siegfried Cools|arXiv (Cornell University)|Apr 9, 2018

Matrix Theory and Algorithms参考文献 34被引用 3

一句话总结

本文分析了流水线共轭梯度（CG）方法中可达到的最大精度，该方法通过将全局通信与本地计算重叠，在高性能计算（HPC）中降低通信延迟。本文推导了多 term 递推关系的误差传播边界，表明当 ℓ ≥ 3 时，p(ℓ)-CG 可实现后向误差 ≤ 1e-12，而较低 ℓ 的变体由于舍入误差放大而失败。

ABSTRACT

Krylov subspace methods are widely known as efficient algebraic methods for solving large scale linear systems. However, on massively parallel hardware the performance of these methods is typically limited by communication latency rather than floating point performance. With HPC hardware advancing towards the exascale regime the gap between computation and communication keeps steadily increasing, imposing the need for scalable alternatives to traditional Krylov subspace methods. One such approach are the so-called pipelined Krylov subspace methods, which reduce the number of global synchronization points and overlap global communication latency with local arithmetic operations, thus hiding the global reduction phases behind useful computations. To obtain this overlap the traditional Krylov subspace algorithm is reformulated by introducing a number of auxiliary vector quantities, which are computed using additional recurrence relations. Although pipelined Krylov subspace methods are equivalent to traditional Krylov subspace methods in exact arithmetic, local rounding errors induced by the multi-term recurrence relations in finite precision may in practice affect convergence significantly. This numerical stability study aims to characterize the effect of local rounding errors on attainable accuracy in various pipelined versions of the popular Conjugate Gradient method. Expressions for the gaps between the true and recursively computed variables that are used to update the search directions in the different CG variants are derived. Furthermore, it is shown how these results can be used to analyze and correct the effect of local rounding error propagation on the maximal attainable accuracy of pipelined CG methods. The analysis in this work is supplemented by numerical experiments that demonstrate the numerical behavior of the pipelined CG methods.

研究动机与目标

• 研究局部舍入误差对流水线 Krylov 子空间方法中最大可达到精度的影响。
• 分析流水线 CG（p-CG 和 p(ℓ)-CG）中多 term 递推关系在有限精度算术下如何放大舍入误差。
• 推导依赖于流水线深度 ℓ 和 Krylov 基结构的误差传播实用边界。
• 提出一种缓解策略，以计算效率为代价降低误差放大。
• 通过 PETSc 中可复现的实验，展示流水线 CG 变体的数值行为。

提出的方法

• 推导 p-CG 和 p(ℓ)-CG 中真实值与递归计算变量之间差距的表达式，重点关注搜索方向更新。
• 使用有限精度分析，建模局部舍入误差如何通过流水线算法中的多 term 递推关系传播。
• 建立误差放大的理论边界，作为流水线深度 ℓ 和 Krylov 基条件数的函数。
• 提出一种稳定策略，通过修改递推关系，以增加计算成本换取更高的精度。
• 使用 PETSc 中的 C 实现进行数值实验，比较不同变体在收敛性和残差减少方面的表现。
• 以后向误差作为最大可达到精度的度量，尤其关注在百亿亿次级 HPC 工作负载中的表现。

实验结果

研究问题

• RQ1 多 term 递推关系产生的局部舍入误差如何影响流水线 CG 方法中最大可达到精度？
• RQ2 流水线深度 ℓ 对 p(ℓ)-CG 中误差放大和收敛行为有何影响？
• RQ3 为何 p(1)-CG 和 p(2)-CG 无法实现低于 1e-12 的后向误差，而 p(3)-CG 可以？
• RQ4 能否设计一种稳定技术，在不显著牺牲性能的前提下减轻误差放大？
• RQ5 Krylov 基的结构如何影响流水线 CG 中舍入误差的传播？

主要发现

• 当 ℓ = 3 时，p(ℓ)-CG 方法的后向误差满足 ‖b - A𝐱̄ⱼ‖ / ‖b‖ ≤ 1.0e-12，而 p(1)-CG 和 p(2)-CG 由于误差放大而无法达到此水平。
• p(3)-CG 中的平方根崩溃及后续重启提高了最终精度，但相比低 ℓ 变体延迟了收敛。
• 标准 p(ℓ)-CG 变体比其稳定版本收敛更快，但以降低可达到的精度为代价。
• 误差传播显著受流水线深度 ℓ 和 Krylov 基条件数的影响，更高的 ℓ 有助于更好地控制误差。
• 所提出的缓解误差放大的对策以牺牲计算效率为代价换取更高精度，表明在高精度应用中存在可行的权衡。
• 分析表明，当 ℓ ≥ 3 时，p(ℓ)-CG 比低 ℓ 变体具有更高的最大可达到精度，这是由于递推关系中更好的数值稳定性。