[论文解读] Numerically Stable Variants of the Communication-hiding Pipelined Conjugate Gradients Algorithm for the Parallel Solution of Large Scale Symmetric Linear Systems

Siegfried Cools, Wim Vanroose|arXiv (Cornell University)|Jun 19, 2017

Matrix Theory and Algorithms参考文献 36被引用 3

一句话总结

该论文提出了一种数值稳定的通信隐藏流水线共轭梯度（p-CG）方法变体，用于求解大规模对称正定线性系统。通过将关键辅助变量递推关系重新表述为移位矩阵 $(A - \sigma I)$ 的形式，该方法抑制了局部舍入误差的放大，恢复了与经典CG方法相当的精度，同时通过减少同步瓶颈，保持了较高的并行可扩展性。

ABSTRACT

By reducing the number of global synchronization bottlenecks per iteration and hiding communication behind useful computational work, pipelined Krylov subspace methods achieve significantly improved parallel scalability on present-day HPC hardware. However, this typically comes at the cost of a reduced maximal attainable accuracy. This paper presents and compares several stabilized versions of the communication-hiding pipelined Conjugate Gradients method. The main novel contribution of this work is the reformulation of the multi-term recurrence pipelined CG algorithm by introducing shifts in the recursions for specific auxiliary variables. These shifts reduce the amplification of local rounding errors on the residual. The stability analysis presented in this work provides a rigorous method for selection of the optimal shift value in practice. It is shown that, given a proper choice for the shift parameter, the resulting shifted pipelined CG algorithm restores the attainable accuracy and displays nearly identical robustness to local rounding error propagation compared to classical CG. Numerical results on a variety of SPD benchmark problems compare different stabilization techniques for the pipelined CG algorithm, showing that the shifted pipelined CG algorithm is able to attain a high accuracy while displaying excellent parallel performance.

研究动机与目标

• 解决通信隐藏流水线CG方法中由于局部舍入误差放大而导致的可达到精度降低问题。
• 开发一种数值稳定的流水线CG变体，使其在有限精度算术下与经典CG方法具有相同的精度。
• 提供一个严格的框架，用于选择最优移位参数 $\sigma$，以控制多术语递推流水线CG中的误差传播。
• 证明稳定化方法在不引入额外计算开销（除少量axpy操作外）的前提下，仍能保持高并行性能。

提出的方法

• 通过在递推关系中用移位矩阵 $(A - \sigma I)$ 替代系统矩阵 $A$，重新表述流水线CG中辅助变量的多术语递推关系。
• 引入移位参数 $\sigma$，以控制残差和解向量上局部舍入误差的放大。
• 基于局部舍入误差传播矩阵推导稳定性分析，以指导最优 $\sigma$ 值的选择。
• 利用从点积值 $\alpha_i$ 和 $\beta_i$ 计算得到的误差传播矩阵后验估计，以实际确定 $\sigma$。
• 实现移位流水线CG算法，仅增加极少的额外操作：仅需额外的axpy步骤，避免了昂贵的残差替换或迭代修正。
• 在精确算术下与经典CG保持等价性，同时在有限精度下保留通信隐藏特性和流水线化优势。

实验结果

研究问题

• RQ1 是否可以在不牺牲通信隐藏或并行可扩展性的前提下，缓解流水线CG中可达到精度的损失？
• RQ2 移位参数 $\sigma$ 的选择如何影响流水线CG算法中局部舍入误差的传播？
• RQ3 是否存在一种系统性方法，可选择最优 $\sigma$ 值，以恢复与经典CG相当的精度？
• RQ4 移位流水线CG方法是否保持了与经典CG方法相当的对舍入误差传播的鲁棒性？

主要发现

• 在二维泊松问题上，移位流水线CG方法实现了 $9.6 \times 10^{-12}$ 的残差范数，与经典CG的精度 $9.4 \times 10^{-12}$ 相当。
• 该方法在20个节点上约用2.7秒即达到此高精度，相比经典CG实现了4倍加速。
• 经典CG在强缩放实验中超过4个节点后便无法有效扩展，而包括移位版本在内的流水线变体可扩展至20个节点，加速比约为8倍。
• 稳定化后的 p-CG-rr 和 p-CG-sh 变体相比标准 p-CG 仅出现轻微性能下降，这是由于额外的axpy操作所致，但其精度保持较高。
• 稳定性分析提供了一套严谨的方法，基于从 $\alpha_i$ 和 $\beta_i$ 值导出的误差传播矩阵来选择 $\sigma$。
• 数值实验确认，当 $\sigma$ 选择最优时，移位流水线CG方法在舍入误差传播鲁棒性方面几乎与经典CG方法完全一致。