[论文解读] The Communication-Hiding Conjugate Gradient Method with Deep Pipelines

J. Cornelis, Siegfried Cools+1 more|arXiv (Cornell University)|Jan 15, 2018

Matrix Theory and Algorithms参考文献 37被引用 19

一句话总结

本文提出 p(l)-CG 方法，即共轭梯度算法的深度流水线变体，通过将每个 CG 迭代中的全局通信阶段与后续最多 l 个稀疏矩阵-向量乘法（spmv）操作重叠，以隐藏大规模并行系统中的通信延迟。该方法在百亿亿次级硬件上实现了相较于经典 CG 和标准流水线 CG 的更好可扩展性，但代价是存储需求增加以及由于更长流水线中误差传播导致的潜在数值不稳定性。

ABSTRACT

Krylov subspace methods are among the most efficient solvers for large scale linear algebra problems. Nevertheless, classic Krylov subspace algorithms do not scale well on massively parallel hardware due to synchronization bottlenecks. Communication-hiding pipelined Krylov subspace methods offer increased parallel scalability by overlapping the time-consuming global communication phase with computations such as spmvs, hence reducing the impact of the global synchronization and avoiding processor idling. One of the first published methods in this class is the pipelined Conjugate Gradient method (p-CG). However, on large numbers of processors the communication phase may take much longer than the computation of a single spmv. This work extends the pipelined CG method to deeper pipelines, denoted as p(l)-CG, which allows further scaling when the global communication phase is the dominant time-consuming factor. By overlapping the global all-to-all reduction phase in each CG iteration with the next l spmvs (deep pipelining), the method hides communication latency behind additional computational work. The p(l)-CG algorithm is derived from similar principles as the existing p(l)-GMRES method and by exploiting operator symmetry. The p(l)-CG method is also compared to other Krylov subspace methods, including the closely related classic CG and D-Lanczos methods and the pipelined CG method by Ghysels et al.. By analyzing the maximal accuracy attainable by the p(l)-CG method it is shown that the pipelining technique induces a trade-off between performance and numerical stability. A preconditioned version of the algorithm is also proposed and storage requirements and performance estimates are discussed. Experimental results demonstrate the possible performance gains and the attainable accuracy of deeper pipelined CG for solving large scale symmetric linear systems.

研究动机与目标

• 解决经典 Krylov 子空间方法在大规模并行架构上因点积归约中的全局同步瓶颈而导致的可扩展性限制。
• 克服在大规模系统中当全局通信延迟超过 spmv 计算时间时，标准流水线 CG（p-CG）所面临的性能瓶颈。
• 将流水线概念从单阶段重叠扩展至更深的流水线（l > 1），以提升通信隐藏效果与并行效率。
• 分析在对称正定系统中，更深层次流水线引入的数值稳定性与精度之间的权衡。
• 为 p(l)-CG 算法提供实用的实现框架，并给出存储与性能的估算。

提出的方法

• 通过利用矩阵对称性并强制残差正交性，从 p(l)-GMRES 方法推导出 p(l)-CG 算法，从而简化对称系统下的通用框架。
• 引入辅助变量，使每次 CG 迭代中的全局全对全归约（通信）阶段可与接下来的 l 个 spmv 操作重叠。
• 使用多术语递推关系递归计算辅助变量，在保持算法结构的同时隐藏通信延迟。
• 通过调度策略实现通信-计算重叠：将第 k 次迭代的通信阶段安排在第 k+1 至 k+l 次迭代的 spmv 计算过程中执行。
• 提出 p(l)-CG 的预条件变体，并分析其存储需求与性能特征。
• 提供局部舍入误差传播的理论界，以评估流水线深度对解精度的影响。

实验结果

研究问题

• RQ1 在全局归约时间主导计算时间的大规模并行系统中，共轭梯度方法的更深层次流水线（l > 1）是否能有效隐藏通信延迟？
• RQ2 在有限精度算术下，增加流水线深度如何影响 p(l)-CG 方法的数值稳定性与可达到的解精度？
• RQ3 更深层次流水线引入的存储与计算开销是什么？这些开销如何随 l 和问题规模变化？
• RQ4 在分布式多核架构上，p(l)-CG 与经典 CG、p-CG 和 D-Lanczos 方法在性能与精度方面相比如何？
• RQ5 p(l)-CG 方法在百亿亿次硬件上的可扩展性如何？其实际限制是否由误差传播与实现复杂性所决定？

主要发现

• 当全局通信延迟主导时，p(l)-CG 方法在大规模并行系统上相较于经典 CG 和标准 p-CG 展现出更好的可扩展性，尤其在 l > 1 时效果更显著。
• 在最优重叠场景下，性能提升最高可达经典 CG 的 3 倍，且更深层次的流水线进一步减少了百亿亿次级硬件上的空闲时间。
• 该方法在性能与数值精度之间存在权衡，较长的流水线会放大局部舍入误差的传播，可能降低可达到的解精度。
• 在特定条件下观察到 p(3)-CG 出现平方根分解失败，表明更深流水线存在数值失败风险。
• 理论分析表明，误差传播同时依赖于流水线长度 l 和辅助 Krylov 基向量的选择，提示实现选择具有高度敏感性。
• 实验结果证实，更深层次的流水线在分布式多核系统上可带来更好的可扩展性，尽管实现复杂度与存储开销随 l 增加而上升。