[论文解读] Stop talking to me -- a communication-avoiding ADER-DG realisation

Dominic Etienne Charrier, Tobias Weinzierl|arXiv (Cornell University)|Jan 26, 2018

Numerical methods for differential equations参考文献 13被引用 10

一句话总结

本文提出了一种通信避免型ADER-DG离散化方法，通过强制执行单次接触语义、将算法步骤与网格遍历解耦，并在计算后隐藏分布式内存通信，从而减少数据移动和内存压力。该方法通过最小化冗余数据访问并优化并行、可扩展至百亿亿次计算架构的模拟中的任务调度，在低多项式阶次和小时间步长下实现了显著的性能提升。

ABSTRACT

We present a communication- and data-sensitive formulation of ADER-DG for hyperbolic differential equation systems. Sensitive here has multiple flavours: First, the formulation reduces the persistent memory footprint. This reduces pressure on the memory subsystem. Second, the formulation realises the underlying predictor-corrector scheme with single-touch semantics, i.e., each degree of freedom is read on average only once per time step from the main memory. This reduces communication through the memory controllers. Third, the formulation breaks up the tight coupling of the explicit time stepping's algorithmic steps to mesh traversals. This averages out data access peaks. Different operations and algorithmic steps are ran on different grid entities. Finally, the formulation hides distributed memory data transfer behind the computation aligned with the mesh traversal. This reduces pressure on the machine interconnects. All techniques applied by our formulation are elaborated by means of a rigorous task formalism. They break up ADER-DG's tight causal coupling of compute steps and can be generalised to other predictor-corrector schemes.

研究动机与目标

• 为解决高阶双曲型PDE在高性能计算中日益严重的数据移动瓶颈问题。
• 通过优化数据访问，减少ADER-DG格式中的内存带宽压力和通信开销。
• 通过在计算后隐藏通信，实现在分布式内存系统上高效、可扩展的ADER-DG并行执行。
• 将通信避免技术推广至ADER-DG以外的预测-校正格式。
• 在地震波和天体物理波模拟等实际应用中验证该方法的有效性。

提出的方法

• 采用单次接触语义的ADER-DG公式，确保每个自由度在每个时间步中仅从主内存读取一次。
• 将预测、黎曼求解和校正步骤与刚性网格遍历顺序解耦，使不同网格实体上的步骤可独立调度。
• 通过将通信与网格遍历及任务调度对齐，在计算后隐藏分布式内存数据传输。
• 采用基于任务的形式化方法，对数据访问模式和算法依赖关系进行建模与优化。
• 使用融合时间步长技术，将预测和黎曼求解阶段合并，减少同步和通信开销。
• 采用有限体积限制器以增强在激波存在下的鲁棒性，同时在光滑区域保持高阶精度。

实验结果

研究问题

• RQ1 如何重构ADER-DG以最小化高性能计算中的数据移动和内存带宽压力？
• RQ2 在分布式内存ADER-DG中，通信在多大程度上可以被计算隐藏？
• RQ3 预测与黎曼求解步骤的融合对不同多项式阶次下的性能和可扩展性有何影响？
• RQ4 通信避免技术能否推广至其他预测-校正格式，包括有限体积方法？
• RQ5 任务调度与负载均衡在分布式内存环境下对通信避免型ADER-DG性能的影响如何？

主要发现

• 通信避免型ADER-DG公式在低多项式阶次（p ≤ 5）和小时间步长下实现了显著的性能提升。
• 融合时间步长方法使每个时间步的总耗时低于三步顺序方法，尤其在p = 2和p = 3时表现更优。
• 在KNL和Broadwell架构上，融合方法通过在计算后隐藏通信，显著减少了运行时间，即使在分布式内存环境下也实现了可测量的性能增益。
• 当预测步骤（STP）占主导运行时间时，该技术效果最佳，因为通信可高效地与计算重叠。
• 随着多项式阶次的增加，性能增益逐渐减弱，因为STP阶段的开销增长，导致融合的相对优势下降。
• 只要仔细管理负载均衡并优先处理子域边界上的任务，该方法在分布式内存运行中仍能保持良好的可扩展性和有效性。