[论文解读] The swept rule for breaking the latency barrier in time advancing two-dimensional PDEs

Maitham Alhubail, Qiqi Wang+1 more|arXiv (Cornell University)|Feb 23, 2016

Parallel Computing and Optimization Techniques参考文献 9被引用 5

一句话总结

本文提出了一种用于二维（2D）时间推进偏微分方程（PDE）的Swept Rule方法，这是一种时空域分解技术，通过利用影响域和依赖域来减少通信频率。该方法在多个时间步内仅通信一次——数据量相似但消息数量更少——从而突破了网络延迟瓶颈，在云集群上对二维波动方程和欧拉方程的模拟中，相比传统的空间分解方法，实现了超过3倍的加速。

ABSTRACT

This article describes a method to accelerate parallel, explicit time integration of two-dimensional unsteady PDEs. The method is motivated by our observation that latency, not bandwidth, often limits how fast PDEs can be solved in parallel. The method is called the swept rule of space-time domain decomposition. Compared to conventional, space-only domain decomposition, it communicates similar amount of data, but in fewer messages. The swept rule achieves this by decomposing space and time among computing nodes in ways that exploit the domains of influence and the domain of dependency, making it possible to communicate once per many time steps with no redundant computation. By communicating less often, the swept rule effectively breaks the latency barrier, advancing on average more than one time step per ping-pong latency of the network. The article presents simple theoretical analysis to the performance of the swept rule in two spatial dimensions, and supports the analysis with numerical experiments.

研究动机与目标

• 为解决二维非定常PDE并行显式时间推进中的可扩展性限制，该限制通常由网络延迟而非计算能力所制约。
• 通过在不增加冗余计算的前提下最小化节点间通信消息数量，克服分布式PDE求解器中的延迟障碍。
• 将一维Swept Rule扩展至二维空间，实现对长时间、小规模模拟的高效、低延迟时间推进。
• 证明基于影响域和依赖域的时空分解可实现比传统空间域分解更快的时间积分。
• 提供模块化、可重用的接口，将数值格式开发与Swept Rule实现解耦，以促进更广泛的应用。

提出的方法

• Swept Rule基于每个计算子域的影响域和依赖域，在计算节点上同时进行空间和时间的分解。
• 重新组织计算负载，使得数据仅在多个时间步内通信一次，尽管数据量相似，但消息数量显著减少。
• 利用PDE的因果结构识别何时以及需要交换何种数据，从而实现批量通信而非频繁的小数据传输。
• 采用时空扫掠模式，使节点可在无需同步的情况下连续推进多个时间步。
• 该算法使用MPI实现，并设计有清晰的抽象层，可与现有PDE求解器集成，将数值格式逻辑与域分解逻辑分离。
• 与某些通信避免算法不同，该方法通过仅在需要时交换所有必要数据，避免了冗余计算。

实验结果

研究问题

• RQ1 能否在不增加冗余计算的前提下，通过时空域分解减少并行2D PDE求解器中的通信频率？
• RQ2 减少消息数量在多大程度上能缓解网络延迟对时间推进PDE求解器的影响？
• RQ3 在实际应用中，Swept Rule相较于经典空间域分解在2D PDE的加速比和可扩展性方面表现如何？
• RQ4 Swept Rule能否有效应用于线性和非线性PDE，如二维波动方程和欧拉方程？
• RQ5 在航空热力设计中常见的小规模、长时间模拟中，Swept Rule的性能提升如何？

主要发现

• 在9个节点的Amazon EC2集群上求解二维波动方程时，Swept Rule实现了超过3倍的加速，每个MPI进程分配约1,000个网格点。
• 对于二维欧拉方程，当每个节点分配约400个网格点时，Swept Rule实现了4倍的加速，证明其在非线性、可压缩流体中的有效性。
• 即使在小规模问题上也观察到性能提升，证实该方法在低带宽、高延迟网络环境中有效打破了延迟瓶颈。
• 方法保持了数值精度，通过轮廓图验证了两种测试案例中波的正确传播和动量演化。
• 理论性能模型与实验结果高度吻合，图14和图16中的下倾线代表$\frac{4\tau}{n}$项，准确捕捉了避免延迟的增益。
• Swept Rule在2D PDE中的开源实现已公开发布于GitHub，支持可复现性，并可轻松集成到其他求解器中。