[论文解读] Parallel Semi-Implicit Time Integrators

Benjamin Ong, Andrew Melfi+1 more|arXiv (Cornell University)|Sep 19, 2012

Numerical methods for differential equations参考文献 21被引用 5

一句话总结

本文提出了一种基于修正型积分延迟校正（RIDC）方法的并行半隐式时间积分格式，通过使用多张GPU实现时间依赖PDE的高阶精度（最高四阶）。通过利用CUBLAS库和OpenMP，该方法在四张GPU和四颗CPU上实现了四阶精度，其实际运行时间与单张GPU和CPU上的一阶求解时间相近，展示了接近线性的加速比和高效的GPU利用率。

ABSTRACT

In this paper, we further develop a family of parallel time integrators known as Revisionist Integral Deferred Correction methods (RIDC) to allow for the semi-implicit solution of time dependent PDEs. Additionally, we show that our semi-implicit RIDC algorithm can harness the computational potential of multiple general purpose graphical processing units (GPUs) in a single node by utilizing existing CUBLAS libraries for matrix linear algebra routines in our implementation. In the numerical experiments, we show that our implementation computes a fourth order solution using four GPUs and four CPUs in approximately the same wall clock time as a first order solution computed using a single GPU and a single CPU.

研究动机与目标

• 开发用于刚性和非刚性PDE的高阶并行时间积分格式，采用半隐式格式。
• 实现在单节点内高效利用多张GPU进行时间依赖PDE的时间积分。
• 证明四阶精度可在与单张GPU上的一阶方法相同实际运行时间内实现。
• 将现有CUBLAS库集成到并行RIDC框架中，避免复杂的任务数据分解。
• 通过添加时间并行性，为现有空间并行PDE求解器提供即插即用的扩展，而无需修改原有代码。

提出的方法

• 该方法基于隐式-显式（IMEX）Runge-Kutta格式的半隐式公式，其中刚性项采用隐式处理，非刚性项采用显式处理。
• RIDC框架重新表述缺陷校正过程，使校正扫描可滞后于时间，从而实现多个校正层级的并行执行。
• 算法通过OpenMP实现CPU多线程，通过CUDA与CUBLAS实现GPU加速的线性代数运算，特别是trsv和gemv核函数。
• 时间积分结构设计为每个校正循环在独立的GPU或CPU核心上运行，通过滞后时间推进管理数据依赖。
• 该方法利用现有的CUBLAS库进行密集线性代数运算，避免了自定义GPU内核或复杂数据分解的需要。
• 实现支持对流-扩散方程和黏性Burgers方程，空间离散化采用有限差分法，对流项使用数值通量。

实验结果

研究问题

• RQ1 RIDC方法能否扩展至刚性PDE的半隐式时间积分，同时保持高阶精度和并行可扩展性？
• RQ2 现有CUBLAS库能否有效加速多GPU RIDC实现，而无需自定义GPU内核或数据分解？
• RQ3 所提出的并行RIDC方法在多GPU和多CPU上扩展时，能否实现接近线性的加速比，用于高阶时间积分？
• RQ4 能否在与单张GPU上的一阶求解相同实际运行时间内实现四阶精度？
• RQ5 所提出的GPU优化RIDC方法在精度和计算成本方面，与传统ARK和FBE方法相比表现如何？

主要发现

• 四阶RIDC-FBE格式实现了其设计的精度阶数，通过在对流-扩散方程和黏性Burgers方程上的收敛性研究得到验证。
• 使用四张GPU和四颗CPU时，RIDC-FBE方法在约与单张GPU和CPU上一阶前向-后向欧拉（FBE）求解相同实际运行时间内完成四阶求解。
• 该方法实现了接近线性的加速比：四张GPU加速比为3.88×，四颗CPU加速比为3.81×，表明具有良好的可扩展性。
• 超过73%的GPU时间消耗在trsv_kernel调用上，且CUBLAS线性代数运算主导了整体性能，数据传输时间占总时间不足1%。
• 与纯CPU版本相比，GPU实现的性能约快一个数量级，Burgers方程上GPU加速比分别为四张GPU 3.95×和四颗CPU 3.94×。
• 性能分析结果显示，CUBLAS核函数（trsv、gemv）占GPU时间的97.75%，确认性能瓶颈在于线性代数运算，而这些运算被高效地卸载至优化库。