[论文解读] ParaDiag: parallel-in-time algorithms based on the diagonalization technique

Martin J. Gander, Jun Liu+3 more|arXiv (Cornell University)|May 19, 2020

Numerical methods for differential equations参考文献 25被引用 15

一句话总结

本文提出了ParaDiag，一类基于矩阵对角化技术的并行时间算法，用于求解时间依赖的PDE。它提出了两类方法：ParaDiag-I（使用可变或混合时间步长的直接求解器）和ParaDiag-II（使用α-循环预条件子的迭代求解器），在稳定性条件下，证明了对单步和多步时间积分器均具有线性收敛性。

ABSTRACT

In 2008, Maday and Ronquist introduced an interesting new approach for the direct parallel-in-time (PinT) solution of time-dependent PDEs. The idea is to diagonalize the time stepping matrix, keeping the matrices for the space discretization unchanged, and then to solve all time steps in parallel. Since then, several variants appeared, and we call these closely related algorithms ParaDiag algorithms. ParaDiagalgorithms in the literature can be classified into two groups: ParaDiag-I: direct standalone solvers, ParaDiag-II: iterative solvers. We will explain the basic features of each group in this note. To have concrete examples, we will introduce ParaDiag-I and ParaDiag-II for the advection-diffusion equation. We will also introduce ParaDiag-II for the wave equation and an optimal control problem for the wave equation. We could have used the advection-diffusion equation as well to illustrate ParaDiag-II, but wave equations are known to cause problems for certain PinT algorithms and thus constitute an especially interesting example for which ParaDiag algorithms were tested. We show the main known theoretical results in each case, and also provide Matlab codes for testing. The goal of the Matlab codes is to help the interested reader understand the key features of the ParaDiag algorithms, without intention to be highly tuned for efficiency and/or low memory use. We also provide speedup measurements of ParaDiag algorithms for a 2D linear advection-diffusion equation. These results are obtained on the Tianhe-1 supercomputer in China and the SIUE Campus Cluster in the US and and we compare these results to the performance of parareal and MGRiT, two widely used PinT algorithms.

研究动机与目标

• 开发一类新型并行时间算法，通过利用矩阵对角化技术，克服时间依赖PDE求解器中的顺序计算瓶颈。
• 在ParaDiag框架下对现有并行时间方法进行分类与统一，区分直接求解（ParaDiag-I）与迭代求解（ParaDiag-II）两种变体。
• 为ParaDiag-II建立一般性收敛理论，使用α-循环预条件子，适用于单步与多步时间积分器。
• 提供针对对流-扩散方程与波动方程（包括最优控制问题）的Matlab实际实现与性能基准测试。
• 在天河-1与SIUE校园集群等高性能系统上，将ParaDiag性能与经典算法（如parareal与MGRiT）进行比较。

提出的方法

• ParaDiag-I直接对由线性多步时间积分器导出的时间推进矩阵 $ B = B_2^{-1}B_1 $ 进行对角化，实现所有时间步的并行求解。
• ParaDiag-II使用α-循环块矩阵 $ \bm{P}_\beta $ 作为全时间步系统 $ \bm{A}\bm{u} = \bm{b} $ 的预条件子，支持通过平稳或Krylov子空间方法进行迭代求解。
• 预条件子 $ \bm{P}_\beta $ 由从时间积分器矩阵 $ B_1, B_2 $ 衍生的Strang型α-循环矩阵 $ C_1^{(\beta)}, C_2^{(\beta)} $ 构造，其中 $ \beta \in (0,1] $ 为调参参数。
• 对于ParaDiag-II，采用迭代格式 $ \bm{P}_\alpha \Delta\bm{u}^k = \bm{r}^k $，其中 $ \bm{r}^k = \bm{b} - \bm{A}\bm{u}^k $，收敛性通过分析 $ \bm{P}_\alpha^{-1}\bm{A} $ 的谱性质进行。
• 理论收敛性通过变换 $ (I_t \otimes P) $ 证明，其中 $ P $ 对角化空间算子，表明在稳定性条件下具有线性收敛性。
• 对于单步方法，若 $ \alpha \in (0, \frac{1}{2}) $，则收敛；对于多步方法，若 $ \alpha \in (0, \frac{1}{c}) $，其中 $ c \geq 1 $ 取决于方法的稳定性，则收敛，且误差减少率有界。

实验结果

研究问题

• RQ1 能否利用矩阵对角化技术设计高效的直接求解器，以绕过时间依赖PDE求解中的顺序时间推进？
• RQ2 如何为一大类时间积分器理论保证迭代型并行时间求解器的收敛性？
• RQ3 α-循环预条件子在确保抛物型与双曲型问题中鲁棒且快速收敛方面起到何种作用？
• RQ4 ParaDiag算法在真实世界PDE问题中与经典PinT方法（如parareal与MGRiT）相比性能如何？
• RQ5 ParaDiag框架能否扩展至复杂问题（如波动方程的最优控制问题），并具备理论收敛保证？

主要发现

• ParaDiag-I通过时间推进矩阵的对角化实现直接并行求解，最新进展包括混合时间离散化与均匀时间步长的应用。
• ParaDiag-II采用平稳迭代 $ \bm{P}_\alpha \Delta\bm{u}^k = \bm{r}^k $，当 $ \alpha \in (0, \frac{1}{2}) $ 时，对单步时间积分器具有线性收敛性，收敛率有界于 $ \frac{\alpha}{1-\alpha} $。
• 对于多步时间积分器，若 $ \alpha \in (0, \frac{1}{c}) $，其中 $ c \geq 1 $ 取决于方法的稳定性，则保证线性收敛，且误差减少率有界于 $ \frac{c\alpha}{1 - c\alpha} $。
• 理论分析表明，ParaDiag-II的收敛性依赖于空间算子的可对角化性与时间积分器的稳定性，且具有与问题规模无关的统一有界性。
• 在天河-1与SIUE校园集群上的加速比测量显示，ParaDiag-II在2D对流-扩散方程上的性能与parareal和MGRiT相当。
• 该框架已扩展至波动方程与最优控制问题，Krylov变体表现出鲁棒收敛性，且理论在不同时间积分器间实现统一。