[论文解读] PAMPAC: A Parallel Adaptive Method for Pseudo-Arclength Continuation

D. A. Aruliah, Lennaert van Veen+1 more|arXiv (Cornell University)|Dec 12, 2013

Parallel Computing and Optimization Techniques参考文献 14被引用 3

一句话总结

PAMPAC 是一种用于伪弧长延续的并行自适应算法，通过同时计算多个不同步长的预测-校正序列，加速高维非线性系统的收敛。通过重用中间校正迭代结果作为新预测的种子，并利用冗余计算，该算法在39个CPU的集群上实现了高达3倍的加速，显著减少了在昂贵的牛顿-Krylov求解中因校正失败而浪费的时间。

ABSTRACT

Pseudo-arclength continuation is a well-established method for generating a numerical curve approximating the solution of an underdetermined system of nonlinear equations. It is an inherently sequential predictor-corrector method in which new approximate solutions are extrapolated from previously converged results and then iteratively refined. Convergence of the iterative corrections is guaranteed only for sufficiently small prediction steps. In high-dimensional systems, corrector steps are extremely costly to compute and the prediction step-length must be adapted carefully to avoid failed steps or unnecessarily slow progress. We describe a parallel method for adapting the step-length employing several predictor-corrector sequences of different step lengths computed concurrently. In addition, the algorithm permits intermediate results of unconverged correction sequences to seed new predictions. This strategy results in an aggressive optimization of the step length at the cost of redundancy in the concurrent computation. We present two examples of convoluted solution curves of high-dimensional systems showing that speed-up by a factor of two can be attained on a multi-core CPU while a factor of three is attainable on a small cluster.

研究动机与目标

• 解决高维系统中因昂贵且失败的校正迭代导致的伪弧长延续性能瓶颈。
• 通过最小化非收敛预测步骤上的浪费计算，减少数值延续的运行时间。
• 通过并行计算多个不同步长的预测-校正序列，实现激进的步长自适应。
• 利用中间校正迭代结果作为新预测的种子，提高效率，而无需等待完全收敛。
• 在具有昂贵线性求解的PDE基延续问题中，展示实际的加速效果。

提出的方法

• 该算法采用树状结构管理并行计算，同时计算多个不同步长的预测-校正序列。
• 采用递归策略，允许一个序列中的中间未收敛校正迭代结果作为其他序列新预测步骤的种子。
• 步长自适应由收敛行为引导：成功序列提供未来步长选择的依据，而失败序列则触发步长减小。
• 该方法适用于每次校正迭代计算成本较高的系统（例如使用GMRES的牛顿-Krylov求解），且通信成本可忽略不计。
• 使用伪弧长参数化以保持曲线跟踪的稳定性，并确保预测步骤始终靠近解流形。
• 该算法实现为软件库（PAMPAC），支持多核CPU和小型集群，使用MPI进行进程间通信。

实验结果

研究问题

• RQ1 在高维系统中，并行执行多个不同步长的预测-校正序列，是否能减少伪弧长延续的运行时间？
• RQ2 中间未收敛的校正迭代在多大程度上可被重用以加速收敛并避免冗余计算？
• RQ3 在实际的PDE基延续问题中，该并行自适应方法的性能如何随处理器数量扩展？
• RQ4 在具有昂贵校正步骤的系统（如使用GMRES的牛顿-Krylov求解）中，应用PAMPAC可实现多大的运行时间加速？
• RQ5 在解曲线曲率显著变化的高曲率区域，该方法是否仍能保持鲁棒性和稳定性？

主要发现

• 在39个CPU的集群上求解一个具有昂贵牛顿-Krylov校正步骤的高对称性流动问题时，PAMPAC实现了高达3倍的加速。
• 仅使用三个CPU时，也实现了高达2倍的加速，表明该方法在小型并行系统上同样有效。
• 通过重用中间迭代结果并并行探索多个步长，该方法减少了因校正失败而浪费的时间，避免了串行的拒绝循环。
• 在串行实现中采用朴素步长控制时，55个校正步骤中有15个被拒绝（浪费时间占比27%），而PAMPAC通过主动自适应显著降低了这一开销。
• 当校正迭代成本相对于通信成本较高，且解曲线存在显著曲率变化时，该算法性能最佳。
• 树状结构的并行化策略结合动态步长自适应，在不同配置下均表现出鲁棒性和可扩展性，其中树的宽度对性能的影响大于深度。