[论文解读] Stagnation of block GMRES and its relationship to block FOM

Kirk M. Soodhalter|arXiv (Cornell University)|Nov 28, 2014

Matrix Theory and Algorithms参考文献 32被引用 5

一句话总结

本文分析了块GMRES的停滞现象，并建立了其与块FOM之间的关系，表明停滞由第j个块Arnoldi向量的列空间与最小残差约束空间的交集决定。主要贡献在于提出了一套广义框架，用于理解块Krylov方法中的停滞行为，即使在因线性相关性导致的分解失败情况下亦适用，且通过病态问题和实际问题的数值验证得以证实。

ABSTRACT

We analyze the the convergence behavior of block GMRES and characterize the phenomenon of stagnation which is then related to the behavior of the block FOM method. We generalize the block FOM method to generate well-defined approximations in the case that block FOM would normally break down, and these generalized solutions are used in our analysis. This behavior is also related to the principal angles between the column-space of the previous block GMRES residual and the current minimum residual constraint space. At iteration $j$, it is shown that the proper generalization of GMRES stagnation to the block setting relates to the columnspace of the $j$th block Arnoldi vector. Our analysis covers both the cases of normal iterations as well as block Arnoldi breakdown wherein dependent basis vectors are replaced with random ones. Numerical examples are given to illustrate what we have proven, including a small application problem to demonstrate the validity of the analysis in a less pathological case.

研究动机与目标

• 在多个右端向量的背景下，表征块GMRES的停滞行为。
• 将经典的GMRES-FOM关系扩展至块设置，特别是在发生分解或近似分解的情况下。
• 通过用随机向量替代线性相关的向量，将块FOM推广以处理数值分解问题。
• 建立块GMRES停滞与Krylov子空间之间主角关系的几何联系。
• 通过数值实例（包括一个实际应用问题）验证理论发现。

提出的方法

• 通过用随机向量替代线性相关的基向量，将块FOM推广以处理分解问题，确保近似解的明确定义。
• 利用块Arnoldi过程构造Krylov子空间，并将第j个块GMRES校正空间定义为最小残差约束空间。
• 通过分析第j个块Arnoldi向量的列空间与第j个块GMRES校正空间之间交集的维数来研究停滞现象。
• 应用主角及其余弦/正弦分解（如CS分解）来量化子空间之间的几何关系。
• 引入正交变换的使用，以在迭代过程中高效计算正弦和余弦值，实现对停滞指标的实时监控。
• 实现一种块GMRES变体，以极低的额外开销同时计算块FOM迭代值，遵循[17]中的策略。

实验结果

研究问题

• RQ1 在存在多个右端向量的情况下，块GMRES的停滞行为与单向量GMRES有何不同？
• RQ2 决定块GMRES停滞的精确几何条件是什么？其与块FOM方法有何关联？
• RQ3 如何将块FOM推广以在块残差中出现线性相关性导致的分解时仍保持明确定义？
• RQ4 Krylov子空间之间的主角在表征块GMRES停滞行为中起到什么作用？
• RQ5 所提出的分析能否在非病态、现实世界的问题中得到验证，例如具有混合矩阵结构的问题？

主要发现

• 块GMRES的停滞并非单纯由迭代矩阵各列的停滞引起，而是由第j个块Arnoldi向量的列空间与第j个块GMRES校正空间之间交集的维数决定。
• 广义块FOM方法即使在分解发生时仍保持明确定义，从而能够持续分析收敛行为。
• 数值实验表明，当块Arnoldi向量与残差空间之间主角的余弦值为零时发生停滞，表明残差范数不再改善。
• 在一个包含块对角矩阵（sherman4 + 平移矩阵）的实际测试用例中，块GMRES在一个块中表现出近似停滞，而在另一块中正常收敛，与理论预测一致。
• 通过正交变换计算的子空间之间角度的正弦值，可作为停滞的可靠指标，并可在迭代过程中高效计算。
• 所提出的框架允许在块GMRES中以极低的额外开销同时计算块FOM迭代值，从而实现对收敛行为的实时监控。