[论文解读] Residual, restarting and Richardson iteration for the matrix exponential, revised

Mike A. Botchev|arXiv (Cornell University)|Dec 23, 2011

Matrix Theory and Algorithms参考文献 38被引用 3

一句话总结

本文提出了一种基于将解解释为常微分方程（ODE）初值问题（IVP）的矩阵指数新型残差概念。通过将残差定义为近似解对ODE系统的违反程度，该方法实现了Krylov子空间法与切比雪夫方法的可靠、可计算的停止准则，并由此导出新型基于残差的迭代求解器，包括一种改进收敛效率的重启Krylov-Richardson方法。

ABSTRACT

A well-known problem in computing some matrix functions iteratively is the lack of a clear, commonly accepted residual notion. An important matrix function for which this is the case is the matrix exponential. Suppose the matrix exponential of a given matrix times a given vector has to be computed. We develop the approach of Druskin, Greenbaum and Knizhnerman (1998) and interpret the sought-after vector as the value of a vector function satisfying the linear system of ordinary differential equations (ODE) whose coefficients form the given matrix. The residual is then defined with respect to the initial-value problem for this ODE system. The residual introduced in this way can be seen as a backward error. We show how the residual can be computed efficiently within several iterative methods for the matrix exponential. This completely resolves the question of reliable stopping criteria for these methods. Further, we show that the residual concept can be used to construct new residual-based iterative methods. In particular, a variant of the Richardson method for the new residual appears to provide an efficient way to restart Krylov subspace methods for evaluating the matrix exponential.

研究动机与目标

• 为解决长期以来迭代矩阵函数计算中缺乏可靠残差概念的问题，特别是针对矩阵指数的计算。
• 通过基于ODE的解释，为矩阵指数近似解提供一种可计算且有意义的向后误差度量。
• 在Krylov子空间法与多项式迭代法中实现鲁棒且高效的停止准则，用于矩阵指数计算。
• 开发新型基于残差的迭代算法，包括Krylov方法的重启型Richardson方法变体。
• 将残差框架推广至其他矩阵函数，如矩阵余弦与正弦函数。

提出的方法

• 将矩阵指数定义为初值问题（IVP）的解：y'(t) = -Ay(t)，y(0) = v，其精确解为y(t) = exp(-tA)v。
• 为近似解y_k(t)引入残差r_k(t) = -A y_k(t) - y_k'(t)，用于度量其对ODE系统的违反程度。
• 将残差范数用作迭代方法的停止准则，确保向后稳定性和可靠的收敛性监控。
• 提出一种基于残差的Richardson迭代法用于矩阵指数计算，可用于高效重启Krylov子空间方法。
• 将该残差概念应用于Krylov子空间方法（如Arnoldi/Lanczos）与切比雪夫多项式方法，证明其可高效计算残差。
• 通过识别相应的二阶ODE并相应地定义残差，将该框架扩展至矩阵余弦与正弦函数。

实验结果

研究问题

• RQ1 如何为求解矩阵指数的迭代方法定义一种可靠且可计算的残差？
• RQ2 残差概念能否用于构建新的矩阵指数迭代求解器？
• RQ3 基于残差的停止准则如何提升Krylov子空间方法的鲁棒性与效率？
• RQ4 基于残差的Richardson方法能否作为Krylov方法的有效预条件或重启策略？
• RQ5 该残差框架在多大程度上可推广至其他矩阵函数，如余弦与正弦函数？

主要发现

• 所提出的残差（定义为ODE系统的残差）可作为向后误差，为迭代矩阵指数求解器提供可靠的停止准则。
• 该残差可在Krylov子空间法与切比雪夫多项式方法中高效计算，支持实时收敛性监控。
• 提出一种新型基于残差的Richardson迭代法，当与Krylov方法结合时，可实现高效且有效的重启，减少外层迭代次数。
• 数值实验表明，采用SaI策略的Krylov-Richardson方法收敛速度优于标准方法，尤其当初始向量v满足边界条件时更为显著。
• 当初始向量v与底层PDE的边界条件相容时，收敛速率显著提升，该现象在三维扩散问题中得到验证。
• 通过识别其控制的二阶ODE并相应地定义残差，该残差框架可推广至其他矩阵函数，如余弦与正弦函数。