[论文解读] On Convergence of the Inexact Rayleigh Quotient Iteration without and with MINRES

Zhongxiao Jia|arXiv (Cornell University)|Jun 12, 2009

Matrix Theory and Algorithms参考文献 34被引用 2

一句话总结

本文建立了不精确 Rayleigh 商迭代（RQI）结合 MINRES 的新收敛结果，表明即使内层线性系统以极低精度求解，仍可实现三次、二次和线性收敛——具体而言，当内层容差 ξk ≤ ξ（固定，不接近 1）、ξk = 1 − O(‖rk‖) 和 ξk = 1 − O(‖rk‖²) 时分别实现。关键贡献是基于一致正定性条件的通用收敛理论，该条件弱化了先前假设，使实现更加高效。

ABSTRACT

For the Hermitian inexact Rayleigh quotient iteration (RQI), we present general convergence results, independent of iterative solvers for inner linear systems. We prove that the method converges quadratically at least under a new condition, called the uniform positiveness condition. This condition can be much weaker than the commonly used one that at outer iteration k, requires the relative residual norm ξk (inner tolerance) of the inner linear system to be smaller than one considerably and may allow ξk ≥ 1. Our focus is on the inexact RQI with MINRES used for solving the linear systems. We derive some subtle and attractive properties of the residuals obtained by MINRES. Based on these properties and the new general convergence results, we establish a number of insightful convergence results. Let ‖rk ‖ be the residual norm of approximating eigenpair at outer iteration k. Fundamentally different from the existing results that cubic and quadratic convergence requires ξk = O(‖rk‖) and ξk ≤ ξ ≪ 1 with ξ fixed, respectively, our new results remarkably show that the inexact RQI with MINRES generally converges cubically, quadratically and linearly provided that ξk ≤ ξ with ξ fixed not near one, ξk = 1 − O(‖rk‖) and ξk = 1 − O(‖rk ‖ 2), respectively. Since we always have ξk ≤ 1 in MINRES for any inner iteration steps, the results mean that the inexact RQI with MINRES can achieve cubic, quadratic and linear convergence by solving the linear systems only with very low accuracy and very little accuracy, respectively. New theory can be used to design much more effective implementations of the method than ever before. The results also suggest that we implement the method with fixed small inner iteration steps. Numerical experiments confirm our results and demonstrate much higher effectiveness of the new implementations.

研究动机与目标

• 开发一种与内层求解器无关的不精确 RQI 通用收敛理论。
• 识别一种弱于标准条件 ξk ≪ 1 的新条件——一致正定性，以确保收敛。
• 分析 MINRES 残差在不精确 RQI 背景下的行为。
• 在内层求解精度较低的实际条件下，建立收敛速率。
• 指导设计采用固定小内迭代步长的更高效 RQI 实现。

提出的方法

• 引入一致正定性条件作为不精确 RQI 的通用收敛准则，且不依赖于内层求解器。
• 分析 MINRES 残差，推导出对收敛性分析有用的细微结构特性。
• 通过将内层容差 ξk 与外层残差范数 ‖rk‖ 关联，建立收敛速率。
• 利用 MINRES 中 ξk ≤ 1 的事实，证明即使 ξk 接近 1，仍可实现高收敛速率。
• 推导出实现三次、二次和线性收敛的条件：分别为 ξk ≤ ξ、ξk = 1 − O(‖rk‖) 和 ξk = 1 − O(‖rk‖²)。
• 基于理论收敛行为，提出适用于实际实现的固定小内迭代策略。

实验结果

研究问题

• RQ1 不精确 RQI 的收敛性是否可在弱于 ξk ≪ 1 的条件下得到保证？
• RQ2 MINRES 残差的哪些特定性质使得其在不精确 RQI 中的收敛性分析得以改进？
• RQ3 在何种 ξk 条件下，结合 MINRES 的不精确 RQI 可实现三次、二次或线性收敛？
• RQ4 即使内层求解精度极低，是否仍可实现高收敛速率？
• RQ5 理论发现如何用于设计更高效的 RQI 实现？

主要发现

• 当内层容差满足 ξk ≤ ξ（固定 ξ 不接近 1）时，不精确 RQI 与 MINRES 可实现三次收敛。
• 当 ξk = 1 − O(‖rk‖) 时，可实现二次收敛，表明内层求解可非常不精确。
• 当 ξk = 1 − O(‖rk‖²) 时，可实现线性收敛，表明即使内层求解更不精确也足够。
• 一致正定性条件是一种通用且更弱的收敛准则，无需要求 ξk ≪ 1。
• 理论结果表明，只要 ξk 适当地有界，MINRES 残差可实现与内层迭代次数无关的收敛速率。
• 数值实验验证了理论发现，并表明采用固定小内迭代步长的实现显著提高了效率。