[论文解读] The Krylov Subspaces, Low Rank Approximations and Ritz Values of LSQR for Linear Discrete Ill-Posed Problems: the Multiple Singular Value Case

Zhongxiao Jia|arXiv (Cornell University)|Mar 19, 2020

Numerical methods in inverse problems参考文献 64被引用 12

一句话总结

本文将 LSQR 在大规模线性离散不适定问题上的正则化理论扩展到多重奇异值的情形。证明了 LSQR 在半收敛时可实现 2-范数滤波的最佳正则化解，且仅当衰减参数 α > 1 时，Ritz 值才会以自然顺序逼近较大的奇异值。所得结果广泛适用于 Krylov 类求解器，包括 LSQR、CGME、MINRES 和 GMRES。

ABSTRACT

For the large-scale linear discrete ill-posed problem $\min\|Ax-b\|$ or $Ax=b$ with $b$ contaminated by white noise, the Golub-Kahan bidiagonalization based LSQR method and its mathematically equivalent CGLS, the Conjugate Gradient (CG) method applied to $A^TAx=A^Tb$, are most commonly used. They have intrinsic regularizing effects, where the iteration number $k$ plays the role of regularization parameter. The long-standing fundamental question is: {\em Can LSQR and CGLS find 2-norm filtering best possible regularized solutions}? The author has given definitive answers to this question for severely and moderately ill-posed problems when the singular values of $A$ are simple. This paper extends the results to the multiple singular value case, and studies the approximation accuracy of Krylov subspaces, the quality of low rank approximations generated by Golub-Kahan bidiagonalization and the convergence properties of Ritz values. For the two kinds of problems, we prove that LSQR finds 2-norm filtering best possible regularized solutions at semi-convergence. Particularly, we consider some important and untouched issues on best, near best and general rank $k$ approximations to $A$ for the ill-posed problems with the singular values $\sigma_k=\mathcal{O}(k^{-\alpha})$ with $\alpha>0$, and the relationships between them and their nonzero singular values. Numerical experiments confirm our theory. The results on general rank $k$ approximations and the properties of their nonzero singular values apply to several Krylov solvers, including LSQR, CGME, MINRES, MR-II, GMRES and RRGMRES.

研究动机与目标

• 解决 LSQR 是否能为具有多重奇异值的不适定问题找到 2-范数滤波下最佳可能的正则化解这一基本问题。
• 分析由 Golub-Kahan 二对角化生成的 Krylov 子空间和低秩逼近的近似精度。
• 研究 Ritz 值的收敛性质及其与矩阵 A 的奇异值之间的关系。
• 建立 LSQR 实现完全正则化的条件，特别是当奇异值按 σk = O(k−α) 方式衰减且 α > 0 时。
• 将先前针对单个奇异值情形的结果推广至更复杂的多重奇异值情形。

提出的方法

• 利用 Golub-Kahan 二对角化生成 Krylov 子空间和 A 的低秩逼近。
• 分析投影问题的 Ritz 值及其与真实奇异值之间的交错性质。
• 推导出 Ritz 值 θ(k)i 以自然顺序逼近最大奇异值 σi 的充分条件（涉及 α 和 k）。
• 引入并分析秩 k 逼近的精度度量 γk，将其与可计算的代理量 αk+1 + βk+2 进行比较。
• 通过理论分析奇异值的衰减速率 σk = O(k−α)，刻画正则化性能。
• 通过在不同 α 和噪声水平下大规模问题上的数值实验验证理论结果。

实验结果

研究问题

• RQ1 LSQR 在何种条件下能为具有多重奇异值的不适定问题找到 2-范数滤波下最佳可能的正则化解？
• RQ2 奇异值 σk = O(k−α) 的衰减速率 α 如何影响基于 Krylov 子空间的低秩逼近的近似精度？
• RQ3 Ritz 值 θ(k)i 与真实奇异值 σi 之间的关系如何，特别是其交错性与自然排序特性？
• RQ4 不可计算的逼近精度度量 γk 是否可被可计算量 αk+1 + βk+2 可靠估计？
• RQ5 对于哪些 α > 0 的取值，LSQR 能实现完全正则化，即在半收敛时找到最佳可能解？

主要发现

• LSQR 在半收敛时可为具有多重奇异值的不适定问题找到 2-范数滤波下最佳可能的正则化解。
• 当 α > 1 时，Ritz 值 θ(k)i 会以自然顺序逼近最大的奇异值 σi，直至半收敛，从而确保完全正则化。
• 当 α ≤ 1 时，Ritz 值可能无法以自然顺序逼近大奇异值，且近似质量随 α 减小而下降。
• 秩 k 逼近 Pk+1BkQTk 仅在临界 k 之前为近似最优，此后性能下降，尤其在 α 较小时更为明显。
• 量 αk+1 + βk+2 的衰减速率与不可计算的精度度量 γk 相同，因而可作为逼近质量的可靠且可计算的指示器。
• 关于 Ritz 值和低秩逼近的理论结果适用于一大类 Krylov 求解器，包括 LSQR、CGME、MINRES、MR-II、GMRES 和 RRGMRES。