[论文解读] Some Results on the Regularization of LSQR for Large-Scale Discrete Ill-Posed Problems

Yi Huang, Zhongxiao Jia|arXiv (Cornell University)|Mar 6, 2015

Numerical methods in inverse problems参考文献 28被引用 4

一句话总结

本文通过推导克里洛夫子空间对矩阵A主右奇异子空间逼近的界，分析了LSQR在大规模离散不适定问题中的正则化性质。结果表明，LSQR仅在严重和中等不适定问题中实现完全正则化——产生最佳可能的解；而在轻度不适定问题中仅表现出部分正则化，因此需要采用混合正则化方法才能达到最优精度。

ABSTRACT

LSQR, a Lanczos bidiagonalization based Krylov subspace iterative method, and its mathematically equivalent CGLS applied to normal equations system, are commonly used for large-scale discrete ill-posed problems. It is well known that LSQR and CGLS have regularizing effects, where the number of iterations plays the role of the regularization parameter. However, it has long been unknown whether the regularizing effects are good enough to find best possible regularized solutions. Here a best possible regularized solution means that it is at least as accurate as the best regularized solution obtained by the truncated singular value decomposition (TSVD) method. In this paper, we establish bounds for the distance between the $k$-dimensional Krylov subspace and the $k$-dimensional dominant right singular space. They show that the Krylov subspace captures the dominant right singular space better for severely and moderately ill-posed problems than for mildly ill-posed problems. Our general conclusions are that LSQR has better regularizing effects for the first two kinds of problems than for the third kind, and a hybrid LSQR with additional regularization is generally needed for mildly ill-posed problems. Exploiting the established bounds, we derive an estimate for the accuracy of the rank $k$ approximation generated by Lanczos bidiagonalization. Numerical experiments illustrate that the regularizing effects of LSQR are good enough to compute best possible regularized solutions for severely and moderately ill-posed problems, stronger than our theory predicts, but they are not for mildly ill-posed problems and additional regularization is needed.

研究动机与目标

• 确定LSQR的正则化是否足以计算大规模离散不适定问题的最佳可能正则化解。
• 量化LSQR生成的克里洛夫子空间对矩阵A主右奇异子空间的逼近程度。
• 评估LSQR在何种条件下实现完全正则化与部分正则化，尤其与问题不适定程度的关系。
• 将LSQR的性能与截断奇异值分解（TSVD）方法进行比较，后者作为最佳可能解的基准。
• 指导在纯LSQR无法实现最优正则化的轻度不适定问题中使用混合LSQR方法。

提出的方法

• 推导克里洛夫子空间与矩阵A的k维主右奇异子空间之间距离的理论界。
• 使用Lanczos双对角化生成克里洛夫子空间，并分析由此产生的秩-k逼近A的质量。
• 通过误差矩阵Δk的Frobenius范数建立秩-k逼近精度的界。
• 提出一种混合LSQR方法，将LSQR与额外的Tikhonov正则化或截断SVD正则化结合，以提高解的精度。
• 采用L曲线准则确定纯LSQR与混合LSQR的最优迭代次数，用于数值验证。
• 将LSQR与混合LSQR的正则化解与TSVD解进行比较，以真实解为参考。

实验结果

研究问题

• RQ1 LSQR是否对所有类型的离散不适定问题均实现完全正则化，即计算出的解至少与最佳TSVD解一样准确？
• RQ2 k维克里洛夫子空间对A的k维主右奇异子空间的逼近程度如何？这种逼近程度如何依赖于问题的不适定程度？
• RQ3 对于轻度不适定问题，LSQR的正则化效果是否不足以达到最佳可能解？若是，原因是什么？
• RQ4 对克里洛夫子空间逼近质量的理论界是否能有效预测LSQR在实际中的正则化性能？
• RQ5 对于轻度不适定问题，结合LSQR与额外正则化（如Tikhonov或TSVD型）的混合LSQR方法是否必要且有效？

主要发现

• LSQR生成的克里洛夫子空间对主右奇异子空间的捕捉，在严重和中度不适定问题中比在轻度不适定问题中更准确。
• LSQR在严重和中度不适定问题中表现出完全正则化，能够计算出最佳可能的正则化解，且表现优于理论预测。
• 对于轻度不适定问题，LSQR仅表现出部分正则化，在半收敛前未能捕捉所有必要的主SVD分量。
• 数值实验确认，对于'deriv2'等轻度不适定问题，混合LSQR显著提高了解的精度，而纯LSQR无法达到最佳可能解。
• 混合LSQR方法（结合LSQR与额外的Tikhonov或TSVD型正则化）在非光滑区域的真解中，精度优于纯LSQR。
• 对秩-k逼近误差的理论界较为保守，表明LSQR正则化效果的精度分析仍有改进空间。