[论文解读] Randomized square-root free algorithms for generalized Hermitian eigenvalue problems

Arvind K. Saibaba, Peter K. Kitanidis|arXiv (Cornell University)|Jul 25, 2013

Numerical methods in engineering参考文献 4被引用 2

一句话总结

本文提出了一种随机化、无需开平方根的算法，用于求解广义厄米特特征值问题（GHEP）$Ax = \lambda Bx$，其中$A$为厄米特矩阵，$B$为正定厄米特矩阵。该方法仅依赖于矩阵-向量乘积$Ax$、$Bx$和$B^{-1}x$，避免显式计算$B^{1/2}$或$B^{-1/2}$，当$B^{-1}A$的广义奇异值快速衰减时，可实现高精度，适用于卡亨尼-洛伊夫展开。

ABSTRACT

We describe randomized algorithms for computing the dominant eigenmodes of the Generalized Hermitian Eigenvalue Problem (GHEP) $Ax=\lambda Bx$, with $A$ Hermitian and $B$ Hermitian and positive definite. The algorithms we describe only require forming operations $Ax$, $Bx$ and $B^{-1}x$ and avoid forming square-roots of $B$ (or operations of the form, $B^{1/2}x$ or $B^{-1/2}x$). We provide a convergence analysis and a posteriori error bounds that build upon the work of~\cite{halko2011finding,liberty2007randomized,martinsson2011randomized} (which have been derived for the case $B=I$). Additionally, we derive some new results that provide insight into the accuracy of the eigenvalue calculations. The error analysis shows that the randomized algorithm is most accurate when the generalized singular values of $B^{-1}A$ decay rapidly. A randomized algorithm for the Generalized Singular Value Decomposition (GSVD) is also provided. Finally, we demonstrate the performance of our algorithm on computing the Karhunen-Loeve expansion, which is a computationally intensive GHEP problem with rapidly decaying eigenvalues.

研究动机与目标

• 开发高效的随机化算法求解广义厄米特特征值问题（GHEP），无需对$B$进行开平方根运算。
• 在$B^{-1}A$的广义奇异值快速衰减时，确保主导特征模式计算的高精度。
• 将此前仅适用于$B=I$情形的随机化方法推广至一般GHEP情形，其中$B$为正定矩阵。
• 为所提出的算法提供收敛性分析及后验误差界，推广先前针对标准特征值问题的研究结果。

提出的方法

• 该算法利用随机投影采样$A$关于$B$的主导特征子空间，避免显式计算$B^{1/2}$或$B^{-1/2}$。
• 对随机向量计算$Ax$、$Bx$和$B^{-1}x$，构建一个低维子空间，以近似主导广义特征子空间。
• 采用随机子空间迭代框架，通过矩阵-向量乘积迭代更新投影矩阵。
• 利用$B^{-1}A$的结构以确保收敛性，尤其在广义奇异值快速衰减时表现良好。
• 基于$B^{-1}A$的广义奇异值衰减率，推导出后验误差界，推广了先前关于随机SVD的工作。
• 作为GHEP框架的副产品，还提出了一种随机化广义奇异值分解（GSVD）算法。

实验结果

研究问题

• RQ1 如何将标准特征值问题的随机化算法适配到广义厄米特特征值问题，而无需构造$B^{1/2}$或$B^{-1/2}$？
• RQ2 何种条件可确保$B^{-1}A$的随机化主导特征模式计算具有高精度？
• RQ3 标准特征值问题中的收敛性与误差界结果，如何推广至正定$B$的广义情形？
• RQ4 能否从所提出的GHEP框架中推导出随机化GSVD算法？
• RQ5 该算法在实际问题（如卡亨尼-洛伊夫展开）中的性能如何，尤其当特征值快速衰减时？

主要发现

• 当$B^{-1}A$的广义奇异值快速衰减时，所提算法可实现高精度，因为该条件确保了随机投影对子空间的良好逼近。
• 该方法避免了对$B$的显式开平方根运算，相比传统方法，显著降低了计算成本和数值不稳定性。
• 推导出依赖于$B^{-1}A$广义奇异值衰减速率的后验误差界，推广了$B=I$情形下的先前结果。
• 该算法在卡亨尼-洛伊夫展开问题上表现出色，该问题为计算密集型GHEP，且特征值衰减迅速。
• 作为GHEP求解器的自然延伸，成功推导出一种随机化GSVD算法，拓展了其应用范围。