[论文解读] Randomized Matrix Computations

Victor Y. Pan, Guoliang Qian+1 more|arXiv (Cornell University)|Oct 28, 2012

Tensor decomposition and applications参考文献 77被引用 10

一句话总结

本文提出随机矩阵计算方法，利用随机矩阵的良好条件性来稳定数值线性代数算法。通过使用结构化随机矩阵（如高斯分布、循环矩阵或豪斯霍尔德矩阵）对病态矩阵进行预处理和后处理，可在无需选主元的情况下实现数值稳定的高斯消去法、低秩逼近和张量分解，且具有理论保证与实证验证，即使在稀疏随机化下也能表现出稳健性能。

ABSTRACT

Random matrices tend to be well conditioned, and we employ this well known property to advance matrix computations. We prove that our algorithms employing Gaussian random matrices are efficient, but in our tests the algorithms have consistently remained as powerful where we used sparse and structured random matrices, defined by much fewer random parameters. We numerically stabilize Gaussian elimination with no pivoting as well as block Gaussian elimination, precondition an ill conditioned linear system of equations, compute numerical rank of a matrix without orthogonalization and pivoting, approximate the singular spaces of an ill conditioned matrix associated with its largest and smallest singular values, and approximate this matrix with low-rank matrices, with applications to its 2-by-2 block triangulation and to tensor decomposition. Some of our results and techniques can be of independent interest, e.g., our estimates for the condition numbers of random Toeplitz and circulant matrices and our variations of the Sherman--Morrison--Woodbury formula.

研究动机与目标

• 通过引入随机预处理，解决在病态矩阵上使用无选主元高斯消去法时的数值不稳定性问题。
• 开发高效算法，用于在无需选主元或正交化的情况下计算数值秩、奇异子空间和低秩逼近。
• 通过随机化方法，将块高斯消去法和矩阵三角化方法的应用范围扩展至病态矩阵。
• 研究稀疏且结构化的随机矩阵（如循环矩阵、豪斯霍尔德矩阵）作为密集高斯矩阵的替代方案，在预处理中维持数值稳定性的有效性。
• 提供随机托普利茨矩阵和循环矩阵条件数的理论界，并推广经典公式（如谢尔曼-莫罗森-伍德伯里公式）。

提出的方法

• 通过左乘和右乘随机矩阵 $ X $ 和 $ Y $ 对病态矩阵 $ A $ 进行预处理，使得 $ XAY $ 以高概率具有良好的条件性。
• 使用稀疏随机符号（$\pm 1$）的高斯分布、循环矩阵或豪斯霍尔德矩阵作为乘子，以降低计算成本，同时保持数值稳定性。
• 利用随机矩阵逆范数的概率界，证明 $ \kappa(XAY) $ 很可能较小，从而确保高斯消去法的稳定性。
• 利用随机矩阵以概率 1 具有良好条件性的事实，实现矩阵计算中的向后误差稳定性。
• 通过将转置替换为共轭转置，并调整奇异值与范数的概率界，将结果推广至复矩阵。
• 利用谢尔曼-莫罗森-伍德伯里公式及其变体，高效更新矩阵逆并求解结构化线性系统。

实验结果

研究问题

• RQ1 随机预处理能否在病态矩阵上稳定无选主元的高斯消去法？
• RQ2 稀疏且结构化的随机矩阵（如循环矩阵、豪斯霍尔德矩阵）在多大程度上可替代密集高斯矩阵以维持数值稳定性？
• RQ3 随机托普利茨矩阵和循环矩阵的条件数具有怎样的理论界？
• RQ4 如何在无需选主元或正交化的情况下计算低秩逼近与数值秩？
• RQ5 谢尔曼-莫罗森-伍德伯里公式能否被扩展以提升随机矩阵计算中的效率？

主要发现

• 使用高斯随机矩阵进行预处理，可确保无选主元高斯消去法以概率 1 实现数值稳定。
• 数值测试表明，使用稀疏、结构化的随机矩阵（如带 $\pm 1$ 符号的循环矩阵或豪斯霍尔德矩阵）可保持预处理的有效性。
• 矩阵 $ A $ 的条件数在与随机矩阵 $ X $ 和 $ Y $ 相乘后很可能降低，且满足 $ \kappa(XAY) \leq \kappa(A)/\kappa(X)\kappa(Y) $，表明条件性得到改善。
• 随机矩阵逆范数的概率界表明，$ \text{Pr}(\|A^{-1}\| > 1/y) \to 0 $ 随 $ y \to 0 $ 与 $ y $ 成比例，支持算法稳定性。
• 推导并展示了随机托普利茨矩阵和循环矩阵条件数的理论估计，结果表现有利。
• 发展并应用了谢尔曼-莫罗森-伍德伯里公式的扩展，用于加速随机算法中的矩阵求逆与低秩更新。