[论文解读] Rapid factorization of structured matrices via randomized sampling

Per‐Gunnar Martinsson|ArXiv.org|Jun 13, 2008

Sparse and Compressive Sensing Techniques参考文献 10被引用 11

一句话总结

本文提出了一种随机采样算法，用于快速计算具有低数值秩的非对角块的结构化矩阵的分层半分块（HSS）分解。通过利用快速矩阵-向量乘法和高效的随机采样，该方法实现了$O(Nk^2)$的复杂度，其中$N$为矩阵规模，$k$为非对角块的最大秩，从而实现了近乎最优的低秩逼近，具有高精度和可忽略的失败概率。

ABSTRACT

Randomized sampling has recently been demonstrated to be an efficient technique for computing approximate low-rank factorizations of matrices for which fast methods for computing matrix vector products are available. This paper describes an extension of such techniques to a wider class of matrices that are not themselves rank-deficient, but have off-diagonal blocks that are. Such matrices arise frequently in numerical analysis and signal processing, and there exist several methods for rapidly performing algebraic operations (matrix-vector multiplications, matrix factorizations, matrix inversion, extit{etc}) on them once low-rank approximations to all off-diagonal blocks have been constructed. The paper demonstrates that if such a matrix can be applied to a vector in O(N) time, where the matrix is of size $N imes N$, and if individual entries of the matrix can be computed rapidly, then in many cases, the task of constructing approximate low-rank factorizations for all off-diagonal blocks can be performed in $O(N k^{2})$ time, where $k$ is an upper bound for the numerical rank of the off-diagonal blocks.

研究动机与目标

• 开发一种快速、可扩展的方法，用于计算非固有低秩但具有低秩非对角块的结构化矩阵的HSS分解。
• 解决尽管已有针对已分解HSS矩阵的快速运算算法，但在高效构建HSS因子方面仍存在空白的问题。
• 在仅具备快速矩阵-向量乘法器和对单个矩阵元素的访问权限的场景中，实现HSS分解。
• 在保持高精度和用户可控失败概率的前提下，实现$O(Nk^2)$的计算复杂度。
• 将随机采样技术的应用范围扩展至非对称及一般结构化矩阵，超越对称情形。

提出的方法

• 该方法使用$O(N(k+10))$个高斯随机向量进行随机采样，以探测矩阵结构并提取非对角块的低秩逼近。
• 通过快速矩阵-向量乘积$A^\top R^{\rm row}$和$A R^{\rm col}$分别构建样本矩阵$S^{\rm row}$和$S^{\rm col}$，以捕捉列空间和行空间。
• 在每一层分层结构中，应用插值将样本压缩为低维基底，形成HSS因子$\hat{U}_\tau^{\rm row}$、$\hat{U}_\tau^{\rm col}$和$B_{\sigma_1\sigma_2}$。
• 对中间矩阵执行QR和SVD分解，以强制正交性并提取精确的低秩表示。
• 对于非对称矩阵，分别使用行和列的采样矩阵$S^{\rm row}_\tau$和$S^{\rm col}_\tau$，并采用独立的插值与压缩步骤。
• 通过$k+10$的过采样参数控制失败概率，确保其在高置信度下低于$10^{-5}$。

实验结果

研究问题

• RQ1 随机采样能否被有效适配以计算具有非对角低秩块的结构化矩阵的HSS分解？
• RQ2 仅使用矩阵-向量乘法和元素访问时，构建HSS因子的计算复杂度是多少？
• RQ3 在实际应用中，该方法如何在最小化失败概率的同时保持高精度？
• RQ4 该方法能否在最小修改下推广至非对称矩阵？
• RQ5 在随机HSS分解过程中，计算成本与精度之间的权衡是什么？

主要发现

• 总计算成本受$T_{\rm total} \sim T_{\rm mult} \times 2(k+10) + T_{\rm rand} \times N(k+10) + T_{\rm entry} \times 2Nk + T_{\rm flop} \times cNk^2$约束，其中$c$为小常数。
• 当$T_{\rm mult} = O(N)$时，整体复杂度为$O(Nk^2)$，使该方法在大规模矩阵上具有可扩展性。
• 由于$k+10$的过采样，失败概率可证明小于$10^{-5}$，且在实际中显著更小。
• 在测试环境中，低秩逼近的相对误差始终低于$10^{-10}$。
• 即使过采样极少，该方法仍能实现高精度，且随机化方案在实践中表现出鲁棒性和可靠性。
• 该算法经轻微调整后可直接应用于HSS、$\mathcal{H}^2$-矩阵及相关分层矩阵格式。