[论文解读] Randomized Compression of Rank-Structured Matrices Accelerated with Graph Coloring

James J. Levitt, Per‐Gunnar Martinsson|arXiv (Cornell University)|May 6, 2022

Topological and Geometric Data Analysis参考文献 26被引用 5

一句话总结

本文提出一种用于压缩等级结构矩阵（如 H-矩阵和 HODLR 矩阵）的随机化算法，通过图着色优化测试向量以减少矩阵-向量乘法的次数。通过将层次树结构建模为图着色问题，该方法减少了所需矩阵-向量乘法的次数，从而在压缩速度和精度方面实现显著提升，尤其适用于来自低维流形（如三维空间中的曲面）的矩阵。

ABSTRACT

A randomized algorithm for computing a data sparse representation of a given rank structured matrix $A$ (a.k.a. an $H$-matrix) is presented. The algorithm draws on the randomized singular value decomposition (RSVD), and operates under the assumption that algorithms for rapidly applying $A$ and $A^{*}$ to vectors are available. The algorithm analyzes the hierarchical tree that defines the rank structure using graph coloring algorithms to generate a set of random test vectors. The matrix is then applied to the test vectors, and in a final step the matrix itself is reconstructed by the observed input-output pairs. The method presented is an evolution of the "peeling algorithm" of L. Lin, J. Lu, and L. Ying, "Fast construction of hierarchical matrix representation from matrix-vector multiplication," JCP, 230(10), 2011. For the case of uniform trees, the new method substantially reduces the pre-factor of the original peeling algorithm. More significantly, the new technique leads to dramatic acceleration for many non-uniform trees since it constructs sample vectors that are optimized for a given tree. The algorithm is particularly effective for kernel matrices involving a set of points restricted to a lower dimensional object than the ambient space, such as a boundary integral equation defined on a surface in three dimensions.

研究动机与目标

• 开发一种黑箱方法，仅通过矩阵-向量乘法访问，构建等级结构矩阵的数据稀疏表示。
• 与先前的剥皮算法相比，降低矩阵压缩复杂度中的预因子，尤其适用于非均匀层次树结构。
• 提升压缩低维几何结构（如曲面上的边界积分方程）生成矩阵的效率与精度。
• 在稀疏直接求解器中实现快速且精确的矩阵运算（如求逆和舒尔补计算）。
• 通过在聚类树结构上进行图着色优化测试向量选择，最小化矩阵-向量乘法的次数。

提出的方法

• 将等级结构矩阵的层次聚类树建模为图着色问题，以指导随机测试向量的选择。
• 利用图着色生成优化后的测试矩阵 Ω 和 Ψ，确保每次矩阵-向量乘法获得最大信息增益。
• 对测试向量应用矩阵 A 及其共轭转置 A*，得到 Y = AΩ 和 Z = A*Ψ，以捕捉输入-输出行为。
• 利用观测到的输入-输出对及随机化 SVD 技术，重构矩阵并提取低秩因子。
• 通过基于树深度和聚类连通性的策略，自适应分配测试向量，以减少冗余操作，适应非均匀树结构。
• 利用现有的快速多极子或层次矩阵乘法例程作为对 A 和 A* 的黑箱访问接口。

实验结果

研究问题

• RQ1 在聚类树结构上应用图着色，能否减少随机化矩阵压缩所需的矩阵-向量乘法次数？
• RQ2 与原始剥皮算法相比，该方法在均匀和非均匀层次树结构下的效率与精度表现如何？
• RQ3 该方法在压缩来自低维流形（如三维空间中的曲面）的矩阵时，加速效果如何？
• RQ4 该方法能否有效应用于稀疏直接求解器中的舒尔补，其中在因式分解过程中会自然出现秩结构？
• RQ5 基于图着色的测试向量选择是否相比均匀采样能提升压缩精度并降低存储成本？

主要发现

• 对于均匀树结构，该方法将矩阵-向量乘法次数的预因子从 8^d 降低至 6^d，显著提升了效率。
• 对于非均匀树结构，特别是来自低维流形（如曲面）上点的结构，由于采用了自适应采样，加速效果极为显著。
• 压缩时间与矩阵大小 N 呈准线性增长，且大部分时间消耗在矩阵-向量乘法上，凸显了减少此类调用的重要性。
• 该方法在所有测试案例中均实现了高精度，H^1 格式下的存储成本呈对数增长，而 H^2 格式下的存储成本几乎保持恒定。
• 在快速多极子方法（FMM）示例中，压缩精度与底层 FMM 的精度一致，表明压缩过程未造成精度损失。
• 统一 H^1 压缩方案在压缩速度、精度和存储效率方面均优于 H^1 + 统一方案。