[论文解读] Randomly pivoted Cholesky: Practical approximation of a kernel matrix with few entry evaluations

Yifan Chen, Ethan N. Epperly+2 more|arXiv (Cornell University)|Jul 13, 2022

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出随机主元Cholesky（RPCholesky），一种实用的低秩近似算法，用于大规模正半定核矩阵的近似，仅需O(kN)个矩阵元素评估和O(k²N)次运算。该方法以高概率实现近乎最优的近似误差，在速度、精度和鲁棒性方面优于现有方法，且无需参数调优。

ABSTRACT

The randomly pivoted partial Cholesky algorithm (RPCholesky) computes a factorized rank-k approximation of an N x N positive-semidefinite (psd) matrix. RPCholesky requires only (k + 1) N entry evaluations and O(k^2 N) additional arithmetic operations, and it can be implemented with just a few lines of code. The method is particularly useful for approximating a kernel matrix. This paper offers a thorough new investigation of the empirical and theoretical behavior of this fundamental algorithm. For matrix approximation problems that arise in scientific machine learning, experiments show that RPCholesky matches or beats the performance of alternative algorithms. Moreover, RPCholesky provably returns low-rank approximations that are nearly optimal. The simplicity, effectiveness, and robustness of RPCholesky strongly support its use in scientific computing and machine learning applications.

研究动机与目标

• 解决大规模科学机器学习中核方法因完整核矩阵计算与存储带来的计算瓶颈。
• 开发一种低秩近似算法，仅揭示核矩阵的O(kN)个元素，同时保持高精度。
• 确保方法具有鲁棒性、易于实现，且无需用户调节参数。
• 提供近似误差的理论保证，使其与最佳可能的低秩近似具有可比性。
• 通过实证验证，证明RPCholesky在真实科学机器学习问题中，于速度、精度和可靠性方面均优于现有算法。

提出的方法

• RPCholesky 采用基于残差矩阵对角线的随机规则自适应选择主元列，确保高质量的列采样。
• 在每次迭代中，通过减去先前选择列的贡献来计算残差列，然后对主元列进行归一化。
• 该算法维护残差矩阵对角线的运行估计，并通过减去新因子列的平方项来更新该估计。
• 该方法仅使用O(kN)存储和O(k²N)算术运算，返回一个因式分解的低秩近似Â = FF*。
• 利用随机主元选择避免贪婪或固定主元规则中常见的次优选择。
• 理论分析采用矩阵伯恩斯坦不等式，对近似误差的谱范数和迹范数进行有界。

实验结果

研究问题

• RQ1 能否设计一种核矩阵低秩近似算法，仅需O(kN)个元素评估和O(k²N)次运算，同时保持高精度？
• RQ2 在速度、精度和鲁棒性方面，RPCholesky相较于其他最先进的矩阵近似算法表现如何？
• RQ3 可为RPCholesky的低秩近似建立哪些关于谱范数和迹范数误差的理论保证？
• RQ4 随机主元选择规则是否能确保在各种核矩阵上的一致性能，即使在确定性规则失效时亦然？
• RQ5 RPCholesky能否实现近乎最优的近似误差，与最佳可能的秩-r近似相当？

主要发现

• RPCholesky 实现了谱范数误差界‖A − Â‖ ≤ λ，其中λ为控制近似质量的参数，确保近似近乎最优。
• 迹范数误差被限制在(1 + ε/2) · tr(A − [A]_r)以内，意味着期望误差与最佳可能的秩-r近似相差极小。
• 实证结果表明，RPCholesky在科学机器学习问题中的速度、精度和可靠性方面，与其它算法相比达到或超过其性能。
• 该方法被证明具有鲁棒性：失败概率至多为εη/2，且即使在失败情况下，迹误差仍被限制在tr(A)以内。
• 该算法仅需(k+1)N次元素评估和O(k²N)次运算，使其在大规模核矩阵上极为高效。
• 理论分析证实，RPCholesky在高概率下生成的近似在谱范数和迹范数下均近乎最优。