[论文解读] Pivoted Cholesky decomposition by Cross Approximation for efficient solution of kernel systems

Dishi Liu, Hermann G. Matthies|arXiv (Cornell University)|May 21, 2015

Electromagnetic Scattering and Analysis参考文献 30被引用 7

一句话总结

该论文提出了一种通过交叉近似（CA）优化的新型有 pivoting 的Cholesky分解（PCD）算法，用于高效求解大型病态核系统，且无需正则化。通过在对称正定矩阵中利用CA的对角pivoting，该方法实现了$Ó(k^2n)$的复杂度，相比正则化求解器在效率上提升了两个数量级，同时保持了高精度与稳定性。

ABSTRACT

Large kernel systems are prone to be ill-conditioned. Pivoted Cholesky decomposition (PCD) render a stable and efficient solution to the systems without a perturbation of regularization. This paper proposes a new PCD algorithm by tuning Cross Approximation (CA) algorithm to kernel matrices which merges the merits of PCD and CA, and proves as well as numerically exemplifies that it solves large kernel systems two-order more efficiently than those resorts to regularization. As a by-product, a diagonal-pivoted CA technique is also shown efficient in eigen-decomposition of large covariance matrices in an uncertainty quantification problem.

研究动机与目标

• 解决径向基函数（RBF）逼近中大型病态核系统求解的不稳定性与高计算成本问题。
• 通过基于有pivoting的Cholesky分解（PCD）开发一种稳定高效的求解器，从而消除对正则化的依赖。
• 将PCD与交叉近似（CA）的优势整合为统一高效的算法，适用于对称正定（SPSD）矩阵。
• 为低秩近似提供精确的统一范数误差界，并展示其在不确定性量化中的实用性。

提出的方法

• 通过将pivoting限制在对角元素上，将交叉近似（CA）算法适配于对称正定（SPSD）矩阵，确保每一步剩余矩阵仍保持SPSD性质。
• 提出一种对角pivoting的CA变体，避免行交换与嵌套索引，简化实现过程，同时保持精度。
• 将改进后的CA算法集成到有pivoting的Cholesky分解（PCD）框架中，每一步选取最大对角元素作为pivoting，以最大化近似增益的下界。
• 将PCD算法表述为秩-1更新过程，每一步从剩余矩阵中减去一个秩-1近似，逐步构建低秩分解。
• 证明所得到的PCD-CA算法可提供精确的统一范数误差界，从而实现自适应精度控制。
• 将该方法应用于RBF插值与大规模协方差矩阵的特征分解，验证其效率与稳定性。

实验结果

研究问题

• RQ1 对角pivoting的CA算法是否能在SPSD矩阵上实现与全pivoting CA相当的精度，同时降低计算成本？
• RQ2 将CA与PCD结合是否能生成一种稳定高效的求解器，用于病态核系统求解而无需正则化？
• RQ3 所提出的PCD-CA算法在大规模核系统上的计算复杂度与误差界为何？
• RQ4 在RBF逼近任务中，PCD-CA方法与正则化求解器（如RBF-Chol）相比，在精度与效率上表现如何？
• RQ5 对角pivoting的CA技术是否能加速不确定性量化中大型协方差矩阵的特征分解？

主要发现

• 所提出的PCD-CA算法实现了$Ó(k^2n)$的计算复杂度，其中$k$为系统秩，显著降低了标准Cholesky分解的$Ó(n^3)$成本。
• 数值实验表明，该方法在求解大型核系统时，相比基于正则化的RBF-Chol等方法，效率高出两个数量级。
• PCD-CA算法提供了精确的统一范数误差界，支持自适应精度控制，并在病态条件下表现出强鲁棒性。
• 在RBF逼近中，PCD-CA方法在使用更少样本的情况下，实现了与正则化求解器相当或更优的精度，RMSE与可视化对比结果验证了这一点。
• 对角pivoting的CA变体显著加速了不确定性量化中大型协方差矩阵的特征分解，优于标准方法。
• 在RBF插值中，PCD-CA方法在秩亏缺情形下稳定了求解过程，而标准LU分解在此类高条件数场景下会失效，展现出卓越的鲁棒性。