[论文解读] Preconditioned Krylov solvers for kernel regression

B. Srinivasan, Qi Hu+3 more|arXiv (Cornell University)|Aug 6, 2014

Gaussian Processes and Bayesian Inference参考文献 22被引用 6

一句话总结

本文提出了一种用于核回归中Krylov求解器的新型灵活预条件器，通过改善矩阵条件数来加速收敛，同时利用快速核矩阵-向量乘积。在地统计克里金法中实现了高达3倍的加速，并在多种数据集上显著减少了迭代次数和运行时间，展现出相较于传统方法更优的可扩展性和效率。

ABSTRACT

A primary computational problem in kernel regression is solution of a dense linear system with the $N imes N$ kernel matrix. Because a direct solution has an O($N^3$) cost, iterative Krylov methods are often used with fast matrix-vector products. For poorly conditioned problems, convergence of the iteration is slow and preconditioning becomes necessary. We investigate preconditioning from the viewpoint of scalability and efficiency. The problems that conventional preconditioners face when applied to kernel methods are demonstrated. A \emph{novel flexible preconditioner }that not only improves convergence but also allows utilization of fast kernel matrix-vector products is introduced. The performance of this preconditioner is first illustrated on synthetic data, and subsequently on a suite of test problems in kernel regression and geostatistical kriging.

研究动机与目标

• 解决由于密集核矩阵条件数过高而导致Krylov方法在核回归中收敛缓慢的问题。
• 开发一种预条件器，在不牺牲快速核矩阵-向量乘积效率的前提下改善收敛性。
• 实现大规模核回归问题的可扩展且高效的求解，特别是在高斯过程回归和地统计克里金法中。
• 提供一种实用的、参数化的预条件策略，以在实际应用中平衡精度与速度。
• 在合成数据、标准回归基准和大规模地理空间数据集上展示预条件器的有效性。

提出的方法

• 提出一种专为核矩阵设计的新型灵活预条件器，可高效用于FGMRES等Krylov求解器。
• 集成截断共轭梯度（CG）以快速求解内部预条件系统，同时保持快速MVP的O(N log N)或O(N²/p)复杂度。
• 采用基于核的参数化结构作为预条件器，反映数据的内在几何特性并随问题规模扩展。
• 在灵活Krylov框架（如FGMRES）中应用预条件器，允许每轮迭代使用可变的预条件器以维持收敛稳定性。
• 利用即时核评估和快速多极子技术，在矩阵-向量运算期间保持低内存和计算开销。
• 基于特征值分布和条件数估计推导的经验规则，对预条件器参数进行优化。

实验结果

研究问题

• RQ1 能否设计一种预条件器，在不降低快速矩阵-向量乘积效率的前提下，改善Krylov求解器在核回归中的收敛性？
• RQ2 与标准ILU或无预条件化相比，所提出的预条件器在大规模、病态核矩阵上的表现如何？
• RQ3 在真实世界中的地统计克里金法应用中，该预条件器在多大程度上减少了迭代次数和总求解时间？
• RQ4 该预条件器在不同核函数（如高斯核和Matern核）下是否保持鲁棒性和高效性？
• RQ5 该预条件器能否被有效参数化，以在不同问题规模和数据分布下平衡精度与速度？

主要发现

• 在大规模太平洋海岸叶绿素克里金问题中，所提出的灵活预条件器将FGMRES的迭代次数从46 ± 12减少至3 ± 1，实现了3倍加速。
• 在Census数据集（17×22,784）上，预条件FGMRES在482.50秒内完成求解（5次迭代），优于直接求解法（1,000+秒）和CG法（663.70秒，83次迭代）。
• 在Sarcos机械臂数据集（28×44,484）上，使用新预条件器的FGMRES仅用4次迭代即完成求解，耗时1,090.85秒，展现出在高维数据上的可扩展性。
• 在非高斯Matern核问题中，基于FGMRES的求解器实现了最低的总预测时间（如Heart数据集0.09秒，Diabetes数据集0.35秒），且迭代次数少于CG或ILU预条件化求解器。
• 预条件器在所有测试案例中均保持高精度，预测误差低于10⁻⁶，与直接求解器相比。
• 该方法在多种数据类型和核函数（包括合成数据、标准机器学习基准和真实地理空间数据）中均表现有效，证实了其广泛适用性。