[论文解读] Preconditioning Kernel Matrices

Kurt Cutajar, Michael A. Osborne+2 more|arXiv (Cornell University)|Feb 22, 2016

Stochastic Gradient Optimization Techniques参考文献 29被引用 22

一句话总结

本文提出了一种用于核机器的预处理共轭梯度（PCG）方法，利用核矩阵的低秩和结构化近似作为预条件器，以加速收敛。该方法实现了高斯过程的精确推断，复杂度为 O(n²)，在准确性和可扩展性方面优于最先进近似方法和Cholesky分解。

ABSTRACT

The computational and storage complexity of kernel machines presents the primary barrier to their scaling to large, modern, datasets. A common way to tackle the scalability issue is to use the conjugate gradient algorithm, which relieves the constraints on both storage (the kernel matrix need not be stored) and computation (both stochastic gradients and parallelization can be used). Even so, conjugate gradient is not without its own issues: the conditioning of kernel matrices is often such that conjugate gradients will have poor convergence in practice. Preconditioning is a common approach to alleviating this issue. Here we propose preconditioned conjugate gradients for kernel machines, and develop a broad range of preconditioners particularly useful for kernel matrices. We describe a scalable approach to both solving kernel machines and learning their hyperparameters. We show this approach is exact in the limit of iterations and outperforms state-of-the-art approximations for a given computational budget.

研究动机与目标

• 解决核机器在大规模数据集下的高计算和存储成本问题。
• 克服核矩阵条件不佳导致的共轭梯度（CG）在核方法中收敛缓慢的问题。
• 开发一种可扩展的、精确的框架，用于学习高斯过程中的核超参数并进行预测。
• 在不存储完整核矩阵的情况下，支持使用CG/PCG等迭代方法，适用于分布式计算和流式计算。

提出的方法

• 应用广泛的核矩阵近似方法——如低秩近似和结构化近似——作为预条件器，以改善核矩阵的条件性。
• 使用带有这些预条件器的迭代共轭梯度求解器，求解涉及Gram矩阵的线性系统，而无需存储 K 或其因子。
• 为高斯过程中的对数边际似然开发一个无偏的随机梯度估计器，从而支持任意可分解似然下的优化。
• 将PCG集成到核超参数优化流程中，使用L-BFGS结合随机梯度和通过随机向量获得的迹估计。
• 实现一个支持精确推断（在迭代极限下）和通过流式或分布式核计算实现可扩展计算的框架。
• 利用预处理加速迭代求解器的收敛速度，减少达到高精度解所需的迭代次数。

实验结果

研究问题

• RQ1 预处理共轭梯度方法在高斯过程的核矩阵系统中是否能比标准CG实现更快的收敛？
• RQ2 核矩阵的低秩和结构化近似在多大程度上可作为迭代求解器的有效预条件器？
• RQ3 基于PCG的核超参数优化方法在准确性和计算效率方面是否优于最先进近似方法？
• RQ4 PCG是否可以在不存储完整核矩阵的情况下实现高斯过程的精确推断，从而支持大规模数据集的可扩展性？
• RQ5 在中等规模数据集上，PCG在准确性和运行时间方面与精确Cholesky分解相比表现如何？

主要发现

• 在迭代极限下，使用合适预条件器的PCG可实现高斯过程的精确推断，而近似方法则不能。
• 所提出的PCG框架在给定计算预算下，无论在准确性还是计算效率方面，均优于最先进近似方法（如FITC、PITC、VAR）。
• 对于核矩阵可存储的数据集，PCG在性能上与Cholesky分解具有竞争力，当预处理有效时收敛速度更快。
• 该方法支持使用随机梯度和无偏迹估计进行可扩展的核超参数优化，适用于回归和分类任务。
• PCG无需存储完整核矩阵，因此适用于大规模场景下的分布式或流式计算。
• 实证评估表明，采用预处理的PCG可显著减少收敛所需的迭代次数，从而在运行时间性能上优于标准CG和近似方法。