[论文解读] Product Kernel Interpolation for Scalable Gaussian Processes

Jacob R. Gardner, Geoff Pleiss+3 more|arXiv (Cornell University)|Feb 24, 2018

Gaussian Processes and Bayesian Inference参考文献 30被引用 21

一句话总结

本文提出 SKIP（用于可扩展高斯过程的乘积核插值），一种通过利用各个核分量的 Lanzcos 分解，实现乘积核高效矩阵-向量乘法（MVM）的方法。该方法将计算复杂度从维度的指数级降低至线性，实现了高维及多任务学习中可扩展的高斯过程推断，达到最先进的渐近时间复杂度。

ABSTRACT

Recent work shows that inference for Gaussian processes can be performed efficiently using iterative methods that rely only on matrix-vector multiplications (MVMs). Structured Kernel Interpolation (SKI) exploits these techniques by deriving approximate kernels with very fast MVMs. Unfortunately, such strategies suffer badly from the curse of dimensionality. We develop a new technique for MVM based learning that exploits product kernel structure. We demonstrate that this technique is broadly applicable, resulting in linear rather than exponential runtime with dimension for SKI, as well as state-of-the-art asymptotic complexity for multi-task GPs.

研究动机与目标

• 为解决结构化核插值（SKI）中的维度灾难问题，该问题在输入维度增加时导致诱导点需求呈指数级增长。
• 通过实现元素相乘核的高效矩阵-向量乘法（MVM），提升基于 MVM 的高斯过程推断的模块化，即使各分量使用不同网格也适用。
• 实现乘积核高斯过程推断在维度上的线性运行时间扩展，克服标准 SKI 的指数复杂度。
• 实现多任务高斯过程（MTGP）的最先进的渐近时间复杂度，将推断复杂度降低至 O(n + m log m + s)，其中 s 为任务数。
• 在 GPyTorch 中开发一种实用的、支持 GPU 加速的实现，以广泛适用于真实世界中的高斯过程应用。

提出的方法

• 该方法使用 Lanzcos 分解来近似乘积核中每个核分量的矩阵-向量乘法（MVM），从而实现对完整乘积核 MVM 的快速计算。
• 通过一个合并步骤将各个核的 Lanzcos 近似组合起来，保持计算效率，复杂度为 O(drμ(K) + r³n log d)。
• SKIP 实现了使用乘积核的结构化核插值（SKI），而无需依赖 Kronecker 因子分解，避免了 m 随维度呈指数增长。
• 在高维回归中，该方法将 d 维核分解为 d 个一维核，将复杂度从标准 SKI 的 O(n + dm^d log m) 降低至 O(dn + dm log m)。
• 在多任务 GP 中，SKIP 通过利用核中的乘积结构并实现与完整核矩阵的快速 MVM，将推断复杂度降低至 O(n + m log m + s)。
• 该方法支持吉布斯采样用于任务聚类，通过高效计算乘积核的 MVM，实现对任务分组的可扩展发现。

实验结果

研究问题

• RQ1 是否可以在不依赖 Kronecker 因子分解的前提下，高效计算乘积核的矩阵-向量乘法（MVM），而后者在维度上存在指数级扩展？
• RQ2 当核以逐元素乘积组合时，即使各分量使用不同网格，是否仍能保持基于 MVM 的高斯过程推断的模块化？
• RQ3 通过利用乘积核结构，是否能实现在高斯过程推断中维度的线性扩展，从而克服 SKI 中的维度灾难？
• RQ4 SKIP 是否能在保持实际效率的同时，实现多任务高斯过程的最先进的渐近时间复杂度？
• RQ5 该方法是否能高效地在 GPU 上实现，以支持真实应用中的可扩展推断？

主要发现

• SKIP 在 O(drμ(K) + r³n log d) 时间内实现乘积核的 MVM，其中 r 为一个较小常数，使其适用于高维问题。
• 在 d 维回归中，该方法将标准 SKI 的复杂度从 O(n + dm^d log m) 降低至 O(dn + dm log m)，实现维度上的线性扩展。
• 在多任务 GP 场景中，SKIP 将推断复杂度降低至 O(n + m log m + s)，其中 s 为任务数，在渐近时间复杂度上优于先前方法。
• 该方法通过高效计算乘积核的 MVM，实现了可扩展的吉布斯采样用于任务聚类，从而能够发现有意义的任务分组。
• 实验结果表明，在儿科发育数据集上，基于聚类的 MTGP 模型在外推精度方面优于单任务和标准 MTGP 基线模型。
• 作者发布了基于 GPyTorch 的 GPU 加速实现，展示了其在真实世界应用中实际的可扩展性和可用性。