[论文解读] Parallel Gaussian Process Regression with Low-Rank Covariance Matrix Approximations

Jie Chen, N. Cao+4 more|arXiv (Cornell University)|May 24, 2013

Gaussian Processes and Bayesian Inference参考文献 21被引用 33

一句话总结

本文提出两种并行高斯过程回归方法——pPIC 和 pICF——通过低秩协方差矩阵近似将计算分布到集群中，相较于集中式和完整高斯过程方法，实现了显著的速度提升，同时保持了与精确高斯过程相当的预测性能。这些方法在数据规模和机器数量增加时仍能高效扩展，适用于大规模应用的实时预测。

ABSTRACT

Gaussian processes (GP) are Bayesian non-parametric models that are widely used for probabilistic regression. Unfortunately, it cannot scale well with large data nor perform real-time predictions due to its cubic time cost in the data size. This paper presents two parallel GP regression methods that exploit low-rank covariance matrix approximations for distributing the computational load among parallel machines to achieve time efficiency and scalability. We theoretically guarantee the predictive performances of our proposed parallel GPs to be equivalent to that of some centralized approximate GP regression methods: The computation of their centralized counterparts can be distributed among parallel machines, hence achieving greater time efficiency and scalability. We analytically compare the properties of our parallel GPs such as time, space, and communication complexity. Empirical evaluation on two real-world datasets in a cluster of 20 computing nodes shows that our parallel GPs are significantly more time-efficient and scalable than their centralized counterparts and exact/full GP while achieving predictive performances comparable to full GP.

研究动机与目标

• 为解决完整高斯过程回归的立方时间复杂度问题，该问题限制了其在大规模应用中的可扩展性和实时使用。
• 通过在多台机器集群上分布计算，实现高效、可扩展且实时的高斯过程回归。
• 通过低秩协方差近似降低计算成本，同时保持与完整高斯过程相当的预测精度。
• 设计避免局部高斯过程方法中常见边界不连续性的并行方法，并支持多维输入。
• 理论上保证并行方法的预测性能与其中心化对应方法一致。

提出的方法

• 提出 pPIC（并行部分独立条件）和基于 pICF 的高斯过程（并行不完全Cholesky分解）作为集中式低秩高斯过程近似方法的分布式变体。
• 使用低秩协方差矩阵近似来减轻完整高斯过程的计算负担，从而实现在多台机器上的分布计算。
• 通过消息传递接口（MPI）在集群中分布协方差矩阵近似和推理任务的计算。
• 在 pPIC 中使用支持集，在 pICF 中使用低秩分解，以高效近似完整协方差矩阵。
• 理论分析表明，并行方法的预测性能与中心化低秩高斯过程方法一致。
• 在 MPI 中实现这些方法，并在 20 节点集群上的真实世界数据集上评估性能。

实验结果

研究问题

• RQ1 低秩协方差近似能否被有效并行化，以实现大规模数据集上高斯过程回归的可扩展性？
• RQ2 所提出的并行高斯过程方法在时间、空间和通信复杂度方面与集中式和完整高斯过程方法相比如何？
• RQ3 并行方法的预测性能在多大程度上与完整高斯过程和集中式近似方法相当？
• RQ4 随着数据规模和机器数量的增加，这些方法的可扩展性如何？
• RQ5 并行方法能否在时间敏感的应用中实现实时预测性能？

主要发现

• 在包含 32,000 个样本的数据集上，pPIC 和基于 pICF 的高斯过程相比完整高斯过程实现了 100–10,000 倍的速度提升，其中 pPIC 和 pPITC 显著快于基于 pICF 的高斯过程。
• 即使支持集大小较小，pPIC 和 pPITC 仍能保持稳定的预测性能，而基于 pICF 的高斯过程在低秩较小时性能迅速下降。
• 基于 pICF 的高斯过程在小秩时（例如 R ≤ 1024）出现负的 MNLP，表明预测方差的正性存在问题，但在更高秩时（R = 2048–4096）趋于稳定。
• 与集中式对应方法相比，pPIC 和 pPITC 的加速比随数据规模增加而提升，且在机器数量增加时的扩展性优于基于 pICF 的高斯过程。
• pPIC 和 pPITC 在保持与完整高斯过程相当的预测性能的同时，速度提升了 2–4 个数量级，使其适用于实时应用。
• 启发式方法 R = √|D| 在实践中不成立，因为基于 pICF 的高斯过程需要 R > √|D|（例如 |D| = 32,000 时 R = 2048）才能达到可接受的性能。