[论文解读] Variational Fourier features for Gaussian processes

James Hensman, Nicolas Durrande+1 more|arXiv (Cornell University)|Nov 21, 2016

Gaussian Processes and Bayesian Inference参考文献 71被引用 97

一句话总结

本文提出了变分傅里叶特征（VFF），这是一种新颖的高斯过程近似方法，结合变分推断与使用规则分布傅里叶频率的谱表示。通过在有限域上利用再生核希尔伯特空间（RKHS）框架对GP进行投影，VFF实现了O(NM)的计算复杂度——显著快于标准稀疏GP方法的O(NM²)——同时保持了高精度和可扩展性，使在标准笔记本电脑上几分钟内完成400万数据点的推理成为可能。

ABSTRACT

This work brings together two powerful concepts in Gaussian processes: the variational approach to sparse approximation and the spectral representation of Gaussian processes. This gives rise to an approximation that inherits the benefits of the variational approach but with the representational power and computational scalability of spectral representations. The work hinges on a key result that there exist spectral features related to a finite domain of the Gaussian process which exhibit almost-independent covariances. We derive these expressions for Matern kernels in one dimension, and generalize to more dimensions using kernels with specific structures. Under the assumption of additive Gaussian noise, our method requires only a single pass through the dataset, making for very fast and accurate computation. We fit a model to 4 million training points in just a few minutes on a standard laptop. With non-conjugate likelihoods, our MCMC scheme reduces the cost of computation from O(NM2) (for a sparse Gaussian process) to O(NM) per iteration, where N is the number of data and M is the number of features.

研究动机与目标

• 解决高斯过程模型中的计算瓶颈问题，其计算复杂度随数据量N呈立方级增长，主要源于密集协方差矩阵运算。
• 克服现有稀疏GP方法依赖诱导点所带来的局限性，尤其在非共轭似然设置下计算成本高昂的问题。
• 开发一种可扩展、高精度的GP近似方法，充分利用谱方法的表征能力，同时保持变分推断的理论严谨性。
• 通过单次遍历算法，实现对大规模数据集（如400万点）在共轭与非共轭似然下的高效推理。
• 构建具有近乎独立协方差结构的傅里叶特征，以实现快速、可扩展的计算，同时不牺牲近似质量。

提出的方法

• 结合有限域窗函数技术与RKHS投影，从马特ernn核的谱表示中构造出有效且方差有限的诱导特征。
• 利用规则分布的频率网格（谐波基函数）构造傅里叶特征，以确保协方差矩阵具有结构化、可分解的特性。
• 通过RKHS内积，推导出一维情况下马特ernn-1/2、3/2和5/2核的傅里叶特征之间Gram矩阵的闭式表达式。
• 通过最小化变分后验与真实GP后验之间的KL散度，应用变分推断，将傅里叶特征作为基函数。
• 通过利用可加与乘积核结构，将方法推广至多维输入，同时保持计算效率。
• 设计一种MCMC方案，将非共轭似然下的每次迭代成本从O(NM²)降低至O(NM)，从而实现可扩展的后验推理。

实验结果

研究问题

• RQ1 如何构建一组高斯过程的诱导特征，使其在计算上高效且统计上有效，同时避免标准傅里叶特征的无限方差问题？
• RQ2 从有限域和RKHS投影中导出的傅里叶特征之间的协方差矩阵具有何种结构？是否能够高效分解？
• RQ3 通过使用结构化傅里叶特征而非诱导点，能否在变分高斯过程推理中实现O(NM)的计算复杂度？
• RQ4 所提出的方法在具有非共轭似然的大规模数据集上如何扩展？每次MCMC迭代的计算成本是多少？
• RQ5 谱表示与变分推断的结合能否产生一种既准确又足够快的方法，适用于大规模真实世界数据集？

主要发现

• 所提出的变分傅里叶特征（VFF）在每次迭代中实现O(NM)的计算复杂度，相比标准稀疏GP方法的O(NM²)有显著提升。
• 通过使用规则频率网格与RKHS投影，该方法构建了具有近乎独立协方差结构的傅里叶特征，从而支持快速矩阵运算。
• VFF可在标准笔记本电脑上仅用几分钟完成对400万训练点的推理，展现出卓越的可扩展性。
• 对于非共轭似然，MCMC方案将每次迭代的成本从O(NM²)降低至O(NM)，使大规模后验推理成为可能。
• 该方法在近似误差极小的情况下实现了高精度，如小样本示例与实证实验所示，尤其在马特ernn-3/2与马特ernn-5/2核上表现优异。
• 为所有马特ernn核推导出了傅里叶特征之间Gram矩阵的闭式表达式，从而实现了变分目标的精确且高效计算。