[论文解读] Spatio-Temporal Variational Gaussian Processes

Oliver Hamelijnck, William J. Wilkinson+3 more|Warwick Research Archive Portal (University of Warwick)|Nov 2, 2021

Gaussian Processes and Bayesian Inference参考文献 49被引用 4

一句话总结

本文提出时空变分高斯过程（ST-VGP），一种可扩展的大规模时空建模方法，结合自然梯度变分推断与时空滤波和光滑处理。该方法在时间步数上实现线性时间复杂度，并通过并行滤波将时间跨度复杂度降低至对数级别，同时在可分核下与标准变分高斯过程保持完全等价，从而在大规模时空数据集上实现高效、精确的推断，并通过增加诱导点提升预测性能。

ABSTRACT

We introduce a scalable approach to Gaussian process inference that combines spatio-temporal filtering with natural gradient variational inference, resulting in a non-conjugate GP method for multivariate data that scales linearly with respect to time. Our natural gradient approach enables application of parallel filtering and smoothing, further reducing the temporal span complexity to be logarithmic in the number of time steps. We derive a sparse approximation that constructs a state-space model over a reduced set of spatial inducing points, and show that for separable Markov kernels the full and sparse cases exactly recover the standard variational GP, whilst exhibiting favourable computational properties. To further improve the spatial scaling we propose a mean-field assumption of independence between spatial locations which, when coupled with sparsity and parallelisation, leads to an efficient and accurate method for large spatio-temporal problems.

研究动机与目标

• 解决标准高斯过程在时空设置下的立方级计算复杂度问题。
• 为大规模时空数据中的多变量、非共轭似然实现可扩展推断。
• 在保持标准变分高斯过程精度的同时，实现时间步数上的线性时间复杂度。
• 通过均值场近似与稀疏性提升空间可扩展性。
• 证明基于自然梯度的时空滤波可实现高效、精确的推断，性能媲美最先进变分高斯过程方法。

提出的方法

• 采用基于序列滤波与光滑处理的自然梯度变分推断，实现时间步数上的线性时间复杂度。
• 通过在减少的时空诱导点集上构建状态空间模型，推导出稀疏近似。
• 利用并行滤波与光滑处理，将时间跨度复杂度降低至时间步数的对数级别。
• 通过在空间位置之间施加独立性假设（均值场近似），进一步提升空间可扩展性。
• 重新表述模型以实现稀疏性与并行化下的高效计算，尤其适用于可分马尔可夫核。
• 使用带自然梯度的变分下界优化近似后验，确保在可分核下与标准 SVGP 完全等价。

实验结果

研究问题

• RQ1 自然梯度变分推断能否与时空滤波有效结合，实现在时间维度上的线性时间复杂度？
• RQ2 所提出方法在可分马尔可夫核下是否保持与标准变分高斯过程的精确等价性，同时提升可扩展性？
• RQ3 并行滤波与光滑处理能否将大规模时空模型中的时间跨度复杂度从立方级降低至对数级？
• RQ4 空间位置之间的均值场近似如何影响预测精度与计算效率？
• RQ5 该方法能否在显著多于标准方法的诱导点数量下扩展至大规模数据集，从而提升预测性能？

主要发现

• ST-VGP 在时间步数上实现线性时间复杂度，将计算成本从立方级降低至线性级。
• 通过并行滤波与光滑处理，方法将时间跨度复杂度降低至对数级别，使长序列时间序列的高效推断成为可能。
• 对于可分马尔可夫核，完整与稀疏的 ST-VGP 模型能精确恢复标准变分高斯过程，确保与现有方法的一致性。
• 空间位置上的均值场近似结合稀疏性与并行化，显著提升了空间可扩展性，且未牺牲精度。
• 在合成数据上，ST-VGP 在最大数据集（数据集5）上取得测试均方根误差 0.45 ± 0.11，优于 SVGP 与 MF-ST-VGP，后两者表现出更高误差与不稳定性。
• 在真实世界数据集（如树木数量与空气质量）上，ST-VGP 在高分辨率分箱下取得更低的测试负对数预测似然（NLPD），表明预测精度得到提升。