[论文解读] Streaming Sparse Gaussian Process Approximations

Thang D. Bui, Cuong V. Nguyen+1 more|arXiv (Cornell University)|May 19, 2017

Gaussian Processes and Bayesian Inference参考文献 15被引用 24

一句话总结

本文提出了一种用于稀疏高斯过程近似的系统性流式框架，支持在线超参数学习和伪输入位置的优化。通过将变分推断和期望传播方法扩展至流式设置，该方法实现了准确且可扩展的增量更新推断，在速度和对顺序数据的适应性方面优于批量方法。

ABSTRACT

Sparse pseudo-point approximations for Gaussian process (GP) models provide a suite of methods that support deployment of GPs in the large data regime and enable analytic intractabilities to be sidestepped. However, the field lacks a principled method to handle streaming data in which both the posterior distribution over function values and the hyperparameter estimates are updated in an online fashion. The small number of existing approaches either use suboptimal hand-crafted heuristics for hyperparameter learning, or suffer from catastrophic forgetting or slow updating when new data arrive. This paper develops a new principled framework for deploying Gaussian process probabilistic models in the streaming setting, providing methods for learning hyperparameters and optimising pseudo-input locations. The proposed framework is assessed using synthetic and real-world datasets.

研究动机与目标

• 解决流数据设置下高斯过程模型缺乏系统性在线方法的问题。
• 克服现有方法依赖次优启发式方法进行超参数学习或存在灾难性遗忘的局限性。
• 在新数据到达时支持后验分布和模型超参数的增量更新。
• 提供一个统一的框架，推广并改进先前的在线GP方法（如Csató和Opper的VFE与EP方法）。
• 通过增量更新最大限度减少重训练开销，利用所有历史数据实现高效可扩展的推断。

提出的方法

• 基于变分自由能（VFE）构建基于流式变分推断的框架，用于在线GP近似。
• 将框架扩展以引入Power-EP进行近似推断，实现鲁棒且灵活的后验估计。
• 提出一种基于自然梯度更新的系统性方法进行在线超参数学习，避免使用人工设计的启发式方法。
• 采用随机优化方案对伪输入位置进行增量优化，使其在保留模型精度的同时适应新数据。
• 使用小批量数据处理以扩展至大规模数据集，同时通过增量更新保持计算效率。
• 将先前的近似后验分布整合到当前模型中，以降低重训练成本并避免灾难性遗忘。

实验结果

研究问题

• RQ1 能否开发一种系统性框架，用于在线高斯过程推断，同时支持超参数学习和伪输入优化？
• RQ2 在流式数据上，该方法与批量推断相比，在预测准确性和计算效率方面表现如何？
• RQ3 当新数据按顺序到达时，该方法在多大程度上避免了灾难性遗忘？
• RQ4 该方法对数据到达顺序的敏感程度如何？能否在不同数据流模式下保持稳定性能？
• RQ5 该框架能否将现有在线GP方法（如VFE和EP）作为特例进行推广，同时提升其性能？

主要发现

• 当使用足够多的伪点时，所提出的流式框架在预测性能上可与全批量GP回归相媲美。
• 超参数学习随时间收敛至真实值，其中长度尺度较小的任务需要更多伪点才能实现准确估计。
• 该方法在不同数据顺序下均保持稳定性能，分类误差在数据足够多后可降至接近批量水平（例如0.095）。
• 在时间序列和空间数据集上，该方法实现了较高的边际对数似然和较低的RMSE，且性能随批量大小和伪点数量的增加而良好扩展。
• 该算法通过避免启发式超参数更新并利用增量后验更新减少遗忘，优于现有流式方法。
• 在合成数据和真实世界数据（包括音频和地形数据）上的实验验证了该方法在非独立同分布和独立同分布流式场景下的鲁棒性与可扩展性。