[论文解读] Online Sparse Gaussian Process Training with Input Noise

Hildo Bijl, Thomas B. Schön+2 more|arXiv (Cornell University)|Jan 29, 2016

Gaussian Processes and Bayesian Inference参考文献 26被引用 7

一句话总结

本文提出了一种新型在线稀疏高斯过程回归算法 SONIG，能够高效处理噪声输入点，并以恒定时间纳入新测量数据。通过结合稀疏近似、在线学习与输入噪声建模，SONIG 在准确性和可扩展性方面优于现有方法，在非线性黑箱系统辨识任务中表现出色。

ABSTRACT

Gaussian process regression traditionally has three important downsides. (1) It is computationally intensive, (2) it cannot eciently implement newly obtained measurements online, and (3) it cannot deal with stochastic (noisy) input points. In this paper we present an algorithm tackling all these three issues simultaneously. The resulting Sparse Online Noisy Input GP (SONIG) regression algorithm can incorporate new measurements in constant runtime. A comparison has shown that it is more accurate than similar existing regression algorithms. In addition, the algorithm can be applied to non-linear black-box system modeling, where its performance is competitive with non-linear ARX models.

研究动机与目标

• 解决传统高斯过程回归的计算效率低下问题。
• 实现在在线学习设置中实时整合新测量数据。
• 对随机（噪声）输入点进行建模，而标准 GP 方法难以有效处理此类情况。
• 开发一种适用于非线性黑箱系统辨识的可扩展、高精度回归方法。
• 在准确性和效率方面超越现有的在线与稀疏 GP 方法。

提出的方法

• 该算法采用稀疏近似以降低计算复杂度，依赖一组诱导点来表示完整数据。
• 通过将真实输入建模为围绕观测到的噪声输入的高斯分布的隐变量，实现输入噪声建模。
• 采用在线学习方法以增量方式更新后验分布，确保每次新增数据点时均实现恒定时间更新。
• 使用变分推理框架近似后验分布，从而实现超参数与诱导点的高效优化。
• 算法保持固定大小的表示形式，适用于流数据或大规模数据应用。
• 将稀疏 GP 与在线学习及输入噪声建模整合为统一框架，实现实时、高精度回归。

实验结果

研究问题

• RQ1 高斯过程回归方法能否在保持计算可行性的同时高效处理噪声输入点？
• RQ2 能否将在线学习集成到稀疏 GP 中，以实现在新数据到达时的恒定时间更新？
• RQ3 所提出的方法在准确性和可扩展性方面是否优于现有的在线与稀疏 GP 方法？
• RQ4 该方法在非线性黑箱系统辨识任务中的表现如何？
• RQ5 通过稀疏化与在线更新，模型能否在降低计算成本的同时保持预测准确性？

主要发现

• SONIG 算法对新测量数据实现了恒定时间更新，显著提升了相对于批量 GP 方法的效率。
• 在实证比较中，其准确度高于同类在线与稀疏 GP 回归算法。
• 通过显式建模输入不确定性，该模型有效处理了噪声输入点，提升了鲁棒性。
• 在非线性系统辨识任务中，SONIG 的表现与非线性 ARX 模型相当。
• 该算法在大规模或流式数据集上保持了高预测性能，同时实现了高效的可扩展性。
• 稀疏性、在线学习与输入噪声建模的整合，形成了一套稳健且实用的回归框架。