[论文解读] Neural Non-Stationary Spectral Kernel

Sami Remes, Markus Heinonen+1 more|arXiv (Cornell University)|Nov 27, 2018

Gaussian Processes and Bayesian Inference参考文献 1被引用 5

一句话总结

本文提出了一种新型神经非平稳谱核（Neural-GSM），通过使用深度神经网络将核超参数（如混合权重、频率和方差）建模为输入相关函数，取代先前工作中基于高斯过程的参数化方法。该方法在时间序列和回归基准测试中，相较于平稳谱混合核及基于GP参数化的非平稳核，实现了更优的预测性能和更快的训练速度。

ABSTRACT

Standard kernels such as Matérn or RBF kernels only encode simple monotonic dependencies within the input space. Spectral mixture kernels have been proposed as general-purpose, flexible kernels for learning and discovering more complicated patterns in the data. Spectral mixture kernels have recently been generalized into non-stationary kernels by replacing the mixture weights, frequency means and variances by input-dependent functions. These functions have also been modelled as Gaussian processes on their own. In this paper we propose modelling the hyperparameter functions with neural networks, and provide an experimental comparison between the stationary spectral mixture and the two non-stationary spectral mixtures. Scalable Gaussian process inference is implemented within the sparse variational framework for all the kernels considered. We show that the neural variant of the kernel is able to achieve the best performance, among alternatives, on several benchmark datasets.

研究动机与目标

• 解决平稳核与单调核在捕捉时间序列和回归数据中复杂、输入相关模式（如周期性和长程依赖）方面的局限性。
• 通过用神经网络替代超参数上的高斯过程先验，改进现有非平稳谱混合核，以提升灵活性与表达能力。
• 利用稀疏变分高斯过程方法实现非平稳核的可扩展推理，支持单维数千个数据点的推理。
• 在多样化基准数据集上，对所提出的Neural-GSM与平稳谱混合核、RBF核及基于GP参数化的非平稳核进行实证评估。

提出的方法

• 核超参数（混合权重、频率均值和方差）通过前馈神经网络作为输入的函数进行参数化。
• 将所得的Neural-GSM核集成到稀疏变分推理框架中，以实现在大规模数据集上的可扩展高斯过程回归。
• 通过使用诱导点的随机优化方法，端到端地优化变分下界（ELBO）来训练模型。
• 该方法通过允许谱分量的输入相关调制，推广了谱混合核，从而支持非平稳和非单调行为。
• 神经网络参数化取代了Remes等人（2017）中使用的基于GP的超参数函数，提升了优化速度与性能。
• 该框架支持回归与时间序列建模，实验基于太阳活动、动作捕捉和UCI数据集进行。

实验结果

研究问题

• RQ1 神经网络能否有效参数化谱混合核的超参数，以建模数据中复杂的、输入相关的模式？
• RQ2 基于神经网络的非平稳核在预测准确性和似然性方面，相较于平稳谱混合核与基于GP参数化的非平稳核，表现如何？
• RQ3 与基于GP的超参数函数相比，神经参数化是否带来更快的收敛速度和更短的每轮优化迭代耗时？
• RQ4 Neural-GSM核是否能比RBF等平稳核更好地捕捉时间序列数据中的长程依赖与周期性依赖？
• RQ5 在使用稀疏变分推理时，该方法在数据规模与训练效率方面的可扩展性如何？

主要发现

• Neural-GSM核在太阳活动和动作捕捉时间序列数据集上均取得了最佳预测性能，优于RBF、平稳SM和GP-GSM核。
• 在CMU动作捕捉数据集上，Neural-GSM比平稳SM核更准确地捕捉了尖峰和动态变化，后者产生了过度自信且宽泛的置信区间。
• 与GP-GSM变体相比，Neural-GSM在每轮优化中实现了约两倍的训练速度，且收敛所需的优化步数相近。
• 在UCI Protein与Power回归基准测试中，Neural-GSM实现了最低的测试误差和最高的对数似然，优于RBF、SM和GP-GSM。
• GP-GSM变体在不同运行中表现出收敛不稳定性，且似然与误差估计的方差较高，表明其优化过程鲁棒性较差。
• 稀疏变分推理框架使得在包含数千个点的数据集上实现可扩展训练成为可能，证明了该方法在先前工作中基于Kronecker方法之外的实际适用性。