[论文解读] Non-Stationary Spectral Kernels

Sami Remes, Markus Heinonen+1 more|arXiv (Cornell University)|May 24, 2017

Gaussian Processes and Bayesian Inference参考文献 25被引用 50

一句话总结

本文引入广义谱混合（GSM）核，用于高斯过程，透过高斯过程曲面对输入相关的频率进行建模，从而实现非平稳和非单调的协方差，并在时间序列、图像和气候数据上展示其有效性。

ABSTRACT

We propose non-stationary spectral kernels for Gaussian process regression. We propose to model the spectral density of a non-stationary kernel function as a mixture of input-dependent Gaussian process frequency density surfaces. We solve the generalised Fourier transform with such a model, and present a family of non-stationary and non-monotonic kernels that can learn input-dependent and potentially long-range, non-monotonic covariances between inputs. We derive efficient inference using model whitening and marginalized posterior, and show with case studies that these kernels are necessary when modelling even rather simple time series, image or geospatial data with non-stationary characteristics.

研究动机与目标

• 为真实数据中对非平稳和非单调协方差的需求提供动机。
• 将谱密度建模为使用高斯过程的输入相关频率曲面。
• 推导出一个实用的 GSM 核，能够得到一个封闭形式的非平稳核。
• 通过模型白化和边际化后验实现高效推断。
• 在时间序列、纹理图像和气候（陆表面温度）数据上展示该核。

提出的方法

• 通过广义傅里叶变换将 k(x,x') 与频谱曲面 S(s,s') 相关联，从而定义非平稳核。
• 将 S(s,s') 模型为双变量高斯分量的混合，并施加对称性约束以确保 PSD 与实值核。
• 将权重、频率和尺度参数化为高斯过程，以形成平滑的输入相关光谱图。
• 推导 GSM 核：k_GSM(x,x') = sum_i w_i(x) w_i(x') k_gibbs,i(x,x') cos(2π(μ_i(x)x − μ_i(x')x')).
• 为可扩展推断使用张量积结构实现对多变量输入（对每个维度的乘积）。
• 对对数边际后验进行 MAP 推断并进行白化，以提高优化性能。

实验结果

研究问题

• RQ1 如何通过谱表示从数据中学习非平稳和非单调协方差？
• RQ2 是否可以通过 GP 代理捕获的输入相关频率和振幅实现跨输入空间的长程相关性和非均匀相似性？
• RQ3 与平稳核和先前的非平稳方法相比，GSM 核在时间序列、纹理以及时空气候数据的建模与外推方面是否有改进？

主要发现

• GSM 核通过 GP 建模的光谱图编码输入相关的频率模式，使协方差具备非平稳和非单调的特征。
• 当 GP 组件为常数时，GSM 收敛为平稳的 Spectral Mixture 核，与现有模型保持一致。
• 在模拟时间序列、纹理和陆表面温度的数据上，显示出比 SM、SS 和 SE 基线更强的性能和更现实的外推。
• 该核能够捕捉气候数据中的非对称空间协方差，并显示出同时建模局部与全局输入相关性的能力。
• 对参数进行白化并使用边际化后验可实现高效推断，且在高维情景下有助于避免过拟合。