[论文解读] Spatial Mapping with Gaussian Processes and Nonstationary Fourier Features

Jean-François Ton, Seth Flaxman+2 more|arXiv (Cornell University)|Nov 15, 2017

Gaussian Processes and Bayesian Inference参考文献 32被引用 3

一句话总结

本文提出了一种新颖的高斯过程框架，通过傅里叶特征表示与神经网络联合学习非平稳核函数，实现了对复杂空间及时空依赖关系的灵活、数据驱动建模。通过端到端学习频率参数并结合深度学习正则化方法，该方法在不增加计算复杂度的前提下提升了泛化能力与可解释性，在时间序列与地表温度映射任务中优于平稳核函数。

ABSTRACT

The use of covariance kernels is ubiquitous in the field of spatial statistics. Kernels allow data to be mapped into high-dimensional feature spaces and can thus extend simple linear additive methods to nonlinear methods with higher order interactions. However, until recently, there has been a strong reliance on a limited class of stationary kernels such as the Matern or squared exponential, limiting the expressiveness of these modelling approaches. Recent machine learning research has focused on spectral representations to model arbitrary stationary kernels and introduced more general representations that include classes of nonstationary kernels. In this paper, we exploit the connections between Fourier feature representations, Gaussian processes and neural networks to generalise previous approaches and develop a simple and efficient framework to learn arbitrarily complex nonstationary kernel functions directly from the data, while taking care to avoid overfitting using state-of-the-art methods from deep learning. We highlight the very broad array of kernel classes that could be created within this framework. We apply this to a time series dataset and a remote sensing problem involving land surface temperature in Eastern Africa. We show that without increasing the computational or storage complexity, nonstationary kernels can be used to improve generalisation performance and provide more interpretable results.

研究动机与目标

• 克服高斯过程回归中固定、平稳核函数（如Matérn核与平方指数核）的局限性。
• 开发一种可扩展的、数据驱动的方法，直接从时空数据中学习复杂、非平稳的核函数。
• 在保持计算效率的同时，提升模型灵活性与泛化性能。
• 集成深度学习正则化技术（如高斯丢弃）以防止非平稳核学习中的过拟合。
• 在真实世界的时间序列与遥感数据集（特别是东非地区地表温度）上验证该方法的实用性。

提出的方法

• 该方法采用傅里叶特征展开来表示核函数，通过随机或可学习的频率将输入映射到高维特征空间。
• 将核学习问题建模为具有三角函数激活函数的神经网络，其中频率参数通过基于梯度的优化方法端到端学习。
• 利用随机傅里叶特征、高斯过程与单层神经网络之间的联系，在保持可解释性的同时实现非平稳性。
• 在傅里叶特征层应用高斯丢弃进行正则化，以防止过拟合，尤其在高维或噪声较大的数据环境中尤为重要。
• 训练过程中优化边际似然，所得核结构具有可解释性，并能适应局部数据模式。
• 该方法保持了标准傅里叶GP近似方法的O(nm²)时间复杂度与O(nm)存储复杂度，使其可扩展至大规模数据集。

实验结果

研究问题

• RQ1 能否利用傅里叶特征表示从数据中高效且有效地学习非平稳核函数？
• RQ2 与平稳核相比，学习非平稳核是否能提升空间与时空建模中的泛化性能？
• RQ3 所提出的框架是否能在保持计算效率的同时，实现更高的模型灵活性与可解释性？
• RQ4 集成深度学习正则化技术对非平稳核学习中的过拟合有何影响？
• RQ5 该方法在多大程度上能适应局部数据结构，例如东非地表温度数据中变化的空间相关性模式？

主要发现

• 与平稳核基线相比，该方法在时间序列数据集与东非地区地表温度映射任务中均实现了更优的泛化性能。
• 通过该框架学习到的非平稳核函数能提供更具可解释性与合理性的预测结果，尤其在空间相关性结构异质的区域表现更优。
• 该方法保持了与标准傅里叶GP近似方法相同的计算与存储复杂度（O(nm²)时间，O(nm)存储），使其可扩展至大规模数据集。
• 学习到的频率参数直方图呈现出明显非均匀的分布，表明模型捕捉到了有意义的、依赖于数据的谱模式，而非依赖于固定或随机频率。
• 协方差矩阵图像显示，在非平稳条件下，不同位置呈现出特定的关联结构，而平稳模型则在所有位置产生相同的模式。
• 高斯丢弃的使用显著降低了过拟合风险，表现为边际似然优化过程稳定，且在验证集上表现稳健。