[论文解读] Spectral Mixture Kernels for Multi-Output Gaussian Processes

Gabriel Parra, Felipe Tobar|arXiv (Cornell University)|Sep 5, 2017

Gaussian Processes and Bayesian Inference参考文献 15被引用 38

一句话总结

本文提出多输出谱混合（MOSM）核，这是一种新颖的参数化矩阵值协方差函数族，用于多输出高斯过程，通过复值谱密度建模交叉协方差。通过将Cramér定理由单变量过程推广至多变量过程，MOSM能够捕捉相位偏移、时延以及各通道特有的谱特征，在建模多输出之间的复杂依赖关系方面优于现有方法，且谱参数具有完全可解释性。

ABSTRACT

Early approaches to multiple-output Gaussian processes (MOGPs) relied on linear combinations of independent, latent, single-output Gaussian processes (GPs). This resulted in cross-covariance functions with limited parametric interpretation, thus conflicting with the ability of single-output GPs to understand lengthscales, frequencies and magnitudes to name a few. On the contrary, current approaches to MOGP are able to better interpret the relationship between different channels by directly modelling the cross-covariances as a spectral mixture kernel with a phase shift. We extend this rationale and propose a parametric family of complex-valued cross-spectral densities and then build on Cramér's Theorem (the multivariate version of Bochner's Theorem) to provide a principled approach to design multivariate covariance functions. The so-constructed kernels are able to model delays among channels in addition to phase differences and are thus more expressive than previous methods, while also providing full parametric interpretation of the relationship across channels. The proposed method is first validated on synthetic data and then compared to existing MOGP methods on two real-world examples.

研究动机与目标

• 为解决传统多输出高斯过程（MOGP）中交叉协方差函数可解释性有限的问题，特别是对通道间相位差和时延的建模能力不足。
• 提出一种基于谱的系统性方法，构建正定的矩阵值协方差函数，以推广现有方法（如CSM和SM-LMC）的适用范围。
• 通过在谱域中显式建模频率、振幅、相位和时延，实现对通道间关系的完整参数化解释。
• 在合成数据集和真实世界数据集上验证所提方法，证明其在多相关输出回归任务中具有更优或具有竞争力的预测性能。

提出的方法

• 提出一类广义的复值交叉谱密度，将标量谱混合（SM）核推广至多变量过程。
• 应用Cramér定理——Bochner定理在多变量情形下的推广——通过复谱密度矩阵的逆傅里叶变换推导出有效的矩阵值协方差函数。
• 通过包含相位偏移和时延的谱分量建模通道间依赖关系，实现比先前方法更丰富的表示能力。
• 允许各通道具有独立的参数以建模自协方差，相比强制各输出行为一致的模型更具灵活性。
• 将MOSM核构建为具有不同频率、振幅、相位和时延的谱分量之和，通过谱设计确保正定性。
• 在高斯过程框架中实现该模型，并通过边缘似然最大化优化超参数，使用平均绝对误差和统计检验进行验证。

实验结果

研究问题

• RQ1 能否将基于谱的方法扩展至多输出高斯过程，以建模通道间的时延，而不仅限于相位差异？
• RQ2 复值交叉谱密度的引入如何提升多输出协方差函数的可解释性与表达能力？
• RQ3 所提出的MOSM核在真实世界数据集上的预测精度是否优于现有MOGP模型（如CSM、SM-LMC和CONV）？
• RQ4 MOSM中的谱参数（频率、相位、时延、振幅）在多大程度上能提供关于通道间依赖关系的有意义且可解释的洞察？
• RQ5 MOSM核对非高斯分布且高度相关的数据（如环境传感器和重金属浓度测量）是否具有鲁棒性？

主要发现

• 在合成三元信号数据上，MOSM成功捕捉了通道间的相位差和时延，验证了其对复杂通道间动态关系的建模能力。
• 在气候传感器数据集上，MOSM在Sotonmet传感器上的平均绝对误差（MAE）最低（0.162 ± 0.011），且通过Kolmogorov-Smirnov检验确认具有统计显著性（p < 0.05）。
• 对于Cambermet、Chimet和Bramblemet传感器，MOSM表现与CSM相当，但两者之间无统计显著差异。
• 在Jura重金属数据集上，MOSM在镉（Cd）预测中取得最佳MAE（0.43 ± 0.01），显著优于所有其他模型，包括CSM和CONV。
• 在铜（Cu）预测中，MOSM与表现最佳的模型（SM-LMC）相当，但未在统计上显著优于CSM，可能由于数据非高斯性及高相关性所致。
• MOSM核通过显式建模每对通道的频率、振幅、相位和时延，展现出卓越的可解释性，实现了对跨通道关系的清晰谱域理解。