[论文解读] Spectral Mixture Kernels with Time and Phase Delay Dependencies.

Kai Chen, P. Groot+2 more|arXiv (Cornell University)|Aug 1, 2018

Gaussian Processes and Bayesian Inference参考文献 15被引用 5

一句话总结

本文提出了一种带有时间与相位延迟依赖关系的谱混合核（Spectral Mixture kernels with time and phase delay Dependencies, SMD），这是对谱混合（Spectral Mixture, SM）核的扩展，能够显式建模准周期分量之间的时序与相位关系。通过将时间与相位延迟整合到基础分量中，并利用反转复共轭的交叉卷积，SMD在保持超参数数量（不包括延迟参数）不变的前提下，捕捉了分量间的相关性，从而在最小人为干预下提升了对自然现象的建模能力。

ABSTRACT

Spectral Mixture (SM) kernels form a powerful class of kernels for Gaussian processes, capable to discover patterns, extrapolate, and model negative covariances. Being a linear superposition of quasi-periodical Gaussian components, an SM kernel does not explicitly model dependencies between components. In this paper we investigate the benefits of modeling explicitly time and phase delay dependencies between components in an AM kernel. We analyze the presence of statistical dependencies between components using Gaussian conditionals and posterior covariance and use this framework to motivate the proposed SM kernel extension, called Spectral Mixture kernel with time and phase delay Dependencies (SMD). SMD is constructed in two steps: first, time delay and phase delay are incorporated into each base component; next, cross-convolution between a base component and the reversed complex conjugate of another base component is performed which yields a complex-valued and positive definite kernel representing correlations between base components. The number of hyper-parameters of SMD, except the time and phase delay ones, remains equal to that of the SM kernel. We perform a thorough comparative experimental analysis of SMD on synthetic and real-life data sets. Results indicate the beneficial effect of modeling time and phase delay dependencies between base components, notably for natural phenomena involving little or no influence from human activity.

研究动机与目标

• 解决标准谱混合核在建模准周期分量之间依赖关系方面的局限性。
• 基于高斯条件与后验协方差，探索分量间的统计依赖关系，作为核设计的基础。
• 开发一种新型核架构，显式编码分量之间的时序与相位延迟关系，同时保持计算效率。
• 评估时间与相位延迟依赖关系对合成数据集与真实世界数据集建模性能的影响。
• 展示在人类影响较小的自然系统中，SMD在外推与建模精度方面均有提升。

提出的方法

• 将时间延迟与相位延迟直接嵌入谱混合核的每个基础高斯分量中。
• 通过将一个基础分量与另一个分量的反转复共轭进行交叉卷积，构建复值核。
• 通过设计确保所得核保持正定性，从而保证其在高斯过程推理中的有效性。
• 除新引入的时间与相位延迟参数外，保持与原始SM核相同的超参数数量。
• 在高斯过程回归中使用所得的SMD核，显式建模时间与谱依赖关系。
• 利用高斯条件与后验协方差的框架，为SMD核的结构设计提供理论依据。

实验结果

研究问题

• RQ1 显式建模谱分量之间的时序与相位延迟依赖关系，是否能提升谱混合核的表征能力？
• RQ2 时间与相位延迟依赖关系如何影响核模型外推与负协方差建模的能力？
• RQ3 这些依赖关系对在人类影响较小的自然现象中的建模性能有何影响？
• RQ4 SMD是否在保持与SM相同超参数数量（除延迟相关参数外）的同时，未牺牲模型灵活性？
• RQ5 在合成与真实世界时间序列上，SMD与SM及其他核变体在预测性能方面相比如何？

主要发现

• SMD核在合成数据集上通过显式捕捉分量间的时序与相位延迟依赖关系，表现出更高的建模精度。
• 与标准SM核相比，SMD在长期时序模式场景下展现出更优的外推性能。
• 在涉及人类影响较小的自然现象的真实数据集中，SMD显著优于SM，表明其在该类领域中的适用性。
• 引入时间与相位延迟依赖关系增强了核模型对负协方差的建模能力，这一能力对真实时间序列建模至关重要。
• SMD的超参数数量与SM相近，仅在延迟参数上有所增加，证实该扩展未过度增加模型复杂度。