[论文解读] Non-linear process convolutions for multi-output Gaussian processes

Mauricio A. Álvarez, Wil O. C. Ward+1 more|arXiv (Cornell University)|Oct 10, 2018

Gaussian Processes and Bayesian Inference参考文献 26被引用 6

一句话总结

本文提出了一种基于Volterra级数展开的非线性过程卷积框架扩展，用于多输出高斯过程，实现了灵活的非线性交叉协方差结构。通过利用高斯变量的乘积矩，推导出均值和协方差函数的闭式表达式，该方法在合成数据集和真实世界数据集（包括气象数据和SARCOS机械臂数据）上，相较于经典过程卷积、ICM和DGP，在预测性能方面表现更优，尤其在NLPD指标上优势显著。

ABSTRACT

The paper introduces a non-linear version of the process convolution formalism for building covariance functions for multi-output Gaussian processes. The non-linearity is introduced via Volterra series, one series per each output. We provide closed-form expressions for the mean function and the covariance function of the approximated Gaussian process at the output of the Volterra series. The mean function and covariance function for the joint Gaussian process are derived using formulae for the product moments of Gaussian variables. We compare the performance of the non-linear model against the classical process convolution approach in one synthetic dataset and two real datasets.

研究动机与目标

• 为解决多输出高斯过程中线性交叉协方差结构的局限性，该局限性限制了模型在捕捉复杂输出依赖关系方面的灵活性。
• 开发经典过程卷积框架的非线性推广，同时保持潜在过程建模的可解释性，并支持非线性变换。
• 为所得非线性多输出高斯过程的均值和协方差函数推导出解析可处理的闭式表达式。
• 通过在合成数据集和真实世界数据集上的实证验证，将所提出的非线性模型与现有基线方法进行比较，证明其在预测性能上的优越性。
• 探索通过为每个输出维度允许不同的Volterra级数阶数，实现输出特定的非线性性，从而增强建模能力。

提出的方法

• 对每个输出使用Volterra级数展开——具体为潜在高斯过程的多项式展开——通过核函数引入非线性变换。
• 应用高斯随机变量乘积矩的公式，解析计算非线性变换后输出的均值和协方差函数。
• 通过在潜在过程上积分并结合平滑核函数，推导多输出过程的联合均值和交叉协方差函数，假设潜在过程为零均值高斯过程。
• 为潜在过程采用平方指数（RBF）核，为平滑函数采用类似Matérn的核，且Volterra核具有可分性和同质性。
• 采用变分推理框架实现模型推断，近似后验分布，从而在大规模数据集上实现可扩展的推理。
• 允许输出特定的Volterra级数阶数（C_d），以建模输出之间的异质非线性性，其中阶数C决定每个输出的非线性程度。

实验结果

研究问题

• RQ1 与线性方法相比，过程卷积框架的非线性扩展是否能提升多输出高斯过程的预测性能？
• RQ2 能否利用Volterra级数为非线性变换的多输出高斯过程推导出均值和协方差函数的闭式表达式？
• RQ3 所提出的非线性模型在预测准确性和不确定性量化方面是否优于经典过程卷积、ICM和深度高斯过程？
• RQ4 不同Volterra级数阶数（C）如何影响各输出的预测性能？输出特定的阶数是否能提升建模保真度？
• RQ5 该框架能否在保持计算可处理性的前提下，扩展至高维输入空间和大规模数据集？

主要发现

• 在合成数据集上，非线性过程卷积模型（NCMOGP）在C=5时达到最低NLPD（0.6431）和NMSE（0.4425），优于CMOGP、ICM和DGP。
• 在气象数据集上，NCMOGP5在Chimet上的NLPD表现最佳（1.8280），NCMOGP3在Cambermet上的NMSE最低（0.4252），优于ICM和DGP。
• 在高维SARCOS数据集上，NCMOGP2实现最低NMSE（0.0478 ± 0.0238）和NLPD（1.4067 ± 1.1032），在预测性能上与或超过DGP和ICM。
• 最优Volterra级数阶数C因输出而异：d=1,2,3,7时为C=4；d=4,6时为C=3；d=5时为C=5，表明输出特定的非线性性具有优势。
• 该模型在不确定性量化方面表现更优，NCMOGP2在SARCOS实验中所有输出的NLPD最低，表明其预测方差更校准。
• 该框架可扩展至高维输入（SARCOS中p=21），在多个随机训练-测试划分中保持优异性能，且性能指标方差较低。