[论文解读] Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes

Mauricio A. Álvarez, David Luengo+2 more|ArXiv.org|Dec 16, 2009

Gaussian Processes and Bayesian Inference参考文献 20被引用 6

一句话总结

本文提出变分诱导核以实现稀疏卷积多输出高斯过程，通过引入诱导函数和变分界，将变分推断扩展至多输出GP模型。该方法结合卷积过程与变分近似，在复杂且相关的输出设置中实现高效可扩展的推断，显著提升了真实世界回归任务中的鲁棒性与性能。

ABSTRACT

Interest in multioutput kernel methods is increasing, whether under the guise of multitask learning, multisensor networks or structured output data. From the Gaussian process perspective a multioutput Mercer kernel is a covariance function over correlated output functions. One way of constructing such kernels is based on convolution processes (CP). A key problem for this approach is efficient inference. Alvarez and Lawrence (2009) recently presented a sparse approximation for CPs that enabled efficient inference. In this paper, we extend this work in two directions: we introduce the concept of variational inducing functions to handle potential non-smooth functions involved in the kernel CP construction and we consider an alternative approach to approximate inference based on variational methods, extending the work by Titsias (2009) to the multiple output case. We demonstrate our approaches on prediction of school marks, compiler performance and financial time series.

研究动机与目标

• 解决基于卷积过程的多输出高斯过程推断的计算不可行性问题，其复杂度为 O(N³D³)。
• 克服现有稀疏近似方法（如 FITC 和 PITC）的局限性，这些方法在优化诱导输入时可能出现过拟合。
• 将先前仅应用于单输出GP的变分推断方法扩展至多输出情形，利用诱导函数实现。
• 通过结合卷积过程与变分界及变分诱导函数，实现在多输出GP模型中稳健且可扩展的推断。
• 通过核卷积为多输出GP先验提供一种系统化框架，以整合物理模型（如微分方程）的知识。

提出的方法

• 提出变分诱导函数以建模卷积过程中潜在过程的分布，实现对非光滑函数的灵活且稳健的近似。
• 将 Titsias (2009) 提出的变分稀疏GP框架拓展至多输出情形，引入适用于多输出卷积GP的变分界。
• 基于潜在函数的诱导点，对输出函数施加条件独立性假设，从而降低计算复杂度。
• 利用矩阵微积分与向量化技术，推导出变分下界的一阶导数，实现对超参数与诱导点的联合优化。
• 通过潜在函数与核函数 Gd,q(x−z) 的卷积构建联合协方差结构，推广线性核心吉尔化模型。
• 采用基于梯度的优化方法对变分下界进行优化，所有模型参数（包括核超参数与诱导点位置）均提供解析导数。

实验结果

研究问题

• RQ1 如何将变分推断扩展至基于卷积过程的多输出高斯过程？
• RQ2 变分诱导函数是否能提升稀疏GP近似在多输出模型中的抗过拟合能力？
• RQ3 使用变分界对卷积多输出GP模型的预测性能与稳定性有何影响？
• RQ4 在真实世界数据上，该方法相较于现有稀疏GP近似方法（如 FITC、PITC）在可扩展性与准确性方面表现如何？
• RQ5 该框架能否通过核卷积有效整合来自微分方程的物理知识至多输出GP先验中？

主要发现

• 所提出的变分诱导核框架相较于传统 FITC 和 PITC 近似，显著提升了对过拟合的鲁棒性。
• 该方法将推理复杂度降低至 O(K²N)，其中 K 为诱导点数量，N 为数据点数量，从而实现可扩展性。
• 在学生成绩、编译器性能与金融时间序列等真实数据集上的实证结果表明，该方法实现了最先进的预测性能，且预测方差更低。
• 变分界提供了一个合理的优化目标，用于联合优化诱导点与核超参数，从而提升泛化能力。
• 变分诱导函数的使用使得对非光滑潜在过程的建模更加有效，增强了核构造的灵活性。
• 通过矩阵微积分推导的梯度支持高效优化，且该方法在所有基准数据集上均实现稳定收敛。