[论文解读] Sparse Convolved Multiple Output Gaussian Processes

Mauricio A. Álvarez, Neil D. Lawrence|ArXiv.org|Nov 26, 2009

Gaussian Processes and Bayesian Inference参考文献 47被引用 7

一句话总结

本文提出了一种基于卷积过程的多输出高斯过程稀疏近似方法，利用条件独立性将计算复杂度从 O(N³D³) 降低至 O(NDK²)，其中 K 为诱导点数量。该方法扩展了 PITC 和 FITC 类似近似方法，实现了在真实数据（如污染数据、考试成绩和基因表达）上的高效多任务学习与结构化输出预测。

ABSTRACT

Recently there has been an increasing interest in methods that deal with multiple outputs. This has been motivated partly by frameworks like multitask learning, multisensor networks or structured output data. From a Gaussian processes perspective, the problem reduces to specifying an appropriate covariance function that, whilst being positive semi-definite, captures the dependencies between all the data points and across all the outputs. One approach to account for non-trivial correlations between outputs employs convolution processes. Under a latent function interpretation of the convolution transform we establish dependencies between output variables. The main drawbacks of this approach are the associated computational and storage demands. In this paper we address these issues. We present different sparse approximations for dependent output Gaussian processes constructed through the convolution formalism. We exploit the conditional independencies present naturally in the model. This leads to a form of the covariance similar in spirit to the so called PITC and FITC approximations for a single output. We show experimental results with synthetic and real data, in particular, we show results in pollution prediction, school exams score prediction and gene expression data.

研究动机与目标

• 解决基于卷积过程的多输出高斯过程在全协方差矩阵下带来的高计算与存储成本问题。
• 利用卷积框架中的条件独立性，推导出可扩展的近似方法。
• 将单输出稀疏 GP 近似方法（PITC 与 FITC）扩展至多变量输出场景。
• 使基于卷积的多输出 GP 方法能够实际应用于具有复杂依赖关系的真实数据集。
• 提供一种计算效率更高的替代线性核心化模型的方法，同时保留更丰富的相关性结构。

提出的方法

• 将多个输出建模为共享潜变量过程与不同平滑核的卷积，从而引入输出间的相关性。
• 通过在 K 个诱导点上进行条件化，引入稀疏近似，将完整协方差矩阵简化为低秩结构。
• 利用条件独立性：在潜变量过程给定的条件下，输出条件独立，从而实现块对角近似。
• 将 PITC（部分独立训练条件）与 FITC（完全独立训练条件）框架扩展至多变量情形。
• 推导出对数边际似然及其关于超参数和诱导点的梯度的闭式表达式。
• 通过矩阵求逆引理实现高效矩阵求逆，用于计算近似后验与预测分布。

实验结果

研究问题

• RQ1 能否在基于卷积的多输出 GP 中利用条件独立性来推导出可扩展的稀疏近似？
• RQ2 通过卷积过程将 PITC 与 FITC 风格的近似方法扩展至多变量输出时，其性能表现如何？
• RQ3 与全 GP 推断相比，所提方法在多输出任务中在计算与预测性能上分别获得了多大提升？
• RQ4 该方法能否有效建模真实数据（如污染、考试成绩与基因表达）中的复杂依赖关系？
• RQ5 该方法对诱导点位置与数量的选择有多敏感？

主要发现

• 所提出的稀疏近似方法将计算复杂度从 O(N³D³) 降低至 O(NDK²)，存储需求从 O(N²D²) 降低至 O(NDK)，使大规模多变量 GP 回归成为可能。
• 在合成数据与真实数据集（包括污染预测与基因表达数据）上，该方法的预测性能与全 GP 推断相当。
• 在中学考试成绩预测任务中，该模型通过利用跨学科相关性，优于单输出 GP 基线模型。
• 稀疏卷积过程模型在未见数据上泛化能力良好，其对数边际似然持续优于基线多任务核方法。
• 实验结果表明，在大多数真实场景中，FITC 风格近似比 PITC 提供更高的预测精度，尤其在数据有限时表现更优。
• 该方法对诱导点位置的选择具有鲁棒性，并在超参数优化过程中表现出稳定的收敛性。