[论文解读] Varying-coefficient models with isotropic Gaussian process priors

Matthias Bussas, Christoph Sawade+2 more|arXiv (Cornell University)|Aug 28, 2015

Gaussian Processes and Bayesian Inference参考文献 12被引用 4

一句话总结

本文提出了一种基于各向同性高斯过程先验的可扩展贝叶斯框架，用于变系数模型，表明推断可简化为使用乘积核的标准高斯过程推断。关键贡献在于，这使得通过任务核和实例核的多任务学习实现高效的MAP推断成为可能，同时通过图拉普拉斯核实现层次化贝叶斯模型，且在地理空间预测任务中得到验证。

ABSTRACT

We study learning problems in which the conditional distribution of the output given the input varies as a function of additional task variables. In varying-coefficient models with Gaussian process priors, a Gaussian process generates the functional relationship between the task variables and the parameters of this conditional. Varying-coefficient models subsume hierarchical Bayesian multitask models, but also generalizations in which the conditional varies continuously, for instance, in time or space. However, Bayesian inference in varying-coefficient models is generally intractable. We show that inference for varying-coefficient models with isotropic Gaussian process priors resolves to standard inference for a Gaussian process that can be solved efficiently. MAP inference in this model resolves to multitask learning using task and instance kernels, and inference for hierarchical Bayesian multitask models can be carried out efficiently using graph-Laplacian kernels. We report on experiments for geospatial prediction.

研究动机与目标

• 解决在高维参数空间下变系数模型中贝叶斯推断的计算不可行性问题。
• 在模型参数随任务变量（如时间或位置）变化的迁移学习场景中，实现高效推断。
• 在具有理论保证的统一GP框架下，统一现有的多任务学习与层次化贝叶斯模型。
• 通过真实房地产价格与租金的地理空间预测任务，展示该方法的实际适用性。

提出的方法

• 将变系数建模为任务变量上的高斯过程先验，假设各向同性（参数分量相互独立）。
• 表明变系数模型的后验推断等价于在输入变量与任务变量上使用乘积核的标准GP推断。
• 推导出MAP估计可简化为结合任务核与实例核的多任务学习，提供实际的优化路径。
• 揭示层次化贝叶斯模型对应于使用图拉普拉斯多任务核的GP先验，从而实现通过标准GP工具的高效推断。
• 利用克罗内克积结构与矩阵分解，建立复杂变系数模型与标准GP推断之间的等价性。
• 通过归纳法证明：树状结构任务图中的协方差矩阵的逆对应于图拉普拉斯矩阵，从而验证核结构的正确性。

实验结果

研究问题

• RQ1 能否使使用各向同性GP先验的变系数模型中的贝叶斯推断在计算上变得可行？
• RQ2 使用各向同性GP先验的变系数模型与标准高斯过程模型之间，其理论等价性是什么？
• RQ3 在特定核选择下，现有多种多任务学习方法与该框架有何关系？
• RQ4 该框架能否高效建模时间或空间中参数的连续变化，例如在地理空间应用中？
• RQ5 在具有变化条件分布的真实预测任务中，该方法是否优于标准基线模型？

主要发现

• 使用各向同性GP先验的变系数模型中的贝叶斯推断，可精确简化为使用乘积核的标准GP推断，从而实现高效计算。
• 该模型的MAP推断等价于使用由任务核与实例核组合而成的核的多任务学习，提供了实用的优化路径。
• 当使用图拉普拉斯核时，层次化贝叶斯多任务模型被证明是该框架的一个特例，且可通过标准GP工具实现高效推断。
• 该模型在地理空间预测任务中表现出优越性能，优于基线模型，在预测房地产价格与月租金方面表现更优。
• 理论证明表明，树状结构任务图中的协方差矩阵的逆确实对应于图拉普拉斯矩阵，验证了核结构的正确性。
• 该框架不仅适用于离散多任务设置，还可推广至连续任务变量（如时间或位置），从而支持对概念漂移的建模。