[论文解读] Nonparametric Bayesian Mixed-effect Model: a Sparse Gaussian Process Approach

Yuyang Wang, Roni Khardon|Nov 28, 2012

Gaussian Processes and Bayesian Inference参考文献 21被引用 9

一句话总结

该论文提出了首个用于非参数贝叶斯混合效应高斯过程模型的稀疏变分推断方法，通过引入诱导变量来降低计算成本，同时保持性能。通过将Titsias（2009）的变分稀疏GP方法扩展至分组混合效应模型，该方法在合成数据和真实世界多任务学习数据集上均实现了最先进性能，其准确率和效率均优于基线方法和现有的稀疏GP方法。

ABSTRACT

Multi-task learning models using Gaussian processes (GP) have been developed and successfully applied in various applications. The main difficulty with this approach is the computational cost of inference using the union of examples from all tasks. Therefore sparse solutions, that avoid using the entire data directly and instead use a set of informative "representatives" are desirable. The paper investigates this problem for the grouped mixed-effect GP model where each individual response is given by a fixed-effect, taken from one of a set of unknown groups, plus a random individual effect function that captures variations among individuals. Such models have been widely used in previous work but no sparse solutions have been developed. The paper presents the first sparse solution for such problems, showing how the sparse approximation can be obtained by maximizing a variational lower bound on the marginal likelihood, generalizing ideas from single-task Gaussian processes to handle the mixed-effect model as well as grouping. Experiments using artificial and real data validate the approach showing that it can recover the performance of inference with the full sample, that it outperforms baseline methods, and that it outperforms state of the art sparse solutions for other multi-task GP formulations.

研究动机与目标

• 解决在大规模数据集上，非参数贝叶斯混合效应高斯过程模型全模型推断带来的高计算成本问题。
• 开发首个用于分组混合效应GP模型的稀疏近似方法，实现可扩展的推断。
• 将变分稀疏GP技术推广至具有共享固定效应和个体随机效应的多任务学习场景。
• 在合成数据和真实世界数据集上，评估该方法相对于全模型推断和现有稀疏GP基线的性能表现。
• 证明稀疏模型能够在显著降低计算复杂度的同时，达到与全数据推断相当的性能。

提出的方法

• 通过引入一组诱导变量（伪输入）对全GP后验分布进行近似，将变分推断方法适配至混合效应GP模型。
• 使用边际似然的变分下界，联合优化超参数和诱导变量的位置。
• 通过将每组的固定效应建模为共享GP，个体偏差建模为独立GP，将稀疏GP框架扩展至处理分组数据。
• 对联合似然应用变分近似，仅通过诱导变量实现高效学习与预测。
• 采用两阶段优化策略：首先优化变分参数和诱导输入，然后通过在下界上进行梯度上升来精炼超参数。
• 对时间序列数据应用通用的相位对齐与归一化预处理步骤，以在应用模型前对齐信号。

实验结果

研究问题

• RQ1 能否成功将稀疏变分推断框架扩展至非参数贝叶斯混合效应高斯过程模型？
• RQ2 所提出的稀疏方法在多任务学习设置下是否能达到与全数据推断相当的预测性能？
• RQ3 在准确率和计算效率方面，该方法与现有稀疏GP方法及基线方法相比表现如何？
• RQ4 当每个任务的样本量较小且无共享输入点时，该模型是否能有效处理此类数据？
• RQ5 当任务在输入空间中未对齐但存在关联关系时，模型的分组结构是否能提升泛化能力？

主要发现

• 所提出的稀疏方法在合成数据和真实世界数据集上均实现了与全数据推断相当的预测性能，证明了信息可有效压缩至诱导变量中。
• 在模拟的葡萄糖数据上，该方法显著优于基线稀疏GP方法和MGP，尤其在K=3的多中心设置下表现突出。
• 在OGLEII天体物理学数据集上，该方法在EB（食双星）类别上优于所有基线方法，尤其在SMSE和MSLL指标上提升显著。
• 对于光变曲线更简单的造父变星和RR型变星，该方法与MGP表现相近，且均优于其他方法。
• 即使在任务间无共享输入点的情况下，该方法仍保持高准确率，显示出对稀疏和非均匀采样模式的鲁棒性。
• 变分框架实现了高效的训练与预测，计算复杂度从O(N^3)降低至O(mN^2)，其中m ≪ N为诱导变量数量。