[论文解读] Multivariate Generalized Gaussian Process Models

Antoni B. Chan|arXiv (Cornell University)|Nov 2, 2013

Gaussian Processes and Bayesian Inference参考文献 14被引用 8

一句话总结

本文提出了一种多变量广义高斯过程模型（M-GGPM），通过使用多变量指数族分布（EFD）作为似然函数，将高斯过程扩展至处理相关联的多变量输出。该工作引入了两种新模型——用于角度回归的冯-米塞斯高斯过程（Von-Mises GP）和用于多项式单纯形回归的狄利克雷高斯过程（Dirichlet GP），并采用泰勒展开与拉普拉斯近似方法实现高效推理，在具有结构约束的输出空间上实现了概率回归任务的优越性能。

ABSTRACT

We propose a family of multivariate Gaussian process models for correlated outputs, based on assuming that the likelihood function takes the generic form of the multivariate exponential family distribution (EFD). We denote this model as a multivariate generalized Gaussian process model, and derive Taylor and Laplace algorithms for approximate inference on the generic model. By instantiating the EFD with specific parameter functions, we obtain two novel GP models (and corresponding inference algorithms) for correlated outputs: 1) a Von-Mises GP for angle regression; and 2) a Dirichlet GP for regressing on the multinomial simplex.

研究动机与目标

• 解决独立高斯过程模型在捕捉多变量输出之间相关性方面的局限性。
• 构建一个统一的多变量高斯过程模型框架，以处理如单纯形和方向数据等受约束的输出空间。
• 实现在具有结构性约束（如概率和为1、圆周上的角度）的输出上的精确概率回归。
• 推导适用于通用M-GGPM框架的高效近似推理算法。
• 通过为角度和多项式回归任务设计的新模型，展示该框架的实用性。

提出的方法

• 构建一种多变量高斯过程模型，其中似然函数通过多变量指数族分布（EFD）定义，参数包括充分统计量、对数分区函数和离散参数。
• 将M-GGPM定义为通过连接函数从潜在高斯过程先验变换而来，用于映射至EFD的充分统计量的均值。
• 推导出两种近似推理算法：泰勒近似（围绕观测值的一阶展开）和拉普拉斯近似（围绕后验众数的二阶展开）。
• 将通用框架应用于两个具体的EFD实例：用于多项式单纯形输出的狄利克雷分布，以及用于角度输出的冯-米塞斯分布。
• 在狄利克雷情况下使用逻辑链接函数以确保正性约束，在冯-米塞斯情况下使用对数线性链接函数。
• 采用基于海森矩阵的近似方法，并高效计算梯度与海森矩阵项，包括在狄利克雷情况下使用多 polygamma 函数。

实验结果

研究问题

• RQ1 能否开发一个统一的多变量高斯过程框架，利用指数族分布对具有结构性约束的相关输出进行建模？
• RQ2 在具有非高斯、受约束输出分布的多变量高斯过程中，如何实现高效的近似推理？
• RQ3 所提出的M-GGPM框架是否能在概率回归任务（如恢复概率向量或预测角度数据）中实现性能提升？
• RQ4 在M-GGPM中，泰勒近似与拉普拉斯近似在准确性和计算效率方面如何比较？
• RQ5 在涉及受约束输出空间的任务中，M-GGPM相较于标准高斯过程模型（如独立GP、二值GPC）的性能优势有多大？

主要发现

• 狄利克雷-GGPM在从量化且含噪声的概率向量中恢复底层概率分布时，平均绝对误差（MAE）达到0.072，优于CGP（MAE 0.16）和二值GPC（MAE 0.17）。
• 在图像标注任务中，狄利克雷-GGPM显著优于基线模型，在10次随机训练-测试划分中，所有top-k排名标注的平均词级F1分数均更高。
• 狄利克雷-GGPM成功强制实现了单纯形约束（非负元素之和为1），避免了其他模型所需的截断或归一化处理所导致的伪影。
• 冯-米塞斯GP模型作为新模型被推导出来，用于角度回归，利用多变量EFD框架实现了对方向性输出的概率建模。
• 实验表明，拉普拉斯近似在后验估计方面比泰勒近似更准确，尤其在似然函数曲率较高的区域。
• 该框架可通过在不同参数函数下实例化EFD，实现新GP模型的构建，展示了其在所提出的两个案例之外的可扩展性。