[论文解读] Scalable Multi-Class Gaussian Process Classification using Expectation Propagation

Carlos Villacampa-Calvo, Daniel Hernández-Lobato|arXiv (Cornell University)|Jun 22, 2017

Gaussian Processes and Bayesian Inference参考文献 16被引用 7

一句话总结

本文提出了一种基于期望传播（EP）和诱导点的可扩展多分类高斯过程分类方法，结合随机优化。通过将对数边际似然重新表述为对数据实例的求和，该方法实现了随机梯度和小批量训练，计算成本为$Ó(CM^3)$，内存成本为$Ó(CM^2)$，从而可在包含数百万个实例的数据集上实现高效训练，且在预测准确性和收敛速度上优于变分推断。

ABSTRACT

This paper describes an expectation propagation (EP) method for multi-class classification with Gaussian processes that scales well to very large datasets. In such a method the estimate of the log-marginal-likelihood involves a sum across the data instances. This enables efficient training using stochastic gradients and mini-batches. When this type of training is used, the computational cost does not depend on the number of data instances $N$. Furthermore, extra assumptions in the approximate inference process make the memory cost independent of $N$. The consequence is that the proposed EP method can be used on datasets with millions of instances. We compare empirically this method with alternative approaches that approximate the required computations using variational inference. The results show that it performs similar or even better than these techniques, which sometimes give significantly worse predictive distributions in terms of the test log-likelihood. Besides this, the training process of the proposed approach also seems to converge in a smaller number of iterations.

研究动机与目标

• 解决大规模数据集下多分类高斯过程分类方法的可扩展性限制。
• 在基于EP的推断中实现使用随机梯度和小批量的高效训练。
• 通过引入诱导点和近似似然函数，降低多分类GP分类中的内存和计算成本。
• 与现有变分推断方法相比，提升预测性能和收敛速度。
• 证明基于EP的方法在测试对数似然方面能提供比变分推断更可靠的预测分布。

提出的方法

• 该方法采用FITC（完全独立训练条件）近似，将潜在变量数量从$Ó(N)$减少到$Ó(M)$，其中$M \ll N$，$M$为诱导点数量。
• 将对数边际似然重新表述为对数据实例的求和，从而支持使用小批量的随机优化。
• 引入一种新型近似似然函数，以避免在似然计算中进行昂贵的一维求积。
• 提出随机EP（SEP），通过小批量处理数据进一步降低内存使用。
• 算法使用EP更新进行后验近似，避免学习率超参数，从而实现更快收敛。
• 每个潜在函数建模为具有协方差函数的高斯过程，分类规则基于每个输入处潜在函数的argmax。

实验结果

研究问题

• RQ1 期望传播能否被调整以在多分类高斯过程分类中实现随机优化？
• RQ2 所提出的方法在大规模数据集上的测试对数似然方面是否优于变分推断？
• RQ3 计算成本和内存成本能否分别降低至$Ó(CM^3)$和$Ó(CM^2)$，从而实现对数百万实例数据集的可扩展性？
• RQ4 为何变分推断有时会产生较差的预测分布，而基于EP的方法能否避免此问题？
• RQ5 EP与变分推断在诱导点的放置方式上存在何种差异，这对模型性能有何影响？

主要发现

• 所提出的基于EP的方法在MNIST数据集上实现了2.08%的测试误差和0.0725的负测试对数似然，预测准确性优于变分推断。
• 在包含210万个实例的大型航班延误数据集上，该方法收敛速度优于变分推断，并迅速超越逻辑回归基线模型。
• 变分推断的负测试对数似然在训练过程中持续上升，表明其预测分布质量较差，而EP和SEP保持稳定且更优的性能。
• 随机EP（SEP）的收敛速度优于变分推断，可能归因于EP更新更高效且不依赖学习率。
• 该方法将诱导点放置方式表现为一种剪枝策略，而变分推断则倾向于将诱导点集中于决策边界附近。
• 该方法是首个支持随机优化并可扩展至包含数百万实例数据集的基于EP的多分类GP分类方法。