[论文解读] Multiple Gaussian Process Models
本文提出用于多核学习的多高斯过程（MGP）模型，采用层次化贝叶斯先验，并在核权重上使用广义逆高斯分布以自适应地诱导稀疏性。该方法采用变分推断进行回归与二分类任务，在基准数据集上实现了最先进性能，能够自动选择相关核函数，无需人工调节正则化参数。
We consider a Gaussian process formulation of the multiple kernel learning problem. The goal is to select the convex combination of kernel matrices that best explains the data and by doing so improve the generalisation on unseen data. Sparsity in the kernel weights is obtained by adopting a hierarchical Bayesian approach: Gaussian process priors are imposed over the latent functions and generalised inverse Gaussians on their associated weights. This construction is equivalent to imposing a product of heavy-tailed process priors over function space. A variational inference algorithm is derived for regression and binary classification.
研究动机与目标
- 开发一种贝叶斯框架用于多核学习，能够自动适应数据驱动的稀疏模式。
- 通过从数据中学习适当的稀疏诱导先验，统一处理ℓp-范数正则化。
- 克服频率学派多核学习方法的局限性，后者需预先指定如ℓ1或ℓ2等正则化范数。
- 为基于交叉验证的核选择提供一种灵活、可扩展且有理论依据的替代方案。
提出的方法
- 在潜在函数上施加层次化贝叶斯模型，使用高斯过程先验，并在核权重上使用广义逆高斯先验以诱导稀疏性。
- 使用零均值高斯尺度混合的乘积来近似稀疏-密集先验（spike-and-slab prior），从而实现连续、重尾的先验，有利于稀疏解。
- 为回归与二分类任务推导出一种变分推断算法，采用均值场近似与截断高斯变分后验分布对标签进行建模。
- 将边际似然建模为加权核矩阵之和，权重为逆尺度参数，从而实现非线性可加函数空间表示。
- 将同一框架应用于线性和非线性核矩阵，实现灵活的函数空间建模。
- 利用边际似然与变分下界，在统一的贝叶斯框架中进行模型推断与超参数学习。
实验结果
研究问题
- RQ1具有重尾先验的层次化贝叶斯模型是否能自动选择相关核函数，而无需预先指定正则化范数？
- RQ2MGP模型在稀疏与非稀疏问题上，与采用固定ℓ1、ℓ2或ℓ4/3正则化的标准MKL方法相比，性能如何？
- RQ3MGP框架在多大程度上能适应底层数据生成过程中不同的稀疏程度？
- RQ4与拉普拉斯或学生t分布等标准先验相比，使用广义逆高斯先验是否能带来更好的泛化性能？
- RQ5MGP模型是否能在不依赖交叉验证进行核选择的前提下，实现在真实世界分类基准上的最先进性能？
主要发现
- 在合成回归数据上，多重学生t分布与伽马方差MGP模型在稀疏设置下实现了最低的均方根误差0.033（±0.027），优于AR D与ℓ1-MKL方法。
- 在包含10个活跃核的非稀疏设置中，MGP模型的平均误差为0.719（±0.221），显著优于ℓ2-MKL（0.830 ± 0.655）与ℓ4/3-MKL（0.097 ± 0.062）在稀疏情况下的表现。
- 采用学生t分布与伽马方差先验的MGP框架在Flowers数据集上实现了0.948 ± 0.057的平均AUC，超越了当前最先进MKL结果。
- 如附录图2所示，层次化贝叶斯方法成功适应了数据稀疏性，其后验核权重准确反映了真实的底层稀疏模式。
- 变分推断算法收敛稳定，并提供了准确的预测分布，分类决策基于后验均值函数的符号。
- 当真实解为稀疏时，MGP模型对模型误设表现出鲁棒性，未出现ℓ2-MKL方法中常见的性能下降现象。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。