[论文解读] Transductive Log Opinion Pool of Gaussian Process Experts

Yanshuai Cao, David J. Fleet|arXiv (Cornell University)|Nov 24, 2015

Gaussian Processes and Bayesian Inference参考文献 8被引用 4

一句话总结

本文提出了一套理论基础坚实的高斯过程专家的归纳组合框架，引入了多样化对数意见池（dLOP-GP）以改进以往缺乏正式依据的启发式广义专家乘积（gPoE-GP）。通过基于熵的重加权方法建模专家可靠性，并利用单次梯度步长进行优化，dLOP-GP在仅增加5%–10%推理时间的前提下，在回归基准测试中实现了最先进性能。

ABSTRACT

We introduce a framework for analyzing transductive combination of Gaussian process (GP) experts, where independently trained GP experts are combined in a way that depends on test point location, in order to scale GPs to big data. The framework provides some theoretical justification for the generalized product of GP experts (gPoE-GP) which was previously shown to work well in practice but lacks theoretical basis. Based on the proposed framework, an improvement over gPoE-GP is introduced and empirically validated.

研究动机与目标

• 为此前缺乏正式依据但经验上成功的广义高斯过程专家模型（gPoE-GP）提供理论基础。
• 解决现有归纳高斯过程方法（如BCM和rBCM）的局限性，这些方法假设共享先验和不相交的数据划分，限制了模型的表达能力。
• 开发一种可扩展、可并行化的框架，用于在推理阶段组合独立训练的高斯过程专家，支持异质性异方差性和非平稳性建模。
• 通过允许具有不同核函数和超参数的多样化专家，提升泛化能力，改善预测不确定性校准。

提出的方法

• 提出一种归纳对数意见池（LOP）框架，将后验分布建模为专家后验的加权乘积，权重由局部可靠性决定。
• 引入多样化对数意见池（dLOP-GP），其中专家权重 αi(x⋆) 通过单次梯度步长优化，以最小化预测对数损失。
• 使用测试点处的熵变化作为专家可靠性的代理指标，实现基于局部数据密度和不确定性的动态重加权。
• 采用专家预测的对数线性模型，确保组合后验仍为有效的高斯分布。
• 支持具有不同核函数和超参数的异质专家，与BCM和rBCM不同，后者要求共享先验。
• 支持高效的Map-Reduce式推理：专家独立计算预测，测试阶段通过学习到的权重进行组合。

实验结果

研究问题

• RQ1 gPoE-GP的经验成功能否在严谨的概率框架内获得理论解释？
• RQ2 允许具有不同核函数和超参数的多样化专家是否能提升预测性能和不确定性校准？
• RQ3 通过梯度步长对专家权重进行简单优化，是否能在不增加计算成本的前提下持续改进gPoE-GP？
• RQ4 dLOP-GP在不同数据划分方案和数据集上与gPoE-GP及rBCM相比表现如何？
• RQ5 基于熵的可靠性加权是否能带来更好的泛化性能，特别是在数据稀疏区域？

主要发现

• dLOP-GP在所有数据集和划分方案中均持续优于gPoE-GP，SNLP和SMSE指标均具有统计显著性提升。
• 在KIN40K数据集的SoD划分方案下，dLOP-GP的SNLP为-0.922±0.057，SMSE为0.161±0.023，优于gPoE-GP的-0.833±0.047和0.187±0.021。
• 在SARCOS数据集上，dLOP-GP的SNLP为-2.612±0.236，SMSE为0.022±0.004，显著优于gPoE-GP的-2.507±0.193和0.031±0.005。
• 该框架证实，专家多样性（如Tree-Rand-Kern）的提升能带来更好的性能，尤其在高维或非平稳场景中。
• dLOP-GP的额外计算开销极小——相比gPoE-GP，测试时间仅增加5%–10%，在24核CPU上KIN40K的训练耗时约20分钟。
• rBCM未能超越gPoE-GP和dLOP-GP，尤其在SNLP指标上表现较差，原因在于其依赖公共先验且不支持异质专家。