[论文解读] Near-Optimal Active Learning of Multi-Output Gaussian Processes

Yehong Zhang, Trong Nghia Hoang+2 more|arXiv (Cornell University)|Nov 21, 2015

Gaussian Processes and Bayesian Inference参考文献 38被引用 6

一句话总结

该论文提出了一种针对多输出高斯过程（MOGP）的近似最优主动学习算法，通过联合选择采样位置和测量类型，在预算约束下最小化目标现象的预测不确定性。通过利用稀疏MOGP结构并引入$\epsilon$-次模性特性，该方法实现了具有常数因子保证的多项式时间近似解，相较于现有方法在真实世界环境数据集上表现更优。

ABSTRACT

This paper addresses the problem of active learning of a multi-output Gaussian process (MOGP) model representing multiple types of coexisting correlated environmental phenomena. In contrast to existing works, our active learning problem involves selecting not just the most informative sampling locations to be observed but also the types of measurements at each selected location for minimizing the predictive uncertainty (i.e., posterior joint entropy) of a target phenomenon of interest given a sampling budget. Unfortunately, such an entropy criterion scales poorly in the numbers of candidate sampling locations and selected observations when optimized. To resolve this issue, we first exploit a structure common to sparse MOGP models for deriving a novel active learning criterion. Then, we exploit a relaxed form of submodularity property of our new criterion for devising a polynomial-time approximation algorithm that guarantees a constant-factor approximation of that achieved by the optimal set of selected observations. Empirical evaluation on real-world datasets shows that our proposed approach outperforms existing algorithms for active learning of MOGP and single-output GP models.

研究动机与目标

• 解决多输出高斯过程中主动学习的挑战，即需同时选择采样位置和测量类型以最小化预测不确定性。
• 克服基于熵的准则在联合选择MOGP模型的采样位置和测量类型时存在的可扩展性差的问题。
• 为MOGP设置下的主动学习开发一种高效近似算法，并提供理论性能保证。
• 在真实世界环境传感数据集上对方法进行实证验证，证明其优于现有的单输出和多输出GP主动学习方法。

提出的方法

• 基于稀疏多输出高斯过程模型的结构特性，特别是卷积MOGP（CMOGP）框架，推导出一种新颖的主动学习准则。
• 引入一种松弛的次模性性质，称为$\epsilon$-次模性，以实现对优化问题的理论性能保证。
• 设计一种多项式时间的贪心近似算法，保证在后验联合熵减少方面达到最优解的常数因子近似。
• 利用PITC（部分独立训练条件）近似方法，实现在CMOGP模型中的可扩展推理，从而实现预测不确定性的可处理计算。
• 应用矩阵扰动理论来界定近似后验协方差中的误差，确保在特定参数条件下具有稳定性和收敛性。
• 通过迭代选择基于$\epsilon$-次模准则的最具信息量的（位置，测量类型）组合，将该算法应用于真实世界数据集。

实验结果

研究问题

• RQ1 在多输出高斯过程模型中，联合选择采样位置和测量类型是否能显著降低预测不确定性？
• RQ2 在同时具有空间维度和输出类型维度的MOGP设置下，如何降低基于熵的主动学习的计算复杂度？
• RQ3 所提出的主动学习准则中是否存在$\epsilon$-次模性特性，从而实现具有理论保证的高效近似？
• RQ4 与现有的单输出和多输出GP模型主动学习算法相比，所提出的方法在性能上表现如何？

主要发现

• 所提出的算法在最小化后验联合熵方面实现了常数因子近似保证，确保在理论边界内接近最优性能。
• 在Jura土壤污染、室内环境质量（IEQ）和沿海赤潮数据集上的实证评估表明，该方法相对于基线方法表现出一致的性能提升。
• 在预测不确定性降低方面，该方法优于现有的单输出和多输出GP模型主动学习算法。
• 由于采用了CMOGP结构和PITC近似，该算法在大规模数据集上表现出良好的可扩展性，同时保持了计算的可行性。
• 理论分析证实，在核参数和噪声水平满足较宽松条件时，$\epsilon$-次模性特性成立，从而支持稳定优化。